- 当前热门话题：
Python tokenize
-
本站为您提供最新、最全的tokenize的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，
如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。
本文网址：https://www.cnpython.com/tags/263133
欢迎加入QQ群-->： 979659372
关于tokenize 相关联的Python项目和问题：
最新问答
我正在使用NLTK，并试图使单词短语计数到特定文档的特定长度以及每个短语的频率。我标记字符串以获取数据列表。
from nltk.util import ngrams
from nltk.tokeni ...
已阅读: n次
我试图通过pip在python 3.3.5上安装scipy库。在脚本结束时，我得到了这个错误：
Command /usr/local/opt/python3/bin/python3.3 -c " ...
已阅读: n次
我想把像r"r'\nasdf'"这样的字符串文字转换为字符串（在本例中为'\\nasdf'）。
另一例：从r"'\nasdf'"到'\nasdf'。
我希望你明白。
这很重要，因为我有一个python ...
已阅读: n次
我正在使用NLTK从以以下命令开头的文本字符串中提取名词：
tagged_text = nltk.pos_tag(nltk.Text(nltk.word_tokenize(some_string))) ...
已阅读: n次
我有使用utf-8编码的文本文件，其中包含诸如“ore”、“ü”等字符。我想解析这些文件中的文本，但无法使标记器正常工作。如果我使用标准的nltk标记器：
f = open('C:\Python26\ ...
已阅读: n次
我正在使用语句训练Python中的NaiveBayesClassifier，它给出了下面的错误。我不知道可能是什么错误，任何帮助都是好的。
我尝试过许多其他输入格式，但错误仍然存在。代码如下：
fro ...
已阅读: n次
我正试图从德语文档中提取单词，当我使用nltk教程中描述的以下方法时，我无法获得具有特定语言特殊字符的单词。
ptcr = nltk.corpus.PlaintextCorpusReader(Corp ...
已阅读: n次
我需要使用nltk.sent_tokenize()从大文本文件中提取句子。文件大小从1MB到400MB不等，因此完全由于内存限制无法加载文件，我认为不可能使用nltk.sent_tokenize()逐 ...
已阅读: n次
我有一首诗，我希望Python代码只打印那些押韵的单词。
到目前为止，我能够：
用wordpunct_tokenize()打断诗歌句子
去掉标点符号来清除单词
把这首诗每句的最后一个字都记在一张单子 ...
已阅读: n次
我对Python很陌生。我想使用KMean代码，我想安装scikit-learn或sklearn。
我使用此代码尝试安装这些软件包：
pip install -U sklearn
pip instal ...
已阅读: n次
当我运行这段代码，然后遇到以下错误，我是新的编程，我知道我有一堆无用的数组。我不知道我的错误在哪里，因为我已经将j声明为数组。我完全没有主意了。
import pyodbc,nltk,array,re ...
已阅读: n次
我对python很陌生。我试图找到我的文本的频率分布。这是密码
import nltk
nltk.download()
import os
os.getcwd()
text_file=open(r"e ...
已阅读: n次
最新项目
这是的标准库模块的虚拟实现
pycopy项目（https://github.com/pfalcon/pycopy）。
它包含零个或很少的功能，主要目的是
避免导入错误（使用即使应用程序导入
模块，它可 ...
已阅读: n次
标记英国
简单的python库将文本标记为句子，将句子标记为单词。小巧、快速、结实。带有乌克兰风味
自由软件：麻省理工学院许可证
文档：https://tokenize_uk.readthe ...
已阅读: n次
untokenize将令牌转换为源代码。与标准库不同
tokenize.untokenize()，它保留标记之间的原始空白。
用法
import untokenize
source_code = ...
已阅读: n次
在Thesea-越南NLP工具包下
under thesea是一套开源python模块、数据集和教程，支持越南自然语言处理的研究和开发。
自由软件：GNU通用公共许可v3
文档 ...
已阅读: n次
标记化rt
stdlibtokenize模块不能正确往返。这个包装纸
stdlib周围提供了两个额外的令牌ESCAPED_NL和
UNIMPORTANT_WS，和Token数据类型。使用src_t ...
已阅读: n次
ru_sent_tokenize
一种简单快速的基于规则的句子分割方法。在opencorba和syntagrus数据集上进行了测试。
安装
pip install rusenttokenize
运行 ...
已阅读: n次
简介
formatter2是基于python中的tokenize库的python格式化程序。
由于线路连续性的错误，我们目前正在运行
tokenize但是库。
在每个格式序列中，compile方 ...
已阅读: n次
这是micropython标准库模块的虚拟实现。
它包含零个或很少的功能，主要目的是
避免导入错误（使用即使应用程序导入
模块，它可能没有在每个代码路径中使用它，因此至少可以工作
部分）。预计该模块的 ...
已阅读: n次
##托克
[！[pypi]（https://img.shields.io/pypi/v/tok.svg?style=flat-square)](https://pypi.python.org/pypi ...
已阅读: n次
简介
formatter是基于python中的tokenize库的python格式化程序。
由于线路连续性的错误，我们目前正在运行
tokenize但是库。
在每个格式序列中，compile方法 ...
已阅读: n次
sudachipy
sudachipy是python版本的Sudachi，一个日本的形态学分析器。
sudachi&sudachipy;是在WAP Tokushima Laboratory o ...
已阅读: n次
这个包为来自
摩西工具包，即normalize-punctuation.perl，tokenizer.perl，
detokenizer.perl和split-sentences.perl。
示例用 ...
已阅读: n次
科哈尔
korhal（基于韩国语rpc的语言处理便捷应用程序）是一个用于多个韩国语部分语音标记的python包装器。
如何安装
pip install korhal
可用的标记符
含kor ...
已阅读: n次
PYBO-Python中的藏语NLP
概述
pybo将藏文标记为单词
基本用法
入门
需要安装python3。
pip3 install pybo
标记字符串
drupchen@drupch ...
已阅读: n次
热影响区
用于消化波斯语文本的python库。
文本清理
句子和单词标记器
单词lemmatizer
POS标牌
浅层分析器
依赖关系分析器
波斯语语料库的接口
NLTK兼容
Python2.7、3 ...
已阅读: n次
“python中的tinysegenter”是由TinySegmenter的masato hagiwara编写的python port，它是一个非常紧凑的日语标记器，最初由taku kudo先生用ja ...
已阅读: n次
