lingualytics 0.1.3

语言分析：简单的代码混合分析

Lingualytics是一个Python库，用于处理代码混合文本。
语言分析是由强大的库支持的，比如Pytorch，Transformers，Texthero，NLTK和{a5}。在

特点

1. 在

   预处理

   • 删除停止字
   • 删除标点，可选择添加自己语言的标点
   • 删除少于字符限制的单词
   在
2. 在

   代表

   • 从给定的文本中找出n-gram
   在
3. 在

   NLP公司

   • 使用Pythorch进行分类
     • 在你的数据上训练一个分类器来执行情绪分析之类的任务
     • 用准确度、f1分数、精确度和召回率等指标评估分类器
     • 使用经过训练的标记器来标记文本
     在
   • 一些预先训练过的拥抱脸模型，训练你可以使用的代码混合数据集
     • bert-base-multilingual-codemixed-cased-sentiment
     在
   在

安装

使用包管理器pip安装语言分析。在

pip install lingualytics

使用

预处理

^{pr2}$

分类

列车数据路径应有4个文件 - 火车.txt - 验证.txt - 文本测试在

您只需从Github存储库下载datasets/SAIL_2017/Processed Data/Devanagari来尝试一下。在

fromlingualytics.learnerimportLearnerlearner=Learner(model_type='bert',model_name='bert-base-multilingual-cased',dataset='SAIL-2017')learner.fit()

找到最上面的n-grams

fromlingualytics.representationimportget_ngramsimportpandasaspddf=pd.read_csv("https://github.com/jbesomi/texthero/raw/master/dataset/bbcsport.csv")ngrams=get_ngrams(df['text'],n=2)print(ngrams[:10])

贡献

欢迎拉取请求。对于重大变化，请先打开一个问题，讨论您希望更改的内容。在

许可证

MIT

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• genesis

  基于人工智能的数据迁移遗传算法

• odoo8-addon-runbot-coverage

  在测试期间收集覆盖率信息

• modernp

  python中内置类型的扩展方法。

• errbot-backend-webapp

  用于errbot的webapp后端插件

• Webmaster

  在文件系统中放置结构的基于烧瓶的完整堆栈框架。功能：缓存、邮件、存储、csrf、recaptcha等

• csvinsight

  大型csv文件的快速简单摘要

• django-backupdb

  Django中用于备份和还原数据库的管理命令。

• andrespdf

  没有项目描述

• gridaurora

  极光和电离层模型的网格划分

• nekbot.protocols.xmpp

  用于Nekbot的Jabber/XMPP协议，模块化多协议机器人。

• jupyter-saagie-plugin

  从jupyter笔记本轻松创建saagie python作业

• fakeable

  在单元测试期间，可以用“假”对象无缝替换“真”对象

• engineering-tool

  这个工程工具库

• pypavlok

  用于Pavlok的非官方蓝牙控制器

• python-swiftclient

  openstack对象存储api客户端库