英特尔人工智能实验室的开源NLP与NLU研究库
nlp-architect的Python项目详细描述
< BR>< BR>
概述。| 型号。| 安装| 示例| 文档。| 教程。| 贡献
nlp architect是一个开放源码的python库，用于探索最先进的技术 优化自然语言处理和 自然语言理解神经网络。
概述
NLP Architect是一个NLP库，设计灵活，易于扩展，允许在应用程序中轻松快速地集成NLP模型，并展示优化的模型。
功能：
核心NLP模型用于许多NLP任务，在许多NLP应用程序中非常有用
新的NLU模型展示了新的拓扑和技术
优化的nlp/nlu模型展示了神经nlp/nlu模型的不同优化算法
面向模型的设计：
- 从命令行训练和运行模型。
- 在python中使用模型进行推理的api。
- 定义用于培训、推理或任何与处理相关的自定义过程的过程。
- 用于运行过程的cli子系统
基于优化的深度学习框架：
- < >使用NLP模型的所有实用程序-文本/字符串预处理、IO、数据操作、度量、嵌入。
可插入的rest api服务器通过restapi为模型提供服务
安装NLP Architect
我们建议在新的python环境中安装nlp architect，使用python 3.6+和最新的pip，setuptools和h5py
使用pip安装
仅包括核心库（不包括examples/目录）
pip install nlp-architect
从源安装（github）
包括核心库和所有内容（示例脚本、数据集、教程）
克隆存储库
git clone https://github.com/NervanaSystems/nlp-architect.git
cd nlp-architect
安装（在开发模式下）
pip install -e .
更多安装选项
有关如何安装nlp architect和其他后端安装（如mkl-dnn或gpu后端）的完整详细信息，请参阅我们网站上的完整安装说明页。 用户可以在安装nlp architect之前/之后手动安装任何深度学习后端。
型号
提供最佳（或接近）同类性能的NLP型号：
- 单词分块
- 命名实体识别
- 依赖性分析
- 意向提取
- 情感分类
- 语言模型
- 变压器（用于NLP任务）
解决语义理解的自然语言理解（NLU）模型：
- 基于方面的情感分析（ABSA）
- 联合意图检测和插槽标记
- 名词短语嵌入表示法（np2vec）
- 最常见的词义检测
- 关系标识
- 跨文档引用
- 名词短语语义切分
优化NLP/NLU模型和MISC。优化技术：
- 量化的伯特（8比特）
- 使用transformers进行知识提炼
使用一个或多个型号的解决方案（端到端应用程序）：
- 术语集扩展-使用包含的词块作为名词短语提取器，并使用np2vec创建语义术语集
- 主题和趋势分析时态语料库中的趋势短语分析
- 基于方面的情感分析（ABSA）
文档
NLP模型、算法、解决方案和说明的完整库 关于如何运行每个模型，可以在我们的网站上找到。
NLP Architect库设计理念
nlp architect是一个面向模型的库，旨在展示新颖的、不同的神经网络优化。该库包含每个任务与nlp/nlu相关的模型、不同的神经网络拓扑（用于模型中）、库中简化工作流的过程、预定义的数据处理器和数据集加载程序以及其他实用程序。 该库被设计为模型开发的工具：数据预处理、构建模型、训练、验证、推断、保存或加载模型。
主要设计指南如下：
- 深度学习框架不可知
- 每个任务的NLP/NLU模型
- 模型中使用的不同拓扑
- 展示使用一个或多个NLP架构模型的端到端应用程序（解决方案）
- 支持NLP模型开发的通用数据集加载程序、文本数据处理实用程序和其他实用程序（加载程序、文本处理器、IO、度量等）
- 定义训练、推理、优化或任何精心编写的脚本的过程。
- 使用模型进行推理的pythonic api
- rest api服务器能够通过http为经过培训的模型提供服务
- 大量模型文档和教程
注
NLP架构师是一个活跃的研发空间；贯穿未来 发布新的模型、解决方案、拓扑和框架添加和更改 将被制作。我们的目标是确保所有模型都使用Python3.6+运行。我们 鼓励研究人员和开发人员将他们的工作贡献给图书馆。
引用
如果您在研究中使用NLP Architect，请使用以下引文：
@其他{izzak_peter_2018_1477518， title={nlp architect by intel ai lab}， 月=11月， 年份=2018， doi={10.5281/zenodo.1477518}， url={https://doi.org/10.5281/zenodo.1477518} }
免责声明
NLP架构师作为参考代码发布，用于研究目的。它是 不是英特尔的官方产品，质量和支持水平可能不是 如官方产品所料。打算使用NLP架构师 本地的，未经设计、开发或生产评估的 使用或Web部署。计划了其他算法和环境 添加到框架中。来自开源的反馈和贡献 NLP的研究团体非常受欢迎。
联系人
通过github问题联系nlp架构师开发团队，或者 电子邮件：nlp_architect@intel.com
欢迎加入QQ群-->： 979659372
