语言处理实用程序
lpu的Python项目详细描述
lpu
LPU是用于语言处理的实用程序类/函数的集合
安装
从pypi release安装
$ pip install --user lpu
从github master安装
$ pip install --user https://github.com/akivajp/lpu/archive/master.zip
模块
lpu包中的模块
lpu.common.config
可继承和可序列化的configuration类，用于调用具有多个参数的函数
lpu.公共环境
使用堆栈处理环境变量，可用于更改/还原全局设置，如调试模式
lpu.common.files
用于文件处理的实用程序功能，包括gzip文件的透明文件访问
lpu.common.logging
增强的日志对象（来自标准日志库），具有着色功能和环境变量操作
lpu.common.progress
用于进度报告（称为进度条）、使用文件类型对象和迭代器的实用程序类和函数
lpu.smt.align.ibm廑u型号
用于培训和估计基于IBM型号的单词对齐的实用程序类
命令
lpu包还包括直接可执行的命令
lpu包中的命令
lpu abspath
$ lpu-abspath [-h] filepath [filepath ...]
获取给定文件或目录的绝对路径
LPU清洁并联
$ lpu-clean-parallel [-h][--min min_length][--max max_length]\[--ratio ratio][--target-directory directory_path][--escape]\[--normalize] filepath [filepath ...] output_tag
LPU对话框
$ lpu-dialog [-h][--exist filepath][--continue][--yes][--no]
$ lpu-dialog [-h][--exist filepath][--continue][--yes][--no]
按条件显示消息，等待并接收用户的响应
并行lpu exec
$ lpu-exec-parallel [-h][--input filepath][--output filepath]\[--splitsize num_lines][--chunks num_files][--threads num_threads]\[--tmpdir directory_path][--verbose][--interval seconds]command
通过拆分目标文件在多个进程中执行命令
lpu猜测语言代码
$ lpu-guess-langcode [-h] filepath [filepath ...]
猜测给定文件中的语言代码
LPU进度
$ lpu-progress [-h][--lines][--refresh seconds][--header string]\[filepath filepath ...]]
显示管道I/O的进度
lpu随机拆分
$ lpu-random-split [-h] --input filepath [filepath ...]\[--prefixes prefix [prefix ...]][--suffixes suffix [suffix ...]]\ --tags tag [tag ...] --split-sizes size [size ...][--ignore-empty]\[--quiet][--debug][--random-seed seed][--ids [suffix]]
lpu等待文件
$ lpu-wait-files [-h][--quiet][--debug][--delay seconds]\[--interval seconds][--timeout seconds] filepath [filepath ...]
等待找到文件
LPU字对齐序列
$ lpu-word-align-train [-h][--save-sores filepath][--decode-align filepath]\[--iteration-limit num_iterations][--threshold min_probability]\[--nbest integer][--character][--debug][--quiet]\ src_path trg_path save_trans_path [save_align_path]
LPU字对齐分数
$ lpu-word-align-score [-h][--save-scores filepath]\[--decode-align filepath][--character][--debug][--quiet]\ src_path trg_path trans_path [align_path]
欢迎加入QQ群-->： 979659372
