VAIS分析系统的骨架插件
vais-plug的Python项目详细描述
骨架插件
插件骨架V1
流处理作业
- 步骤1:用一些信息(作业队列、插件代码、插件名称、插件描述、版本代码)向后端注册worker(按env backend_端点)
- 第二步:连接Redis,弹性搜索(通过env Redis_HOST,Redis_PORT,ELASTICSEARCH_URL)
- 第三步:监听redis队列作业(job_queue)
- 第四步:处理工作
注意:使用文件rq_push_作业.py用于测试推送作业
自定义插件
- 步骤1:继承类PluginSkeleton并根据需要覆盖加载模型的函数preload(示例中_插件.py). 在
- 步骤2:文件示例中的自定义函数handle_job()_插件.py保留输入参数
检查列表迁移骨架插件
- News footprint handle job函数:handle_job(文档索引、文档id、输入数据=无、依赖的作业=无)
- 从依赖的jod获取输入数据:input_data=SamplePlugin.get_依赖的作业输出(当前的作业,输入的作业,依赖的作业)
- 输入数据有新的结构,因此需要改变从输入数据解析数据的方式
{"plugin_code":{"data":{},"version_code":{}},"plugin_code":{"data":{},"version_code":{}},...}
- 在
推送结果改变。现在doc_索引在doc_id之前,需要输入版本代码:PluginSkeleton.push_结果(文档索引,文档id,输出,关键字plugin.VERSION\u代码)在
在 - 在
push_result func中的输出参数只是“data”字段中的内容
在 - 在
“return”在一个插件中现在需要使用这个函数:plugin_skeleton.PluginSkeleton.get_output_结果(输出,关键字plugin.VERSION\u代码)在
在 - 在
码头内-合成.yml文件需要包括依赖的插件代码环境(例如“asr,speech_cluster”)。它是依赖插件代码的列表,用逗号分隔
在 - 在
生成库
在
- 项目
标签: