数据流管道中的外部Python依赖关系

Question

python依赖项可以加载到google云数据流管道中吗？我想使用gensim's phrase modeler逐行读取数据，以自动检测常见短语/双元组（经常出现在彼此旁边的两个单词）。因此，管道的第一次运行将是将每个句子传递给这个短语modeler。第二次通过管道将使用相同的短语建模器，并将该短语建模器应用于每个句子，以识别应一起建模的短语（如果“机器”和“学习”在语料库中经常相邻出现，则它们将转换为单个单词“机器学习”。这能在数据流中完成吗？是否可以在工作计算机上强制传递生成/需求文件pip install gensim？在

Answer 1

您可以查看此页以管理管道中的依赖项：

https://beam.apache.org/documentation/sdks/python-pipeline-dependencies

示例：对于PyPI上的包，可以通过添加以下命令行选项来使用requirement file：

需求文件要求.txt在