用新模块扩展apache beam python api
beam-extended的Python项目详细描述
光束扩展包
提供对现有SDK(主要是Python)
的扩展当前包含:
- MongoDB IO连接器
安装
要安装软件包,请按如下方式使用pip
安装:
pip install beam-extended
注意:目前,由于apache beam约束,beam extended仅适用于python 3.6。
示例用法
下面是一个使用包的简短示例。
from beam_extended.io.mongodbio import ReadFromMongo, WriteToMongo
...
with beam.Pipeline(options=options) as pipeline:
( p | 'read' >> ReadFromMongo('myUrl1', 'myDb1', 'myColl1', query={}, projection=['_id'])
| 'transform' >> beam.Map(transform)
| 'save' >> WriteToMongo('myUrl2', 'myDb2', 'myColl2'))
发布
运行pypi.sh
脚本。
学分
基于:
https://gist.github.com/dlebech/e9d6ba266014db8783dbbeb362593020作者:大卫·沃石英·勒贝克
以及
https://gist.github.com/sandboxws/08b9c5e373b94056733f8a662d9a2fa2作者艾哈迈德·侯赛因