用新模块扩展apache beam python api

beam-extended的Python项目详细描述


光束扩展包

提供对现有SDK(主要是Python)

的扩展

当前包含:

  • MongoDB IO连接器

安装

要安装软件包,请按如下方式使用pip安装:

pip install beam-extended

注意:目前,由于apache beam约束,beam extended仅适用于python 3.6

示例用法

下面是一个使用包的简短示例。

from beam_extended.io.mongodbio import ReadFromMongo, WriteToMongo
...
with beam.Pipeline(options=options) as pipeline:
    ( p | 'read' >> ReadFromMongo('myUrl1', 'myDb1', 'myColl1', query={}, projection=['_id'])
        | 'transform' >> beam.Map(transform)
        | 'save' >> WriteToMongo('myUrl2', 'myDb2', 'myColl2'))

发布

运行pypi.sh脚本。

学分

基于:

https://gist.github.com/dlebech/e9d6ba266014db8783dbbeb362593020作者:大卫·沃石英·勒贝克

以及

https://gist.github.com/sandboxws/08b9c5e373b94056733f8a662d9a2fa2作者艾哈迈德·侯赛因

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java JTable无法向新创建的列添加值   java如何调整JEditorPane中编辑区域的大小?   Java通过反射确定未知数组中的数组大小   java Intellij Idea有时无法按其预期的方式构建应用程序   java Swing GUI带有IntelliJ错误“contentPane不能设置为null”从终端编译时   如何将这些通用方法调用从C#转换为Java   在null上找不到java属性或字段“index”   从Java HashMap获取整数值时是否需要调用intValue()方法?   java Android谷歌地图获取相机中的图像块   unix无法捕获JAVA中“who m”命令的输出   java,同时将邮件发送到“收件人”标题“我”中的多个收件人   在java中向链表添加未知数量的节点   无法为Heroku上的discord bot设置java端口   java使用Apache HttpClient进行选项请求   与元素类型“ApplicationName”关联的属性“Application Version”需要java Open quote   Android Studio Java中的两个变量求和