GBDX云线束
gbdx-cloud-harness的Python项目详细描述
这个包允许用户构建自定义gbdx任务,这些任务可以在本地执行,也可以在平台上远程执行。全部来自python文件和命令行工具。
要运行远程任务,此包使用gbdx-auth包。因此,必须根据gbdx-auth配置用户凭据。
安装
从pypi安装:
pip install gbdx-cloud-harness
用法
CloudHarness包有一个模板任务,其中包含示例用法。创建新模板:
cloud-harness create my_app cd my_app/
在新文件夹中,将有一个app.py文件作为模板。在您喜爱的编辑器中打开以开始生成新任务。准备运行任务时:
cloud-harness run app.py
请注意,要在本地运行任务,所有端口值都必须是有效的文件系统位置。否则将引发错误。
当任务准备好在平台上运行时,请使用–remote标志:
cloud-harness run app.py --remote
这将在平台上运行任务,假设所有端口值都是s3位置。否则将引发错误。
如果有本地数据需要推送到S3进行远程运行,则需要使用–upload标志:
cloud-harness run app.py --remote --upload
这将在执行工作流之前,将端口包含的所有本地数据推送到用户帐户存储中。
开发
贡献
请贡献!请直接向master发出pull请求。在发出请求之前,请:
- 确保单元测试涵盖了所有新功能。
- 确认所有单元测试都通过。
- 确保所有功能都有正确的文档记录。t
- 确保所有函数/类都有正确的docstring,以便sphinx可以自动生成文档。
- 修复setup.py(and requirements.txt)中的所有版本
运行测试
测试使用pytest框架
py.test [...] python -m pytest [...]
创建新版本
创建新版本:
bumpversion ( major | minor | patch ) git push --tags
别忘了更新变更日志并上传到pypi。