GBDX云线束

gbdx-cloud-harness的Python项目详细描述


https://badge.fury.io/py/gbdx-cloud-harness.svgDocumentation StatusStories in Readyhttps://codecov.io/gh/TDG-Platform/cloud-harness/branch/master/graph/badge.svg

这个包允许用户构建自定义gbdx任务,这些任务可以在本地执行,也可以在平台上远程执行。全部来自python文件和命令行工具。

要运行远程任务,此包使用gbdx-auth包。因此,必须根据gbdx-auth配置用户凭据。

安装

从pypi安装:

pip install gbdx-cloud-harness

用法

CloudHarness包有一个模板任务,其中包含示例用法。创建新模板:

cloud-harness create my_app cd my_app/

在新文件夹中,将有一个app.py文件作为模板。在您喜爱的编辑器中打开以开始生成新任务。准备运行任务时:

cloud-harness run app.py

请注意,要在本地运行任务,所有端口值都必须是有效的文件系统位置。否则将引发错误。

当任务准备好在平台上运行时,请使用–remote标志:

cloud-harness run app.py --remote

这将在平台上运行任务,假设所有端口值都是s3位置。否则将引发错误。

如果有本地数据需要推送到S3进行远程运行,则需要使用–upload标志:

cloud-harness run app.py --remote --upload

这将在执行工作流之前,将端口包含的所有本地数据推送到用户帐户存储中。

开发

贡献

请贡献!请直接向master发出pull请求。在发出请求之前,请:

  • 确保单元测试涵盖了所有新功能。
  • 确认所有单元测试都通过。
  • 确保所有功能都有正确的文档记录。t
  • 确保所有函数/类都有正确的docstring,以便sphinx可以自动生成文档。
  • 修复setup.py(and requirements.txt)中的所有版本

运行测试

测试使用pytest框架

py.test [...]
python -m pytest [...]

创建新版本

创建新版本:

bumpversion ( major | minor | patch )
git push --tags

别忘了更新变更日志并上传到pypi。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
如何用java表示这个数学函数的算法   Java/Stream帮助:仅使用streams将嵌套的映射列表转换为映射   使用Selenium连接到数据库时发生java未知主机异常   java如何了解jvm内存使用:“堆内存”和“堆外内存”   java Oracle BI报告导入模板   java如何使用Spring将xml转换为bean?   java线程。join()以保证执行顺序   java从THINGSPEAK到ANDROID应用程序获取JSON数据   使用Java的stanford库中的异常   java正确使用来自其他类文件的方法   如果集合中的元素类型为接口类型,如何填充集合?(爪哇)   记录java。util。记录器创建的文件超过了应有的数量   类Java对象uniq值   尝试调用无法应用于()的方法时出现java错误