python的flyte sdk
flytekit的Python项目详细描述
飞特基特
用于轻松编写、测试、部署和与Flyte任务、工作流和启动计划交互的库
##安装
flytekit是为最小的占地面积而设计的,因此某些功能必须作为附加功能安装。
###底座安装
这是最轻量级的SDK安装此安装包含与Flyte交互所需的所有内容
模块包括: 一完整的Flyte IDL和一个额外的模型层,便于扩展数据模型。 2用于与平台通信的GRPC客户端。 三。用于创作和扩展所有Flyte实体(包括任务、工作流和启动计划)的实现。
工具包括: 一flyte cli(用于与flyte平台交互的命令行界面) 2.pyflyte(用于简化Flyte实体注册的命令行工具)
`bash pip install flytekit `
###火花塞安装
如果要使用spark任务,则应安装spark插件。
`bash pip install flytekit[spark] `
###架构插件安装
如果要将types.schema()用于涉及大型数据帧的计算,则应安装schema扩展。
`bash pip install flytekit[schema] `
###Sidecar插件安装
如果要使用sidecar任务,则应安装sidecar插件
`bash pip install flytekit[sidecar] `
###完全安装
要安装所有或多个可用的插件,可以分别指定它们:
`bash pip install flytekit[sidecar,spark,schema] `
或者使用all指令安装它们
`bash pip install flytekit[all] `
##测试
flytekit与python 2.7+兼容,因此如果可行,建议同时使用python2和3进行测试。
###单元测试
####设置(执行一次) `bash virtualenv ~/.virtualenvs/flytekit2 source ~/.virtualenvs/flytekit2/bin/activate python -m pip install -r requirements.txt `
执行 `bash source ~/.virtualenvs/flytekit2/bin/activate python -m pytest tests/flytekit/unit `