春分跑步者
mssql-runner的Python项目详细描述
MSSQL Runner提供了一种运行MSSQL脚本的方法,其中包含一组用于ETL的参数
安装
MSSQL Runner需要Python 3.6+
python3 -m venv <virtual env name> source <virtual env name>/bin/activate pip install mssql-runner
快速启动
通过mssql runner可以使用三种类型的替换参数。首先是一组标准etl参数,以便于使用:
- -f、 起始日期,默认为1776-07-24
- -t、 截止日期,默认为9999-12-31
- -b、 批次号,默认为-1
第二种选择是任意变量扩展。这是以以下格式传递的,因为rundeck命令不喜欢json引号:
- -p、 示例:-p“param1-val1,param2-val2”
最后一个选择是使用批处理集成
- -wf,batchy_job,这将从批处理工作流中替换参数,这应该是一个完全限定的批处理作业名称的格式wf.工作,如果未指定作业,则将假定为全局作业
您还可以选择使用哪个配置提供程序。在
- -配置,配置,默认核心
Datacoco核心-这是默认配置提供程序,它正在查找名为etl.cfg公司在项目根目录中。在
在etl.cfg公司文件夹结构
` [sample] db_name=local user=user server=server password=XXXX port=1433 type=mssql `
Secret Manager-使用此选项假定您的aws帐户中已经设置了Secret Manager,并且在您的环境中配置了aws密钥和Secret,以便您连接到aws。在
下面是如何使用secretmanager配置选项的示例 *-conf secret_经理–secret_project_name<;your峎project>;–secret_team<;your峎u team>
下面是一个示例SQL脚本。如果在sqlworkbench中运行,将提示您输入var1和var2的值。在
^{pr2}$在mssql runner中,可以使用以下参数来替换该值。假设这些参数将由调用脚本或informatica进程动态替换:
python -m mssql_runner.module -s "sample/mssql_runner_test.sql" -p"var1-cat,var2-dog"-b '9999'
假设您在wf3下批量配置了工作流,还可以使用以下脚本:
python -m mssql_runner.module -s sample/mssql_runner_test.sql -wf wf3
发展
入门
建议使用以下步骤设置虚拟环境进行开发:
python3 -m venv <virtual env name> source <virtual env name>/bin/activate pip install -r requirements.txt
测试
pip install -r requirements-dev.txt
要运行测试套件,只需运行命令:tox或python -m unittest discover tests
- 项目
标签: