使用json编写的模板化配置文件启动aws弹性mapreduce集群。旨在使部署一致且可复制。

emr-launcher的Python项目详细描述


#emr launcher


>启动emr集群使用配置文件启动emr集群,在设置集群时运行时行为保持一致。


<



``` `
p p install emr_launcher
` ` `

`




/>启动新集群启动新集群:
````
emr_launcher launcher launcher/path/to/config/<;my_config>;.json.json使用配置文件启动emr集群,运行时行为保持一致。

```

添加步骤对于现有的集群
` BR/> ErrRunEnter启动/路径/to/COFIG//L.MyOnCONFIG&G..JSON-Jooid ID& LoWorkIdIyOfSuthixOnGuange& Gt;
```

您可以将文档用作构建配置或构建[示例配置](https://github.com/tuneinc/emr嫒u launcher/blob/master/example嫒config.json)


\emr嫒u launcher使用json配置中的模板来调用有用的函数,例如,有一个匿名输出位置:

```

“--conf”,“spark.output=s3://mybucket/output/{{emr\u launcher.uuid()}/

````


/>运行:


```````
emr\u launcher启动程序列表模板函数可以找到一整套可用的模板函数,运行:
emr\u launcher启动程序列表模板函数


emr\u launcher启动程序列表模板函数


emr\u launcher启动程序启动程序
{get_environ()['user']}
在调用emr启动程序之前,父python程序可以使用“os.environ[key]=value”。

emr_启动程序。get_relative_date
返回格式化的日期时间字符串,
相对于当前时间,
由timedelta参数调整。
示例:
{emr_launcher.get_relative_date(format='%y-%m-01 00:00:00',timedelta_args=dict(days=-2))}

emr_launcher.millis to_iso字符串格式的日期字符串

emr_launcher.uuid
返回一个uuid4十六进制字符串
````

要安装插件,只需运行:
```
pip install emr\u launcher\lt;plugin name>;
````


>可用插件:


[emr U Launcher U-aws(https://github.com/tuneinc/tuneinc/emr U Launcher U-aws)


[emr U Launcher U-Launcher U-consu(https://github.com/tuneinc/emr U Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-consu](https://github.com/tuneinc/tuneinc/tuneinc/emr U-Launcher U-Launch

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java将Map<String,String>传递给需要Map<String,Object>   java在循环中使用字符串而不是StringBuilder是否会造成内存损失?   jnlp如何更新java控制台JRE?   java更改、修改和重新打包CXFAPI源文件   JavaFXJava应用程序在Fedora上运行一段时间后关闭   使用来自不同类的方法的java   java如何通过ant脚本在linux中使用subst?   java在使用camunda modeler进行base64编码/解码时出错   获取java。netbeans、weblogic和fastswap设置为true时的lang.NoSuchMethodError   java如何提高FinalizerThread在GC中收集对象的优先级   java检测具有相同根的单词   netbeans crud应用程序中的java错误