使用json编写的模板化配置文件启动aws弹性mapreduce集群。旨在使部署一致且可复制。

emr-launcher的Python项目详细描述


#emr launcher


>启动emr集群使用配置文件启动emr集群,在设置集群时运行时行为保持一致。


<



``` `
p p install emr_launcher
` ` `

`




/>启动新集群启动新集群:
````
emr_launcher launcher launcher/path/to/config/<;my_config>;.json.json使用配置文件启动emr集群,运行时行为保持一致。

```

添加步骤对于现有的集群
` BR/> ErrRunEnter启动/路径/to/COFIG//L.MyOnCONFIG&G..JSON-Jooid ID& LoWorkIdIyOfSuthixOnGuange& Gt;
```

您可以将文档用作构建配置或构建[示例配置](https://github.com/tuneinc/emr嫒u launcher/blob/master/example嫒config.json)


\emr嫒u launcher使用json配置中的模板来调用有用的函数,例如,有一个匿名输出位置:

```

“--conf”,“spark.output=s3://mybucket/output/{{emr\u launcher.uuid()}/

````


/>运行:


```````
emr\u launcher启动程序列表模板函数可以找到一整套可用的模板函数,运行:
emr\u launcher启动程序列表模板函数


emr\u launcher启动程序列表模板函数


emr\u launcher启动程序启动程序
{get_environ()['user']}
在调用emr启动程序之前,父python程序可以使用“os.environ[key]=value”。

emr_启动程序。get_relative_date
返回格式化的日期时间字符串,
相对于当前时间,
由timedelta参数调整。
示例:
{emr_launcher.get_relative_date(format='%y-%m-01 00:00:00',timedelta_args=dict(days=-2))}

emr_launcher.millis to_iso字符串格式的日期字符串

emr_launcher.uuid
返回一个uuid4十六进制字符串
````

要安装插件,只需运行:
```
pip install emr\u launcher\lt;plugin name>;
````


>可用插件:


[emr U Launcher U-aws(https://github.com/tuneinc/tuneinc/emr U Launcher U-aws)


[emr U Launcher U-Launcher U-consu(https://github.com/tuneinc/emr U Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-consu](https://github.com/tuneinc/tuneinc/tuneinc/emr U-Launcher U-Launch

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
javajaxb在嵌套节点中生成xmlns:xsi声明   java重定向到youtube以上传jsp上可用的视频   java提高了JVM和ANT的性能   java如何将返回的JSON数据放在HTML表单中   java如何发送XWWWFORMURLENCODE在重新授权   java为什么jvm XX:+EliminateAllocations失败   堆移除和重建方法?(爪哇)   Stanford NPL in Spark(Scala)应用程序运行到Java堆空间(Java.lang.OutOfMemoryError)   调试java中打开/关闭println的任何方式(详细模式)   java IntelliJ在鼠标悬停时显示JavaDocs工具提示   Olingo Odata Java中的自动扩展选项   json将postgres文本arry转换为java列表?   oop需要帮助推断Java代码   复选框的java添加操作侦听器AbstractTableModel   java如何从公共静态void main(String[]args)传递值   java从数据库中获取大值   java Processing 2.0电影从jar运行时无法打开电影文件   java如何在不使用应用程序的情况下刷新活动?   尝试将JSON解析为ListView时的Android:JSON parse:null对象引用