使用json编写的模板化配置文件启动aws弹性mapreduce集群。旨在使部署一致且可复制。
emr-launcher的Python项目详细描述
#emr launcher
>启动emr集群使用配置文件启动emr集群,在设置集群时运行时行为保持一致。
<
``` `
p p install emr_launcher
` ` `
`
/>启动新集群启动新集群:
````
emr_launcher launcher launcher/path/to/config/<;my_config>;.json.json使用配置文件启动emr集群,运行时行为保持一致。
```
添加步骤对于现有的集群
` BR/> ErrRunEnter启动/路径/to/COFIG//L.MyOnCONFIG&G..JSON-Jooid ID& LoWorkIdIyOfSuthixOnGuange& Gt;
```
您可以将文档用作构建配置或构建[示例配置](https://github.com/tuneinc/emr嫒u launcher/blob/master/example嫒config.json)
\emr嫒u launcher使用json配置中的模板来调用有用的函数,例如,有一个匿名输出位置:
```
…
“--conf”,“spark.output=s3://mybucket/output/{{emr\u launcher.uuid()}/
…
````
/>运行:
```````
emr\u launcher启动程序列表模板函数可以找到一整套可用的模板函数,运行:
emr\u launcher启动程序列表模板函数
emr\u launcher启动程序列表模板函数
emr\u launcher启动程序启动程序
{get_environ()['user']}
在调用emr启动程序之前,父python程序可以使用“os.environ[key]=value”。
emr_启动程序。get_relative_date
返回格式化的日期时间字符串,
相对于当前时间,
由timedelta参数调整。
示例:
{emr_launcher.get_relative_date(format='%y-%m-01 00:00:00',timedelta_args=dict(days=-2))}
emr_launcher.millis to_iso字符串格式的日期字符串
emr_launcher.uuid
返回一个uuid4十六进制字符串
````
要安装插件,只需运行:
```
pip install emr\u launcher\lt;plugin name>;
````
>可用插件:
[emr U Launcher U-aws(https://github.com/tuneinc/tuneinc/emr U Launcher U-aws)
[emr U Launcher U-Launcher U-consu(https://github.com/tuneinc/emr U Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-consu](https://github.com/tuneinc/tuneinc/tuneinc/emr U-Launcher U-Launch
>启动emr集群使用配置文件启动emr集群,在设置集群时运行时行为保持一致。
<
``` `
p p install emr_launcher
` ` `
`
/>启动新集群启动新集群:
````
emr_launcher launcher launcher/path/to/config/<;my_config>;.json.json使用配置文件启动emr集群,运行时行为保持一致。
```
添加步骤对于现有的集群
` BR/> ErrRunEnter启动/路径/to/COFIG//L.MyOnCONFIG&G..JSON-Jooid ID& LoWorkIdIyOfSuthixOnGuange& Gt;
```
您可以将文档用作构建配置或构建[示例配置](https://github.com/tuneinc/emr嫒u launcher/blob/master/example嫒config.json)
\emr嫒u launcher使用json配置中的模板来调用有用的函数,例如,有一个匿名输出位置:
```
…
“--conf”,“spark.output=s3://mybucket/output/{{emr\u launcher.uuid()}/
…
````
/>运行:
```````
emr\u launcher启动程序列表模板函数可以找到一整套可用的模板函数,运行:
emr\u launcher启动程序列表模板函数
emr\u launcher启动程序列表模板函数
emr\u launcher启动程序启动程序
{get_environ()['user']}
在调用emr启动程序之前,父python程序可以使用“os.environ[key]=value”。
emr_启动程序。get_relative_date
返回格式化的日期时间字符串,
相对于当前时间,
由timedelta参数调整。
示例:
{emr_launcher.get_relative_date(format='%y-%m-01 00:00:00',timedelta_args=dict(days=-2))}
emr_launcher.millis to_iso字符串格式的日期字符串
emr_launcher.uuid
返回一个uuid4十六进制字符串
````
要安装插件,只需运行:
```
pip install emr\u launcher\lt;plugin name>;
````
>可用插件:
[emr U Launcher U-aws(https://github.com/tuneinc/tuneinc/emr U Launcher U-aws)
[emr U Launcher U-Launcher U-consu(https://github.com/tuneinc/emr U Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-Launcher U-consu](https://github.com/tuneinc/tuneinc/tuneinc/emr U-Launcher U-Launch