优化AWS EMR Spark设置（Spark配置备忘单）
spark-optimizer的Python项目详细描述
#火花优化器
[！[构建状态]（https://api.travis-ci.org/delijati/spark-optimizer.svg？branch=master）（https://travis ci.org/delijati/spark optimizer）
优化spark设置（用于群集aka yarn run）
spark优化器
dev安装：
$virtualenv env
$env/bin/pip安装-e。
>使用“4”节点为“c4.4xlage”生成设置：
$env/bin/spark优化器c4.4xlage 4
{spark.default.parallelism'：'108'，
'spark.driver.cores'：'2'，
'spark.driver.maxresultsize'：'3481m'，
“spark.driver.memory”：“3481m”，
“spark.driver.memoryOverhead”：“614m”，
“spark.executor.cores”：“2”，
“spark.executor.instances”：“27”，
“spark.executor.memory”：“3481m”，
'spark.executor.memoryoverhead'：'614m'}
>更新实例信息：
$env/bin/python/python-spark优化/emr-u-update.py
>
-
<0.1.3.3.3（2019-03-08）
br/>----
-将EMR成本添加到山药
-导出-加载山药文件
-使“内存-开销-开销”系数“可编辑
<0.1.2（2019-02-20）0.1.2（2019-02-02-20）
---------
-取消版本
-将cli从
<0.1.1.1（2018-09-12）0.1.2（2019-02-20）0.1.2（2019-02-02-20）0.1.1.2（2019-02-02-02-20）0.1.1.1.2（2019-02-09-12）
-初次发布
[！[构建状态]（https://api.travis-ci.org/delijati/spark-optimizer.svg？branch=master）（https://travis ci.org/delijati/spark optimizer）
优化spark设置（用于群集aka yarn run）
spark优化器
dev安装：
$virtualenv env
$env/bin/pip安装-e。
>使用“4”节点为“c4.4xlage”生成设置：
$env/bin/spark优化器c4.4xlage 4
{spark.default.parallelism'：'108'，
'spark.driver.cores'：'2'，
'spark.driver.maxresultsize'：'3481m'，
“spark.driver.memory”：“3481m”，
“spark.driver.memoryOverhead”：“614m”，
“spark.executor.cores”：“2”，
“spark.executor.instances”：“27”，
“spark.executor.memory”：“3481m”，
'spark.executor.memoryoverhead'：'614m'}
>更新实例信息：
$env/bin/python/python-spark优化/emr-u-update.py
>
-
<0.1.3.3.3（2019-03-08）
br/>----
-将EMR成本添加到山药
-导出-加载山药文件
-使“内存-开销-开销”系数“可编辑
<0.1.2（2019-02-20）0.1.2（2019-02-02-20）
---------
-取消版本
-将cli从
<0.1.1.1（2018-09-12）0.1.2（2019-02-20）0.1.2（2019-02-02-20）0.1.1.2（2019-02-02-02-20）0.1.1.1.2（2019-02-09-12）
-初次发布
欢迎加入QQ群-->： 979659372
