Pyspark管理框架
sparkmanager的Python项目详细描述
Spark Management Consolidated是一个小模块，它将作为一个单独的类对象加载以管理Spark相关的东西。
代码：：shell
pip安装https://github.com/matz-e/sparkmanager/tarball/master
，或为当前用户：
代码：：shell
pip install--用户https://github.com/matz-e/sparkmanager/tarball/master
用法
----
>模块本身充当触发的中介：
。代码：：python
import sparkmanager as sm
“8g”）]
py:class:`sparkmanager`对象从这两个对象调用明确的方法：
。代码：：python
以下两个调用是等效的
c=sm.parallelize（range（5））
d=sm.sc.parallelize（range（5））
assert c.collect（）==d.collect（）
注意：
要在集群上运行的脚本仍然是一些实验性的，应该小心使用！
环境设置
~目前，它已调整到
“bbpviz”集群的要求。用法示例：
…代码：shell：Br/> SpkkRooSt//PAT/OS/MES/DILR/= /PATH/AT/A/Works/Directory示例/Env.SH
BR/>工作目录将包含：
BR/> * Python虚拟环境BR/> *指向工作Br/>目录
目录中的目录的基本星图配置，建立环境脚本设置
以使用生成的工作环境：
…代码：：shell
。/路径/to/a/work/directory/env.sh
脚本将由“pip”自动安装。若要使用它，请传递包含环境的工作目录或分别指定它们：
。代码：：shell
sm_cluster startup$workdir
sm_cluster startup$workdir/path/to/some/env.sh
代码：：shell
sm廑cluster shutdown$workdir
sm廑cluster shutdown$workdir/path/to/some/env.sh
Spark应用程序然后可以连接到通过以下路径找到的主应用程序：
。代码：：shell
cat$workdir/spark嫒master
在当前shell中设置一个spark环境，并将“workdir”指向一个
共享目录。“SpkkHoad”需要在你的环境中，指向你的火花装置。默认情况下，只有带有spark master和
集群启动脚本的文件将被复制到“workdir”。然后提交一个
群集，其中：
…代码：：shell
sbatch-a proj16-t 24:00:00-n4--exclusive-c nvme$（哪个sm_集群）startup$workdir
代码：：shell
pip安装https://github.com/matz-e/sparkmanager/tarball/master
，或为当前用户：
代码：：shell
pip install--用户https://github.com/matz-e/sparkmanager/tarball/master
用法
----
>模块本身充当触发的中介：
。代码：：python
import sparkmanager as sm
“8g”）]
py:class:`sparkmanager`对象从这两个对象调用明确的方法：
。代码：：python
以下两个调用是等效的
c=sm.parallelize（range（5））
d=sm.sc.parallelize（range（5））
assert c.collect（）==d.collect（）
注意：
要在集群上运行的脚本仍然是一些实验性的，应该小心使用！
环境设置
~目前，它已调整到
“bbpviz”集群的要求。用法示例：
…代码：shell：Br/> SpkkRooSt//PAT/OS/MES/DILR/= /PATH/AT/A/Works/Directory示例/Env.SH
BR/>工作目录将包含：
BR/> * Python虚拟环境BR/> *指向工作Br/>目录
目录中的目录的基本星图配置，建立环境脚本设置
以使用生成的工作环境：
…代码：：shell
。/路径/to/a/work/directory/env.sh
脚本将由“pip”自动安装。若要使用它，请传递包含环境的工作目录或分别指定它们：
。代码：：shell
sm_cluster startup$workdir
sm_cluster startup$workdir/path/to/some/env.sh
代码：：shell
sm廑cluster shutdown$workdir
sm廑cluster shutdown$workdir/path/to/some/env.sh
Spark应用程序然后可以连接到通过以下路径找到的主应用程序：
。代码：：shell
cat$workdir/spark嫒master
在当前shell中设置一个spark环境，并将“workdir”指向一个
共享目录。“SpkkHoad”需要在你的环境中，指向你的火花装置。默认情况下，只有带有spark master和
集群启动脚本的文件将被复制到“workdir”。然后提交一个
群集，其中：
…代码：：shell
sbatch-a proj16-t 24:00:00-n4--exclusive-c nvme$（哪个sm_集群）startup$workdir
欢迎加入QQ群-->： 979659372
