如何在Pyspark中运行脚本并在完成后放入IPython shell？

Question

我想运行一个spark脚本并放入一个IPython shell以交互方式检查数据。

同时运行：

$ IPYTHON=1 pyspark --master local[2] myscript.py

以及

$ IPYTHON=1 spark-submit --master local[2] myscript.py

一旦完成，两个都退出了IPython。

这看起来很简单，但在任何地方都找不到。

Answer 1

如果使用以下命令启动iPython shell：

$ IPYTHON=1 pyspark --master local[2]

你可以：

 >>> %run myscript.py

所有变量都将保留在工作区中。也可以使用以下命令逐步调试：

>>> %run -d myscript.py

Answer 2

使用IPYTHON=1 pyspark启动IPython shell，然后运行execfile('/path/to/myscript.py')，这将在shell中运行脚本并返回到它。