如何将Databricks sparkcsv包添加到IBM Bluemix上的Python Jupyter笔记本

Question

我知道我应该在启动pyspark时将其添加为一个包要求：

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0

但是在Bluemix中，spark已经在运行，并且已经定义了spark上下文。如何添加此包？在

顺便说一句，我能在Scala中做到这一点吗？在

Answer 1

目前在Bluemix上，在Python笔记本中使用PySpark，无法将spark-csv添加到环境中。在

但是，您可以使用以下命令将其添加到Scala笔记本中：

%AddDeps com.databricks spark-csv_2.10 1.3.0  transitive

当然，您可以选择其他版本的软件包。在

对于Scala笔记本电脑和相应的Spark内核，请参阅以下文档： https://github.com/ibm-et/spark-kernel/wiki/List-of-Current-Magics-for-the-Spark-Kernel