如何从Jupyter Pyspark笔记本访问MinIO存储桶？

Question

我有MinIO和Jupyter Pyspark笔记本在不同的docker容器上本地运行的实例。我可以使用minio Python包在minio中查看bucket和对象，但是当我尝试使用Pyspark从bucket加载parquet时，我得到以下结果：

代码：

salesDF_path = 's3a://{}:{}/data/sales/example.parquet'.format(host, port)
df = spark.read.load(salesDF_path)

错误：

^{pr2}$

我正试图编写一个脚本来启动这些容器，运行一些测试，然后将它们分解。我需要在某个地方包括一些配置吗？在

Answer 1

请参阅此处的注释：https://github.com/jupyter/docker-stacks/issues/272#issuecomment-244278586

具体来说：

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = ' packages com.amazonaws:aws-java-sdk:1.10.34,org.apache.hadoop:hadoop-aws:2.6.0,com.databricks:spark-csv_2.11:1.4.0 pyspark-shell'

这有助于消除类未找到错误