我有MinIO和Jupyter Pyspark笔记本在不同的docker容器上本地运行的实例。我可以使用minio Python包在minio中查看bucket和对象,但是当我尝试使用Pyspark从bucket加载parquet时,我得到以下结果:
代码:
salesDF_path = 's3a://{}:{}/data/sales/example.parquet'.format(host, port)
df = spark.read.load(salesDF_path)
错误:
^{pr2}$我正试图编写一个脚本来启动这些容器,运行一些测试,然后将它们分解。我需要在某个地方包括一些配置吗?在
请遵循以下步骤:
相关aws JAR
{cd1>确保安装了以下内容:
您可以运行
pyspark
应用程序,如下所示:pyspark jars "aws-java-sdk-1.7.4.jar,hadoop-aws-2.7.3
(或来自dockerCMD
)在笔记本内,配置“hadoop配置”
请检查s3a client configuration以查看完整的参数列表
现在应该能够从
minio
查询数据,例如:sc.textFile("s3a://<file path>")
请参阅此处的注释:https://github.com/jupyter/docker-stacks/issues/272#issuecomment-244278586
具体来说:
这有助于消除类未找到错误
你能展示一下你是如何安装和初始化Spark的吗?看起来您必须下载}jar吗?我使用http://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.7.3/hadoop-aws-2.7.3.jar和{a2}。在
org.apache.hadoop.fs.s3a.S3AFileSystem
的Java库。你能确定你已经安装了hadoop-aws
和{相关问题 更多 >
编程相关推荐