如何从S3读取拼花数据到spark dataframe Python？
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我是新来的火花，我无法找到这个。。。我有很多拼花文件上传到<code>s3</code>的位置：</p>
<pre><code>s3://a-dps/d-l/sco/alpha/20160930/parquet/
</code></pre>
<p>此文件夹的总大小为<code>20+ Gb</code>，。如何将其分块并读入数据帧
如何将所有这些文件加载到数据帧中？</p>
<p>分配给spark群集的内存为6 gb。</p>
<pre><code> from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark import SparkConf
from pyspark.sql import SparkSession
import pandas
# SparkConf().set("spark.jars.packages","org.apache.hadoop:hadoop-aws:3.0.0-alpha3")
sc = SparkContext.getOrCreate()
sc._jsc.hadoopConfiguration().set("fs.s3.awsAccessKeyId", 'A')
sc._jsc.hadoopConfiguration().set("fs.s3.awsSecretAccessKey", 's')
sqlContext = SQLContext(sc)
df2 = sqlContext.read.parquet("s3://sm/data/scor/alpha/2016/parquet/*")
</code></pre>
<p>错误：</p>
<pre>
Py4JJavaError: An error occurred while calling o33.parquet.
: java.io.IOException: No FileSystem for scheme: s3
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:372)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:370)
at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
at scala.collection.immutable.List.foreach(List.scala:381)
at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
at scala.collection.immutable.List.flatMap(List.scala:344)
</pre>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 如何将python输出重定向到python控制台和Windows中的文本文件 9 回答
- 如何将Python运行时嵌入运行在Windows上的R包中 8 回答
- 如何将python进程作为另一个Windows us运行 8 回答
- 如何将Python进程的输出用Python管道传输？ 8 回答
- 如何将Python进程的输出重定向到Rust进程？ 7 回答
- 如何将python连接到Azure云并创建Azure数据工厂 10 回答
- 如何将Python连接到Db2 6 回答
- 如何将python连接到IBMDB2？ 9 回答
- 如何将Python连接到microsoftaccess数据库文件？ 5 回答
- 如何将python连接到MySQL服务器 5 回答
- 如何将Python连接到Node.js？ 5 回答
- 如何将python连接到Oracle Application Express 7 回答
- 如何将Python连接到PostgreSQL 9 回答
- 如何将Python连接到Postgres服务器？ 9 回答
- 如何将Python连接到SAS Enterprise Guide（EG）服务器 10 回答
- 如何将Python连接到Spark会话并保持RDDs的Ali 8 回答
- 如何将python连接到sqlite3并在上填充多行 3 回答
- 如何将python连接到使用docker运行的cassandra 7 回答
- 如何将python退格应用于字符串 8 回答
- 如何将python逻辑应用到tkinter GUI中？这是一个简单的GET请求程序 9 回答
