如何将pyspark数据帧写入HDFS，然后将其读回数据帧？

Answer 1

• 将数据帧写入HDFS（Spark 1.6）。

  df.write.save('/target/path/', format='parquet', mode='append') ## df is an existing DataFrame object.
  

一些格式选项是csv、parquet、json等

• 从HDFS读取数据帧（Spark 1.6）。

  from pyspark.sql import SQLContext
  sqlContext = SQLContext(sc)
  sqlContext.read.format('parquet').load('/path/to/file') 
  

format方法接受诸如parquet、csv、json等参数