Spark数据帧版本的pd.dataframe.from\ u dict（data）

Question

我有一本下列结构的词典

dictio = {"name":["name1","name2"],
          "tAcc":[0.8,0.8],
          "eAcc":[0.8,0.8]}

我要将此词典转换为spark数据帧：

"name"   "tAcc"     "eAcc"
___________________________
"name1"   0.8       0.8
"name2"   0.8       0.8

熊猫的功能 这项工作由pd.DataFrame.from\ dict（data）完成。 是否存在此函数的spark版本

Answer 1

在这里没有理由使用除DataFrame之外的任何东西（其中spark是SparkSession实例）：

spark.createDataFrame(pd.DataFrame.from_dict(data))

对于任何实际应用程序来说，内存中的字典都将是一个瓶颈，除了最简单的实际应用程序之外，其他应用程序都应该放弃它