将数据帧导出为数据帧格式以作为参数传递到下一个程序

Question

我对数据集执行了某些计算，我需要将结果存储在外部文件中。你知道吗

如果是CSV，为了进一步处理它，我必须再次转换为Dataframe/SFrame，这又增加了代码行。你知道吗

以下是片段：

train_data = graphlab.SFrame(ratings_base)

显然，它在SFrame中，可以使用

df_train = train_data.to_dataframe()

现在它在DFrame中，我需要将它导出到一个文件中，而不改变它的结构。因为导出的文件将用作另一个python代码的参数。该代码必须接受DFrame而不是CSV。你知道吗

我已经在place1、place2、place3、place4和place5退房了

另外-如果有人能简化的话，我还在挖掘Python序列化
这在上下文中是有帮助的

Answer 1

我会使用HDFS格式，因为它受到Pandas和graphlab.SFrame的支持，而且HDFS格式非常快。你知道吗

或者您可以导出1.数据帧要Pickle文件并从其他脚本读取它，请执行以下操作：

sf.to_dataframe().to_pickle(r'/path/to/pd_frame.pickle')

要读回（从同一个脚本或另一个脚本）：

df = pd.read_pickle(r'/path/to/pd_frame.pickle')