无法从pandas转到dask dataframe,memory

2024-05-20 00:25:21 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个pandas数据帧,有700万条记录,我试图创建一个dask数据帧,但我不断遇到内存问题。在

使用的代码:

dd_test = dd.from_pandas(df_lookup_table, npartitions=3)

错误消息:

^{pr2}$

我可以用更小的数据帧创建一个dask数据帧。如何从这个pandas数据帧创建dask数据帧?在


Tags: 数据内存代码fromtest消息pandasdf
1条回答
网友
1楼 · 发布于 2024-05-20 00:25:21

dask的关键是能够处理不适合内存的数据。在本例中,您首先将数据集加载到内存中,然后再将其传递给dask。相反,您应该使用dask直接加载数据。例如,如果使用pandas.read_csv,则应将其切换为dask.dataframe.read_csv。在

相关问题 更多 >