Blaza和Pandas的大数据

Question

我想知道这种方法对一个项目来说是否是一种过度的杀伤力。 我有一个4gb的文件，显然我的电脑无法处理。使用Blaze将文件分割成更易于管理的文件大小，用pandas打开，用Bokeh可视化，会不会有点过头了？你知道吗

我知道Pandas有一个“chunk”函数，但我之所以要拆分它们，是因为我需要分析与特定名称相关的特定行。你知道吗

有没有一个不同的方法，你会采取不会崩溃我的笔记本电脑，不需要设置Hadoop或任何AWS服务？你知道吗

Answer 1

熊猫块与pd.read_csv(..., chunksize=...)工作得很好。你知道吗

或者dask.dataframe模拟Pandas接口并为您处理分块。你知道吗