pandas_streaming 0.1.87

自述文件

pandas_streaming 目的是用pandas处理大文件， 太大而无法保存在内存中，太小而无法与显著的增益并行。 模块复制pandasapi的子集 并实现机器学习的其他功能。

from pandas_streaming.df import StreamingDataFrame
sdf = StreamingDataFrame.read_csv("filename", sep="\t", encoding="utf-8")

for df in sdf:
    # process this chunk of data
    # df is a dataframe
    print(df)

模块还可以流出一个现有的数据文件。

import pandas
df = pandas.DataFrame([dict(cf=0, cint=0, cstr="0"),
                       dict(cf=1, cint=1, cstr="1"),
                       dict(cf=3, cint=3, cstr="3")])

from pandas_streaming.df import StreamingDataFrame
sdf = StreamingDataFrame.read_df(df)

for df in sdf:
    # process this chunk of data
    # df is a dataframe
    print(df)

链接：

• GitHub/pandas_streaming
• documentation
• Blog