使用pd.read_csv读取所有行

Question

我正在用Python读取一个有500万行的文件，但现在它只读取了100万行。这个文件大约有125MB。

我使用的是pd.read_csv这个函数，但它只读取了我文件中的100万行。

Answer 1

如果你想在Python中读取很长的文件，我推荐使用Dask这个工具：

import dask.dataframe as dd
df = dd.read_csv('yourfile.csv')

想了解更多信息，可以去Dask的文档页面看看：

https://docs.dask.org/en/stable/generated/dask.dataframe.read_csv.html