Pandas操作期间的进度指示器

Question

我经常对超过1500万行左右的数据帧执行pandas操作，我希望能够访问特定操作的进度指示器。

是否存在基于文本的pandas split apply combine操作进度指示器？

例如，在类似于：

df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)

其中feature_rollup是一个有点复杂的函数，它接受许多DF列并通过各种方法创建新的用户列。对于大型数据帧，这些操作可能需要一段时间，因此我想知道是否有可能在iPython笔记本中使用基于文本的输出来更新我的进度。

到目前为止，我已经尝试了Python的规范循环进度指示器，但是它们没有以任何有意义的方式与panda交互。

我希望在pandas库/文档中有一些我忽略了的东西，可以让人知道拆分应用组合的进度。一个简单的实现可能会查看apply函数在其上工作的数据帧子集的总数，并将进度报告为这些子集的完成部分。

这可能是需要添加到库中的内容吗？

Answer 1

如果您像我一样需要在Jupyter/ipython笔记本中使用此功能的支持，这里有一个有用的指南和relevant article的源代码：

from tqdm._tqdm_notebook import tqdm_notebook
import pandas as pd
tqdm_notebook.pandas()
df = pd.DataFrame(np.random.randint(0, int(1e8), (10000, 1000)))
df.groupby(0).progress_apply(lambda x: x**2)

注意_tqdm_notebook的import语句中的下划线。正如参考文章所提到的，开发处于后期测试阶段。