现场统计计算与Pandas

Question

我有一个来自网络的logging数据的实时提要。我需要计算实时统计数据，就像我的previous question中的那个。如何设计这个模块？我的意思是，在每次消息到达时都将一个groupby函数应用于整个df似乎是不现实的。我可以只更新一行，它的计算列就会自动更新吗？在

JFYI，我将运行另一个线程，它将从df打印读值，并每隔5秒左右打印到a网页。。在

当然，我可以每5秒运行一次groupby-apply，而不是实时运行，但我认为最好是让df和计算独立于打印模块。在

有什么想法？在

Answer 1

groupby相当快，如果你为新项目预先分配了插槽，你可以让它更快。换言之，尝试并测量它以获得合理数量的假数据。如果速度够快的话，用熊猫继续前进。你可以以后再重写。在