Pandas群居轮班不尊重群体

Question

我有以下数据帧和一个任意函数

df = pd.DataFrame(
    {'grp': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 3, 3, 3, 3, 3, 3, 3, 3, 3],
     'val': [0.80485036, 0.30698609, 0.33518013, 0.12214516, 0.66355629,
       0.71277808, 0.07193942, 0.97128731, 0.46351423, 0.81494857,
       0.82267912, 0.33043168, 0.55643, 0.63413976, 0.37998928, 0.54695376,
       0.99751999, 0.02726808, 0.2392102 , 0.93278521, 0.41905688]}
)

def myfunc(arr):
    return np.product(1+arr) - 1

我计算myfunc在组内滚动：

df.groupby('grp')['val'].rolling(3).apply(myfunc)

grp    
1    0          NaN
     1          NaN
     2     2.149576
     3     0.958213
     4     1.492450
     5     2.197331
     6     2.054280
     7     2.619272
     8     2.092553
     9     4.236139
     10    3.841406
2    11         NaN
3    12         NaN
     13         NaN
     14    2.509898
     15    2.488528
     16    3.264265
     17    2.174331
     18    1.542845
     19    1.460438
     20    2.398822

那很好。现在我需要将组内的滚动计算向后移动五个周期

df.groupby('grp')['val'].rolling(3).apply(myfunc).shift(-5)

grp    
1    0     2.197331
     1     2.054280
     2     2.619272
     3     2.092553
     4     4.236139
     5     3.841406
     6          NaN
     7          NaN
     8          NaN
     9     2.509898
     10    2.488528
2    11    3.264265
3    12    2.174331
     13    1.542845
     14    1.460438
     15    2.398822
     16         NaN
     17         NaN
     18         NaN
     19         NaN
     20         NaN
Name: val, dtype: float64

这是怎么回事？！groupby的全部目的是维护组之间的边界。熊猫如何（以及为什么）不尊重这一点。应该是：

grp    
1    0     2.197331
     1     2.054280
     2     2.619272
     3     2.092553
     4     4.236139
     5     3.841406
     6          NaN
     7          NaN
     8          NaN
     9          NaN
     10         NaN
2    11         NaN
3    12    2.174331
     13    1.542845
     14    1.460438
     15    2.398822
     16         NaN
     17         NaN
     18         NaN
     19         NaN
     20         NaN
Name: val, dtype: float64

这似乎是熊猫身上一种严重的虫子。我错过什么了吗？我怎样才能让groupby做一个groupby

Answer 1

问题是，当分裂成碎片时，代码

df.groupby('grp')['val'].rolling(3).apply(myfunc).shift(-5)

相当于

tmp = df.groupby('grp')['val'].rolling(3).apply(myfunc)
out = tmp.shift(-5)

这里，tmp是一个正常的pd.Series。正如您现在所猜测的，out在正常序列上移位，没有任何分组。这是预期的行为

---

要获得所需的输出，您可以与另一个groupby链接：

(df.groupby('grp')['val'].rolling(3).apply(myfunc)
   .groupby('grp').shift(-5)        # extra groupby here 
)

一切都应该是好的