我如何通过计数过滤数据，并同时对组进行平均？

Question

有没有办法根据数据帧（.groupby）中的实例数进行有效过滤，并计算所过滤组的平均值

让我们以我的数据帧为例t_users和c_users是成对的，带有成对出现的月份和年份，以及一个计算列

x = [
[ 1000   , 4756   , 6  , 2017 , 0.36 ],
[1000   , 2357   , 6  , 2017 , 0.42 ],
[ 1000   , 2400   , 6  , 2017 , 0.76 ],
[ 1000   , 2400   , 6  , 2017 , 1.11 ],
[ 1000   , 2400   , 6  , 2017 , 0.27 ],
[ 1000   , 2400   , 6  , 2017 , 1.57 ],
[ 2399   , 9531   , 6  , 2017 , 0.57 ],
[ 3999   , 8532   , 6  , 2017 , 0.27 ],
[ 3999   , 2138   , 6  , 2017 , 1.76] ,
[ 1039   , 4215   , 6  , 2017 , 0.26]
]

df = pd.DataFrame(x, columns=['t_user','c_user','mo','yr','tval'])


|    | t_user | c_user | mo | yr   | tval |
|----|--------|--------|----|------|------|
| 0  | 1000   | 4756   | 6  | 2017 | 0.36 |
| 1  | 1000   | 2357   | 6  | 2017 | 0.42 |
| 2  | 1000   | 2400   | 6  | 2017 | 0.76 |
| 3  | 1000   | 2400   | 6  | 2017 | 1.11 |
| 4  | 1000   | 2400   | 6  | 2017 | 0.27 |
| 6  | 1000   | 2400   | 6  | 2017 | 1.57 |
| 7  | 2399   | 9531   | 6  | 2017 | 0.57 |
| 8  | 3999   | 8532   | 6  | 2017 | 0.27 |
| 9  | 3999   | 2138   | 6  | 2017 | 1.76 |
| 10 | 1039   | 4215   | 6  | 2017 | 0.26 |

在本例中，我想对出现4次的所有用户对进行分组。只有一对符合这个条件（索引2-6，帐户对1000和2400）

我知道第一点是很容易实现的

df= df.groupby(['t_user', 'c_user', 'mo', 'yr']).size().reset_index(name='ct')
df = df[df['ct'] == 24].reset_index()

同时，我想平均这4行中该对的tval列。我不需要任何其他数据。在哪里发生的

理想情况下，结果将应用于更大的数据集，返回满足数字要求的所有行，如下所示：

| t_user | c_user | mo | yr   | tval_avg |
|--------|--------|----|------|----------|
| 1000   | 2400   | 6  | 2017 |   0.93   |

我尝试了一个df.groupby().size()并加入了df.groupby.mean()但它非常混乱，不能正常工作。我想我可能错过了一些简单的东西

Answer 1

您应该能够使用groupby+transform来计算、过滤和应用平均值

transform将保留原始结构（并且只是重复值），因此您可以使用它在相同的切片函数上进行过滤

例如：

gpd = df[
    df.groupby(['t_user', 'c_user', 'mo', 'yr']).transform('count').values >= 4 #filter by greater than 3
].groupby(['t_user', 'c_user', 'mo', 'yr']).agg({'tval': 'mean'}).reset_index() ## aggregate result

gpd
Out[1]:
    t_user  c_user  mo  yr      tval
0   1000    2400    6   2017    0.9275