Pandas：以不同的方式分组

Question

假设我有以下数据帧：

df = pd.DataFrame({"unique_id": [1, 1, 1], "att1_amr": [11, 11, 11], "att2_nominal": [1, np.nan, np.nan], "att3_nominal": [np.nan, 1, np.nan], "att4_bok": [33.33, 33.33, 33.33], "att5_nominal": [np.nan, np.nan, np.nan], "att6_zpq": [22.22, 22.22, 22.22]})

我要做的是按数据帧的行按unique_id分组，这样我就可以对包含单词nominal的列应用单独的groupby操作，并对所有其他列应用单独的groupby操作。更具体地说，我想用sum(min_count = 1)和first()或last()对包含nominal的列进行分组。结果如下：

df_result = pd.DataFrame({"unique_id": [1], "att1_amr": [11], "att2_nominal": [1], "att3_nominal": [1], "att4_bok": [33.33], "att5_nominal": [np.nan], "att6_zpq": [22.22]})

谢谢你！你知道吗

Answer 1

@jezrael提供的解决方案工作得很好，但却是最优雅的解决方案，然而，我遇到了严重的性能问题。令人惊讶的是，我发现这是一个更快的解决方案，同时实现相同的目标。你知道吗

nominal_cols = df.filter(like="nominal").columns.values
other_cols = [col for col in df.columns.values if col not in nominal_cols and col != "unique_id"]
df1 = df.groupby('unique_id', as_index=False)[nominal_cols].sum(min_count=1)
df2 = df.groupby('unique_id', as_index=False)[other_cols].first()
pd.merge(df1, df2, on=["unique_id"], how="inner")

Answer 2

您可以动态创建字典—首先使用lambda函数创建具有nominal的所有列，然后使用last创建其他所有列并将其合并在一起，最后一次调用^{}：

d1 = dict.fromkeys(df.columns[df.columns.str.contains('nominal')], 
                   lambda x : x.sum(min_count=1))

d2 = dict.fromkeys(df.columns.difference(['unique_id'] + list(d1)), 'last')
d = {**d1, **d2}

df = df.groupby('unique_id').agg(d)
print (df)
           att2_nominal  att3_nominal  att5_nominal  att1_amr  att4_bok  \
unique_id                                                                 
1                   1.0           1.0           NaN        11     33.33   

           att6_zpq  
unique_id            
1             22.22  

另一种更清洁的解决方案：

d = {k: (lambda x : x.sum(min_count=1)) 
     if 'nominal' in k 
     else 'last' 
     for k in df.columns.difference(['unique_id'])}

df = df.groupby('unique_id').agg(d)
print (df)
           att1_amr  att2_nominal  att3_nominal  att4_bok  att5_nominal  \
unique_id                                                                 
1                11           1.0           1.0     33.33           NaN   

           att6_zpq  
unique_id            
1             22.22  

Answer 3

为什么不只是：

>>> df.ffill().bfill().drop_duplicates()
   att1_amr  att2_nominal  att3_nominal  att4_bok  att5_nominal  att6_zpq  \
0        11           1.0           1.0     33.33           NaN     22.22   

   unique_id  
0          1  
>>>