如何在pandas groupby中将数据框行分组为列表

Question

给定一个数据表，我想根据第一列的内容进行分组，然后把第二列的内容变成每一行的列表。比如说，像下面这样的数据表：

a b
A 1
A 2
B 5
B 5
B 4
C 6

想要变成：

A [1,2]
B [5,5,4]
C [6]

我该怎么做呢？

Answer 1

可以使用以下任意一种 groupby 和 agg 的方法。

# Setup
df = pd.DataFrame({
  'a': ['A', 'A', 'B', 'B', 'B', 'C'],
  'b': [1, 2, 5, 5, 4, 6],
  'c': ['x', 'y', 'z', 'x', 'y', 'z']
})
df

   a  b  c
0  A  1  x
1  A  2  y
2  B  5  z
3  B  5  x
4  B  4  y
5  C  6  z

如果想把多个列的数据聚合成列表，可以使用以下任意一种方法：

df.groupby('a').agg(list)
df.groupby('a').agg(pd.Series.tolist)

           b          c
a                      
A     [1, 2]     [x, y]
B  [5, 5, 4]  [z, x, y]
C        [6]        [z]

如果只想把单独一列的数据进行分组并转成列表，先把分组操作变成一个 SeriesGroupBy 对象，然后调用 SeriesGroupBy.agg。可以使用：

df.groupby('a').agg({'b': list})  # 4.42 ms 
df.groupby('a')['b'].agg(list)    # 2.76 ms - faster

a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

Answer 2

要解决这个问题，针对数据框中的多个列：

In [5]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6],'c'
   ...: :[3,3,3,4,4,4]})

In [6]: df
Out[6]: 
   a  b  c
0  A  1  3
1  A  2  3
2  B  5  3
3  B  5  4
4  B  4  4
5  C  6  4

In [7]: df.groupby('a').agg(lambda x: list(x))
Out[7]: 
           b          c
a                      
A     [1, 2]     [3, 3]
B  [5, 5, 4]  [3, 4, 4]
C        [6]        [4]

这个答案的灵感来自于 Anamika Modi 的回答。谢谢她！

Answer 3

如果性能很重要，就要深入到numpy的层面：

import numpy as np

df = pd.DataFrame({'a': np.random.randint(0, 60, 600), 'b': [1, 2, 5, 5, 4, 6]*100})

def f(df):
         keys, values = df.sort_values('a').values.T
         ukeys, index = np.unique(keys, True)
         arrays = np.split(values, index[1:])
         df2 = pd.DataFrame({'a':ukeys, 'b':[list(a) for a in arrays]})
         return df2

测试：

In [301]: %timeit f(df)
1000 loops, best of 3: 1.64 ms per loop

In [302]: %timeit df.groupby('a')['b'].apply(list)
100 loops, best of 3: 5.26 ms per loop

Answer 4

一个方便的方法来实现这个目标是：

df.groupby('a').agg({'b':lambda x: list(x)})

可以看看如何编写自定义聚合：https://www.kaggle.com/akshaysehgal/how-to-group-by-aggregate-using-py

Answer 5

你可以使用 groupby 来对你感兴趣的那一列进行分组，然后对每个组使用 apply 和 list。

In [1]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6]})
        df

Out[1]: 
   a  b
0  A  1
1  A  2
2  B  5
3  B  5
4  B  4
5  C  6

In [2]: df.groupby('a')['b'].apply(list)
Out[2]: 
a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

In [3]: df1 = df.groupby('a')['b'].apply(list).reset_index(name='new')
        df1
Out[3]: 
   a        new
0  A     [1, 2]
1  B  [5, 5, 4]
2  C        [6]