在不同类型的大型数据帧中删除重复项的高效时间方法

Question

假设我有这个数据帧：

col1 col2

“a”[1,2,3]

“a”[1,2,3]

“b”[4,5,6]

我想删除重复项（在本例中为前两行）。我如何以一种节省时间的Pythonic方式实现这一点（我的完整数据帧是数百万行和7列）

Answer 1

您可以使用^{}：

In [1447]: df
Out[1447]: 
  col1     col2
0  'a'  [1,2,3]
1  'a'  [1,2,3]
2  'b'  [4,5,6]

In [1448]: df.drop_duplicates()
Out[1448]: 
  col1     col2
0  'a'  [1,2,3]
2  'b'  [4,5,6]