删除数据帧python的重复行

Question

我需要从数据集中删除重复的行。基本上，我应该表演

proc sort data=mydata noduprecs dupout=mydata_dup;run;

我需要删除重复的行，并将这些重复行保存在一个单独的dataframe中。我该怎么做？你知道吗

Answer 1

假设您的数据集是一个数据帧。你知道吗

要删除重复的行，请执行以下操作：

data = data.drop_duplicates()

要选择所有重复的行，请执行以下操作：

dup = data.ix[data.duplicated(), :]

希望有帮助。你知道吗