Pandas数据fram中异常值的检测与排除

Question

我有一个pandas数据框，只有几列。

现在我知道某些行是基于某个列值的异常值。

例如

column 'Vol' has all values around 12xx and one value is 4000 (outlier).

现在我想排除那些有这样的Vol列的行。

所以，本质上我需要在数据框上放置一个过滤器，这样我们就可以选择某一列的值在3个标准差内的所有行。

实现这一目标的优雅方法是什么？

Answer 1

对于每个dataframe列，您可以使用：

q = df["col"].quantile(0.99)

然后过滤：

df[df["col"] < q]

如果需要删除上下异常值，请将条件与and语句结合起来：

q_low = df["col"].quantile(0.01)
q_hi  = df["col"].quantile(0.99)

df_filtered = df[(df["col"] < q_hi) & (df["col"] > q_low)]