如何使用标准python检测单变量数据“相邻值之间”的异常值

Question

我有一个简单的数据集，有两列日期/温度。你知道吗

我需要一些方法来找出异常值： 1在“温度”列中 2只有w.r.t与某些相邻值

仅用相邻值检测异常值的最佳方法是什么？你知道吗

我试过编码IQR，均值/中位数偏差等，但他们删掉了更多的值。我试着一次将这些方法应用于10个值，但最终发现的异常值比我预期的还要多。你知道吗

最后我还需要用标准python编写代码，所以任何关于这方面的提示都会很有用。你知道吗

下面是我的类DataChecker中的函数，它们计算IQR并用它来检查异常值。你知道吗

class DataChecker:
    class DateTemperature:
        def __init__(self, input_date, temperature):
            try:
                day, month, year = input_date.split('/')
                self._temperature_date = date(int(year), int(month), int(day))
            except ValueError:
                # Don't tolerate invalid date
                raise #TODO change to custom error 

            try:
                self._temperature = float(temperature)
            except (TypeError, ValueError):
                self._temperature = 0

        @property
        def date(self):
            return self._temperature_date.strftime('%d/%m/%Y')

        @property
        def temperature(self):
            return self._temperature

    def __init__(self, input_date_temperature_values):
        self._date_temperature_values = []
        for date, temperature in input_date_temperature_values:
            try:
                self._date_temperature_values.append(self.DateTemperature(date, temperature))
            except ValueError:
                pass

        self._date_temperature_values.sort(key=lambda x:x.date)

        self._outlier_low, self._outlier_high = self._calculate_outlier_thresholds(self._date_temperature_values)

    def _is_value_outlier(self, temperature):
        if temperature < self._outlier_low or temperature > self._outlier_high:
            return True
        return False

    def _calculate_outlier_thresholds(self, data_temperature_values):
        temperature_values = sorted([dataTemperature.temperature for dataTemperature in data_temperature_values])
        median_index = len(temperature_values) // 2
        first_quartile = median(temperature_values[:median_index])
        third_quartile = median(temperature_values[median_index+1:])

        iqr = (third_quartile - first_quartile)

        # Tried with 1.5, 1.2, 2 etc
        low_iqr = first_quartile - 1.2*iqr
        high_iqr = third_quartile + 1.2*iqr

        # Trying mean/median deviation
        #mean_value = statistics.median(temperature_values)
        #std_dev = statistics.pstdev(temperature_values)
        #print(f'{mean_value} : {std_dev}')
        #low_iqr = mean_value - 2*std_dev
        #high_iqr = mean_value + 2*std_dev


        #print(low_iqr, ':', high_iqr)
        return low_iqr, high_iqr

谢谢！你知道吗

Answer 1

标准差：标准差是用来量化一组数据值的变化量或离散度的量度。你知道吗

平均值：平均值是采样值之和除以项目数。你知道吗

import numpy as np

def removeOutlier(data):
  data = np.array(data)
  mean = np.mean(data, axis=0)
  std = np.std(data, axis=0)
  final_list = [x for x in data if (x > mean - 2 * std)]
  final_list = [x for x in final_list if (x < mean + 2 * std)]
  return final_list

您可以选择相邻点并将其放入一个列表中，然后如果您通过此函数传递它，您将得到无离群值列表。你知道吗