dativascrubber 1.1.89

处理空白

有时在文件中使用空格是可以的，在这种情况下，可以在配置中指定skip_blank参数：

• 跳过空白-指定是否应选中此字段中的空白值或是否可以跳过它们，默认为false

fromdativa.scrubberimportScrubberimportpandasaspdscrubber=Scrubber()df=pd.read_csv("path/to/file.csv")report=scrubber.run(df,config={"rules":[{"rule_type":"String","field":"Name","params":{"fallback_mode":"remove_record","maximum_length":40,"minimum_length":1},}]})forentryinreport:print(entry)print(entry.df.describe())

如果分类数据中有显著空白，可以使用lookalike matcH字段自动填充：

• lookalike_match-这指定是否应将未验证的条目替换为与其他记录最相似的记录中的值。这实现了一种基于数据集中其他字段相似性的最近邻算法。它对于填写空白记录非常有用，默认值为false

使用会话数据

由于会话数据在物联网应用中很常见，我们有一个特殊的规则来验证会话数据，消除重叠会话并填补任何空白。规则类型="会话"提供处理会话数据的特殊功能：

• 键字段-指定为会话设置键的字段。对于大多数物联网应用程序来说，都是th设备id。如果两个会话在相同的key_字段值上重叠，则它们将被截断。默认为无
• 开始字段-指定控制会话开始的字段。默认为无
• 结束字段-指定控制会话结束的字段。默认为无
• 日期格式-日期参数的格式。这是基于标准的strftime参数加上格式'%s'表示以秒为单位的整数纪元时间
• 重叠选项-指定应如何处理重叠：
  • "忽略"-不处理重叠
  • "截断开始"-通过截断下一个会话的开始来解决重叠
  • "截断结束"-通过截断前一个会话的结束来解决重叠问题
• 间隙选项-指定应如何处理重叠：
  • "忽略"-忽略间隙
  • "扩展开始"-通过扩展下一个会话的开始来解决差距
  • "延长结束时间"-通过延长上一个会话的结束时间来解决差距
  • "插入新会话"-通过插入"template\u for\u new"参数中指定的新会话来解决间隙
• template_for_new-包含一个逗号分隔的值列表，该列表将用作数据框中新行的模板，以填补空白。关键字字段、开始字段和结束字段将替换为适当的值以填补任何空白。
• 允许间隔秒数-指定在间隔选项实现之前允许间隔秒数，默认为1
• 允许重叠秒数-指定在实现重叠选项之前允许重叠秒数，默认值为1
• 删除长度为零的会话-指定是否应删除长度为零的会话。默认为真

更改配置文件

文件处理器包含一个配置文件，指定可以处理的记录数，默认值如下：

• 最大记录数=2000000-单个数据帧中要处理的最大记录数
• maximum_records_closest_matches=5000-在一次运行中应用最接近匹配的最大记录数
• maximum_records_lookalike=5000-将由lookalike在单个数据帧中固定的最大记录数
• maximum_file_records_lookalike=500000-数据帧中的最大记录数
• lookalike\u number\u记录=5-lookalike匹配用于完成lookalike匹配的记录数

这些默认值可以根据服务器上可用的内存和CPU轻松调整，并通过传递自定义配置文件进行自定义到洗涤器类：

fromdativa.scrubberimportScrubberimportpandasaspdscrubber=Scrubber()df=pd.read_csv("path/to/file.csv")report=scrubber.run(df,config={"rules":[{"rule_type":"String","field":"Name","params":{"fallback_mode":"remove_record","maximum_length":40,"minimum_length":1},}]})forentryinreport:print(entry)print(entry.df.describe())

自定义报告

默认情况下，scruber类使用DefaultReportWriter（）类来聚合ReportEntry（）类，并在项目结束时在列表中返回它们。

为了编写您自己的自定义报表类，您需要实现一个具有两个接口的类：log history和get report。

下面是一个简单地将所有信息记录到stdout的示例：

fromdativa.scrubberimportScrubberimportpandasaspdscrubber=Scrubber()df=pd.read_csv("path/to/file.csv")report=scrubber.run(df,config={"rules":[{"rule_type":"String","field":"Name","params":{"fallback_mode":"remove_record","maximum_length":40,"minimum_length":1},}]})forentryinreport:print(entry)print(entry.df.describe())

示例配置

下面是一个更复杂的配置，演示如何处理多个字段。此配置包含在软件包的测试套件中。

fromdativa.scrubberimportScrubberimportpandasaspdscrubber=Scrubber()df=pd.read_csv("path/to/file.csv")report=scrubber.run(df,config={"rules":[{"rule_type":"String","field":"Name","params":{"fallback_mode":"remove_record","maximum_length":40,"minimum_length":1},}]})forentryinreport:print(entry)print(entry.df.describe())

配置参考

字符串规则

• 最小长度-字符串的最小长度，必需
• 最大长度-字符串的最大允许长度，必需
• regex-要应用于验证字符串的正则表达式。这是使用标准的python正则表达式处理器处理的，并且支持这里记录的所有语法。默认为".*"
• 是否唯一-指定此列是否应仅包含唯一值，默认值为false
• 跳过空白-指定是否应选中此字段中的空白值或是否可以跳过它们，默认为false
• 回退模式-指定数据不符合规则时应执行的操作，并可以采用以下值：
  • "remove_record"-默认值，在发送到传递给洗涤器类的记录器对象的数据帧中删除和隔离记录
  • "使用默认值"-记录将被删除并替换为"默认值"字段中指定的内容
  • "请勿替换"-记录保持不变，但仍记录到记录器对象。
• 默认值-如果回退模式设置为使用默认值，则应将未验证的记录的值设置为。默认为""。
• 尝试最近匹配-指定是否应将未验证的条目替换为数据集中最近匹配记录的值。如果未找到字符串距离阈值指定的足够接近的匹配，则仍应用回退模式。默认为false
• string_distance_threshold-这指定要应用的最接近匹配的默认距离阈值。这是jaro winkler distance的变体，默认为0.7
• lookalike_match-这指定是否应将未验证的条目替换为与其他记录最相似的记录中的值。这实现了一种基于数据集中其他字段相似性的最近邻算法。它对于填写空白记录非常有用，默认值为false

数字规则

• 最小值-数字的最小允许值，默认为0
• 最大值-数字的最大允许值，默认为65535
• 小数位数-该数字应包含的小数位数，默认为0
• 固定小数位数-如果设置为true（默认值），则规则将自动将所有记录固定为相同的小数位数
• 是否唯一-指定此列是否应仅包含唯一值，默认值为false
• 跳过空白-指定是否应选中此字段中的空白值或是否可以跳过它们，默认为false
• 回退模式trong>-指定数据不符合规则时应执行的操作，并可以采用以下值：
  • "remove_record"-默认值，在发送到传递给洗涤器类的记录器对象的数据帧中删除和隔离记录
  • "使用默认值"-记录将被删除并替换为"默认值"字段中指定的内容
  • "请勿替换"-记录保持不变，但仍记录到记录器对象。
• 默认值-如果回退模式设置为使用默认值，则应将未验证的记录的值设置为。默认为""。
• 尝试最近匹配-指定是否应将未验证的条目替换为数据集中最近匹配记录的值。如果未找到字符串距离阈值指定的足够接近的匹配，则仍应用回退模式。默认为false
• string_distance_threshold-这指定要应用的最接近匹配的默认距离阈值。这是jaro的变体，默认为0.7
• lookalike_match-这指定是否应将未验证的条目替换为与其他记录最相似的记录中的值。这实现了一种基于数据集中其他字段相似性的最近邻算法。它对于填写空白记录非常有用，默认值为false

日期规则

• 日期格式-日期参数的格式。这是基于标准的strftime参数加上格式'%s'表示以秒为单位的整数纪元时间。
• 范围检查-可设置为以下值：
  • 无-在这种情况下，不检查日期
  • 固定的-在这种情况下，验证字段是否位于两个固定日期之间
  • 滚动在这种情况下，字段将根据天的滚动窗口进行验证。
• 范围最小值-如果范围检查设置为"固定"，则这表示日期范围的开始。如果范围检查设置为"滚动"，则表示与当前时间（以天为单位）的偏移量，该偏移量应用作范围中的最早点。默认值为"2000-01-01 00:00:00"
• range_maximum-如果range_check设置为"fixed"，则表示日期范围的结束。如果范围检查设置为"滚动"，则表示与当前时间（以天为单位）的偏移，该偏移应用作范围中的最新点。默认值为"2020-01-01 00:00:00"
• 是否唯一-指定此列是否应仅包含唯一值，默认值为false
• 跳过空白-指定是否应选中此字段中的空白值或是否可以跳过它们，默认为false
• 回退模式-指定数据不符合规则时应执行的操作，并可以采用以下值：
  • "remove_record"-默认值，在发送到传递给洗涤器类的记录器对象的数据帧中删除和隔离记录
  • "使用默认值"-记录将被删除并替换为"默认值"字段中指定的内容
  • "请勿替换"-记录保持不变，但仍记录到记录器对象。
• 默认值-如果回退模式设置为使用默认值，则应将未验证的记录的值设置为。默认为""。
< < < >g>尝试最近匹配-指定是否应将未验证的条目替换为数据集中最近匹配记录的值。如果未找到字符串距离阈值指定的足够接近的匹配，则仍应用回退模式。默认为false
• string_distance_threshold-这指定要应用的最接近匹配的默认距离阈值。这是jaro的变体，默认为0.7
• lookalike_match-这指定是否应将未验证的条目替换为与其他记录最相似的记录中的值。这实现了一种基于数据集中其他字段相似性的最近邻算法。它对于填写空白记录非常有用，默认值为false

查找规则

• 原始参考-指定包含参考数据帧的DF DICT字典中的条目
• 引用字段-引用数据框中包含该字段应验证的值的列的名称或编号。
• 尝试最近匹配-指定是否应将未验证的条目替换为引用数据框中最近匹配记录的值。如果未找到字符串距离阈值指定的足够接近的匹配，则仍应用回退模式。默认为真
• string_distance_threshold-这指定要应用的最接近匹配的默认距离阈值。这是jaro的变体，默认为0.7
• 跳过空白-指定是否应选中此字段中的空白值或是否可以跳过它们，默认为false
• 回退模式-指定数据不符合规则时应执行的操作，并可以采用以下值：
  • "remove_record"-默认值，在发送到传递给洗涤器类的记录器对象的数据帧中删除和隔离记录
  • "使用默认值"-记录将被删除并替换为"默认值"字段中指定的内容
  • "请勿替换"-记录保持不变，但仍记录到记录器对象。
• 默认值-如果回退模式设置为使用默认值，则应将未验证的记录的值设置为。默认为""。
• lookalike_match-这指定是否应将未验证的条目替换为与其他记录最相似的记录中的值。这实现了一种基于数据集中其他字段相似性的最近邻算法。它对于填写空白记录非常有用，默认值为false

唯一性规则

• 唯一字段-应检查唯一性的字段的逗号分隔列表，例如"设备ID，日期"
• 使用最后一个值-指定是否应获取第一个或最后一个重复值。默认为false

会话规则