whip,who,what,where,when关于ip地址数据
whip的Python项目详细描述
概述
who,what,where,when,when关于IP地址数据。
whip提供了一种快速的ip信息查找服务,可扩展到大数据。 集合。whip可以有效地回答特定ip地址的查询,这是可选的 经过时间戳优化。
功能摘要:
- 快速查找IP地址,可以选择限制为特定的时间戳。 这意味着可以在任何 历史上的已知点。
- 对IPv4和IPv6地址和范围的透明支持
- 支持增量加载。这意味着可以将新数据添加到 现有数据库。这对于摄取每周数据集快照很有用。
- 高效的存储格式(数据存储为范围,历史记录为差异)
- 对gzip压缩输入数据的透明支持文件名以 .gz
whip可以处理几乎所有包含ip地址信息的数据集 范围。Whip不限制与IP地址关联的数据类型 或IP地址范围,因此它可以用于各种数据集,例如 IP地理位置数据集。请注意,whip本身不带任何数据 集:
源文件应被视为 特定的时间点。在加载阶段,whip合并了所有快照 (使用不同的时间戳)并以某种方式构建所有记录的历史记录 这可以被有效地查询。它是通过建立IP范围的索引来实现的 将数据关联到每个范围(例如地理位置标记),并保留历史记录 对于每个不同的范围。