用于改进类型化数据压缩的位洗牌筛选器。
bitshuffle的Python项目详细描述
应用程序
BitShuffle可能适合您的应用程序,如果:
- 您需要压缩键入的二进制数据。
- 数据的排列方式使相邻元素之间的变化最快 数据集的索引相似(高度相关)。
- 前一点的一个特例是如果你只是在锻炼子集 数据类型中的位,整数数据通常也是如此。
- 您需要高压缩比和高性能。
比较比特洗牌与其他压缩算法和HDF5过滤器:
- 与许多其他压缩算法相比,比特洗牌不太通用。 为了获得良好的压缩比,数据的连续元素必须 高度相关。
- 对于正确的数据集,位洗牌是为数不多的压缩之一。 保证高吞吐量和高压缩比的算法。
- BitShuffle的吞吐量应该与Shuffle大致相同,但是 可能获得更高的压缩比。
- mafisc过滤器实际上包含类似于BitShuffle的内容 然而,它的前置过滤器的重点是获得高压缩 不惜一切代价的比率,牺牲吞吐量。