zs是一种压缩的只读文件格式,用于高效地分发、查询和存档任意大的面向记录的数据集。
zs的Python项目详细描述
zs是一种简单的只读二进制文件格式,用于 任意大的分发、查询和存档 面向记录的数据集(高达数十兆字节及以上)。它 允许数据以压缩形式存储,同时 支持对特定条目或所有条目的快速查询 指定值范围内的条目(例如,前缀搜索),以及 允许高CPU并行解压缩。它也强调 关于数据完整性-所有数据都受64位CRC校验和保护- 在可发现性方面——每个zs文件都包含任意详细的 直接存储在其中的结构化元数据。
基本上你可以认为zs是涡轮增压的替代品 以基于行的文本文件格式存储数据。原来是 开发的目的是提供一种更好的方法来处理大量的Google N-grams, 但对于任何大小的数据集都可能有用。
- 文档:
- http://zs.readthedocs.org/
- 安装:
您需要python2.7,或者python3.3或更高版本。
因为zs包含一个c扩展,所以还需要一个c编译器 和python头。例如,在ubuntu或debian上 使用:
sudo apt-get install build-essential python-dev
一旦您有能力构建c扩展,那么在python上 3您应该可以直接运行:
pip install zs
在Python2.7上,事情稍微复杂一些:这里,zs 需要backports.lzma包,这反过来又需要 利布尔兹马图书馆。例如,在ubuntu或debian上 这应该有效:
sudo apt-get install liblzma-dev pip install backports.lzma pip install zs
zs还需要以下包:six,docopt, requests。但是,这些都是纯python包,pip 将在运行pip install zs时自动为您安装。
- 下载:
- http://pypi.python.org/pypi/zs/
- 代码和错误跟踪程序:
- https://github.com/njsmith/zs
- 联系人:
- 纳撒尼尔j.史密斯<;nathaniel.smith@ed.ac.uk>;
- 开发人员依赖项(仅用于攻击源代码):
- cython:需要从签出开始构建
- 鼻子:需要进行测试
- nose cov:因为我们使用多处理,所以我们需要这个包 获取有用的测试覆盖率信息
- nginx:需要运行http测试
- 许可证:
- 2条款BSD,详见license.txt。