用于索引gzip文件以支持类似随机访问的工具。
gzipi的Python项目详细描述
用于索引GZIP文件以支持随机访问的工具。
安装
要安装库,请运行以下命令:
$ python setup.py install
测试
$ make test $ make lint
< H3>索引文件< EH3>
从STDIN索引文件:
$ cat profiles.json.gz | gzipi index --format json --field id > index.json.gz
本地文件索引:
$ cat profiles.json.bz -i profiles.json.gz -o index.json.gz --format csv --column 0 --delimiter ','
检索数据
正在检索特定域的所有数据:
$ zcat domains.json.gz | gzipi retrieve -f profiles.json.gz -i index.json.gz --format json > data.json --field domain
使用本地和S3路径:
$ gzipi retrieve -k domains.json.gz -f s3://domain-data/reports/Q1.json.gz -i index.json.gz --format json -o data.json --field domain
< H3>重新包装现有档案
$ gzipi repack -f profiles.json.gz -i new_index.json.gz -o new_profiles.json.gz --format json --field domain
帮助
要获取更多信息,请运行以下命令:
$ gzipi --help