索引lzo压缩文件的库
lzo-indexer的Python项目详细描述
python lzo索引器
==================
![](https://travis-ci.org/duedil-ltd/python-lzo-indexer.png)
< BR/> Python库,用于索引LZO压缩文件中的块偏移量。该实现主要基于[hadoop库](https://github.com/twitter/hadoop lzo)的实现。索引文件用于允许hadoop将用lzo压缩的单个文件分割成多个块以进行并行处理。
由于lzo是一种基于块的压缩算法,我们可以沿着块的行分割文件,并单独解压缩每个块。索引是包含原始lzo文件中每个块的字节偏移量的文件。
示例
------
下面的python代码演示了为lzo文件编制索引是多么容易。这个库还支持索引字符串,以及一个方法来返回单独的块偏移量,如果您需要创建自己格式的文件。
``Python
导入lzo_索引器
打开(“my file.lzo”,“r”)作为f:
以open(“my file.lzo.index”,“rw”)作为索引:
lzo_indexer.index_lzo_文件(f,索引)
```
命令行实用程序
----
此库还包含一个实用工具,用于使用Python索引器对多个LZO文件进行索引。这比hadoop lzo库中内置的命令行实用程序更快,因为它避免了jvm。
```
$bin/lzo索引器--帮助
用法:lzo indexer[-h][--verbose][--force]lzo_文件[lzo_文件…]
位置参数:
lzo_文件要索引的lzo文件列表
可选参数:
-h,帮助显示此帮助消息并退出
--详细,-v启用详细日志记录 <索引的力- f - f重新创建,即使它存在
```
贡献
----
我欢迎任何贡献,尽管我要求任何pull请求都带有测试覆盖范围。
==================
![](https://travis-ci.org/duedil-ltd/python-lzo-indexer.png)
< BR/> Python库,用于索引LZO压缩文件中的块偏移量。该实现主要基于[hadoop库](https://github.com/twitter/hadoop lzo)的实现。索引文件用于允许hadoop将用lzo压缩的单个文件分割成多个块以进行并行处理。
由于lzo是一种基于块的压缩算法,我们可以沿着块的行分割文件,并单独解压缩每个块。索引是包含原始lzo文件中每个块的字节偏移量的文件。
示例
------
下面的python代码演示了为lzo文件编制索引是多么容易。这个库还支持索引字符串,以及一个方法来返回单独的块偏移量,如果您需要创建自己格式的文件。
``Python
导入lzo_索引器
打开(“my file.lzo”,“r”)作为f:
以open(“my file.lzo.index”,“rw”)作为索引:
lzo_indexer.index_lzo_文件(f,索引)
```
命令行实用程序
----
此库还包含一个实用工具,用于使用Python索引器对多个LZO文件进行索引。这比hadoop lzo库中内置的命令行实用程序更快,因为它避免了jvm。
```
$bin/lzo索引器--帮助
用法:lzo indexer[-h][--verbose][--force]lzo_文件[lzo_文件…]
位置参数:
lzo_文件要索引的lzo文件列表
可选参数:
-h,帮助显示此帮助消息并退出
--详细,-v启用详细日志记录 <索引的力- f - f重新创建,即使它存在
```
贡献
----
我欢迎任何贡献,尽管我要求任何pull请求都带有测试覆盖范围。