索引lzo压缩文件的库

lzo-indexer的Python项目详细描述


python lzo索引器
==================

![](https://travis-ci.org/duedil-ltd/python-lzo-indexer.png)
< BR/> Python库,用于索引LZO压缩文件中的块偏移量。该实现主要基于[hadoop库](https://github.com/twitter/hadoop lzo)的实现。索引文件用于允许hadoop将用lzo压缩的单个文件分割成多个块以进行并行处理。

由于lzo是一种基于块的压缩算法,我们可以沿着块的行分割文件,并单独解压缩每个块。索引是包含原始lzo文件中每个块的字节偏移量的文件。


示例
------

下面的python代码演示了为lzo文件编制索引是多么容易。这个库还支持索引字符串,以及一个方法来返回单独的块偏移量,如果您需要创建自己格式的文件。

``Python
导入lzo_索引器

打开(“my file.lzo”,“r”)作为f:
以open(“my file.lzo.index”,“rw”)作为索引:
lzo_indexer.index_lzo_文件(f,索引)
```


命令行实用程序
----

此库还包含一个实用工具,用于使用Python索引器对多个LZO文件进行索引。这比hadoop lzo库中内置的命令行实用程序更快,因为它避免了jvm。

```
$bin/lzo索引器--帮助

用法:lzo indexer[-h][--verbose][--force]lzo_文件[lzo_文件…]

位置参数:
lzo_文件要索引的lzo文件列表

可选参数:
-h,帮助显示此帮助消息并退出
--详细,-v启用详细日志记录 <索引的力- f - f重新创建,即使它存在
```


贡献
----

我欢迎任何贡献,尽管我要求任何pull请求都带有测试覆盖范围。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java操作数组上的字符串   java JAXB内容未实例化   图形在Java中如何绘制垂直居中的字符串?   java Apache Ant:使用Junit时出现NoClassDefFoundError   java无法从服务器上运行perl脚本   如何在java中沿树进行预排序遍历,并打印0和1以对应每个节点上的特定字符?   java如何创建。p12文件?   java线程访问无效   java只匹配命名空间中的XML节点,而不知道NS前缀   从java获取2d arraylist元素   数组Java动态集合对象   java Xpath通过通配符或布尔运算查找以相同名称开头的节点?   java注释元素类型   java在中看不到Super()。反编译后的类文件