提供使用python pickle读取sequencefile-s的函数。

sparkpickle的Python项目详细描述


[![构建状态](https://travis-ci.org/src-d/sparkpickle.svg?branch=master)(https://travis-ci.org/src-d/sparkpickle)[![pypi](https://img.shields.io/pypi/v/sparkpickle.svg)(https://pypi.python.org/pypi/sparkpickle)


sparkpickle
==


spark编写的pickle读取序列文件的纯python实现[saveaspicklefile()](http://spark.apache.org/docs/latest/api/python/pyspark.html pyspark.rdd.saveaspicklefile)。
如果您以有效的二进制pickle格式存储spark的结果,并且希望在不安装任何spark的情况下在计算机上本地加载它们,则需要此操作,
仅给出实际的文件。

[关于创建此项目的文章。](https://blog.sourced.tech/post/reading_pyspark_pickle_locally)


installation
----
```````
pip install sparkpickle
``
支持python 2.7和3.x。


用法
-
行:
```
python-m sparkpickle/path/to/file
````


code:
````
sparkpickle中obj的导入sparkpickle

load-gen(“/path/to/file”):
print(obj)
````

api
--
有3个函数:`load()`,`loads()`和`load-gen()`。前两个
与“pickle”包中的类似,而最后一个是
生成器,它生成反序列化对象,从而提供最小的
内存占用。

许可证
----
apache 2.0.

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
Java中ArrayList的超简单问题   Java 8在一段时间后过期   java如何创建具有用户定义维度的矩阵,并使用从上到下、从左到右的递增值填充它?   java从JDBC重启mysql   带有sqlite的java LiveData未更新UI   带有JDialog的java小程序在Mac OSX中未正确隐藏   java ActionListener无法从公共类引用数组?   java Apache Digester:NoSuchMethodException:没有这样的可访问方法   安卓中数据库中的java数据没有以正确的格式检索   java快速排序实现:使用random pivot时几乎排序   安卓 Java:高效的ArrayList过滤?   java如何在单独的文件中制作GUI程序   jasper报告如何从JSP或Java代码在JasperReport中传递参数值?