提供使用python pickle读取sequencefile-s的函数。
sparkpickle的Python项目详细描述
[![构建状态](https://travis-ci.org/src-d/sparkpickle.svg?branch=master)(https://travis-ci.org/src-d/sparkpickle)[![pypi](https://img.shields.io/pypi/v/sparkpickle.svg)(https://pypi.python.org/pypi/sparkpickle)
sparkpickle
==
spark编写的pickle读取序列文件的纯python实现[saveaspicklefile()](http://spark.apache.org/docs/latest/api/python/pyspark.html pyspark.rdd.saveaspicklefile)。
如果您以有效的二进制pickle格式存储spark的结果,并且希望在不安装任何spark的情况下在计算机上本地加载它们,则需要此操作,
仅给出实际的文件。
[关于创建此项目的文章。](https://blog.sourced.tech/post/reading_pyspark_pickle_locally)
installation
----
```````
pip install sparkpickle
``
支持python 2.7和3.x。
用法
-
行:
```
python-m sparkpickle/path/to/file
````
code:
````
sparkpickle中obj的导入sparkpickle
load-gen(“/path/to/file”):
print(obj)
````
api
--
有3个函数:`load()`,`loads()`和`load-gen()`。前两个
与“pickle”包中的类似,而最后一个是
生成器,它生成反序列化对象,从而提供最小的
内存占用。
许可证
----
apache 2.0.
sparkpickle
==
spark编写的pickle读取序列文件的纯python实现[saveaspicklefile()](http://spark.apache.org/docs/latest/api/python/pyspark.html pyspark.rdd.saveaspicklefile)。
如果您以有效的二进制pickle格式存储spark的结果,并且希望在不安装任何spark的情况下在计算机上本地加载它们,则需要此操作,
仅给出实际的文件。
[关于创建此项目的文章。](https://blog.sourced.tech/post/reading_pyspark_pickle_locally)
installation
----
```````
pip install sparkpickle
``
支持python 2.7和3.x。
用法
-
行:
```
python-m sparkpickle/path/to/file
````
code:
````
sparkpickle中obj的导入sparkpickle
load-gen(“/path/to/file”):
print(obj)
````
api
--
有3个函数:`load()`,`loads()`和`load-gen()`。前两个
与“pickle”包中的类似,而最后一个是
生成器,它生成反序列化对象,从而提供最小的
内存占用。
许可证
----
apache 2.0.