poopy 0.2.5

poopy-一个不可用的map reduce引擎超过amqp

安装

来自pypi

1. 安装rabitmq
2. pip install poopy（请使用virtualenv）
3. 下载此文件 https://bitbucket.org/leliel12/poopy/raw/tip/example/iris.arff?at=default
4. 下载此文件 https://bitbucket.org/leliel12/poopy/raw/tip/example/randomforest.py 放在iris.arff
的同一目录中

来自回购

1. 安装rabitmq
2. 克隆此https://bitbucket.org/leliel12/poopy回购
3. pip install -e .
4. 归档文件iris.arff和randomforest.py位于examples/
中。

正在运行

1. 打开两个控制台（控制台A、控制台B）
2. 在consoleb中运行poopy deploy amqp://localhost
3. 在consolea中执行 poopy upload amqp://localhost path/to/iris.arff poopFS://iris.arff 现在您的文件被上传到“分布式文件系统”
4. 在consolea运行 poopy run amqp://localhost path/to/randomforest.py Script out
5. 输出模型在out/localtime中序列化

读取模型

在python控制台中

frompoopyimportserializerswithopen("out/file")asfp:model=serializers.load(fp)

待办事项：

• 正确执行超时。
• 实现错误交换。
• 真正的分布式文件系统。
• 多个映射或减少。
• 输出格式比b64 pkl多。
• 不使用中心节点作为主内存。
• 将一些模块重新排序到包中