并行计算框架
link.parallel的Python项目详细描述
link.parallel是一个与数据库无关的查询系统。
有关详细信息，请参见documentation。
安装
pip install link.parallel
功能
- parallel loops interface with IPython and multiprocessing drivers
- Map/Reduce middleware
示例
创建地图/缩小功能：
fromb3j0f.taskimportregister_task@register_task('mymap')defmymap(mapper,item):ifitem['i']<5:mapper.emit('i_lt_5',item)elifitem['i']>5:mapper.emit('i_gt_5',item)else:mapper.emit('i_eq_5',item)@register_task('myreduce')defmyreduce(key,values):return(key,len(values))
获取输入数据并将其传递给中间件：
fromlink.middleware.coreimportMiddlewaremapreduce=Middleware.get_middleware_by_uri('mapreduce+ipython:///test/classify?mapcb=mymap&reducecb=myreduce')items=# load itemsresult=dict(mapreduce(items))print(result)
捐赠
欢迎加入QQ群-->： 979659372
