函数的源代码和缓存库,用于创建轻量级机器学习管道。

provenance的Python项目详细描述


===
出处
==

=

版本状态生成状态文档




|版本状态image::https://img.shields.io/pypi/v/provence.svg
:目标:https://pypi.python.org/pypi/provence
:alt:version status
…|构建状态图像::https://travis-ci.org/bmabey/provence.png?branch=master
:目标:https://travis ci.org/bmabey/provenance
:alt:build status
。|文档图片:https://readthedocs.org/projects/provenance/badge/?version=latest
:target:https://provence.readthedocs.org
:alt:documentation status

``provence``是一个用于函数级缓存和provence的python库,它有助于
创建简洁的pythonic管道。通过包装“provenance”中的函数,decorator计算的结果被缓存在不同的分层存储(磁盘、s3、sftp)中,并且跟踪
“provenance<;https://en.wikipedia.org/wiki/provenance>;”(即沿袭)信息并存储在工件存储库中。一个中心工件库可以用来支持
生产管道、团队协作和可复制的结果。这个库是通用的
目的,但它是在考虑机器学习管道的情况下建立的。通过利用奇妙的joblib库,对象序列化针对numpy库和其他pydata库进行了优化。

并有一个中心位置来存储和共享这些工件。这个基本的管道是必需的(或者至少是必需的!)
在任何机器学习管道和项目中。`` provence``可以与
构建服务器一起单独使用以运行管道,也可以与更高级的工作流系统一起使用
(例如,“airlow`,`luigi``)。

|管道Unicode::管道U+2122
…_ joblib:https://pythonhosted.org/joblib/
。_气流:http://airbnb.io/projects/airlow/
…_ luigi:https://github.com/spotify/luigi


示例
==


有关此示例的说明,请参阅“入门指南”

。代码块::python



p.load配置(…)


import time

@p.provenance()
def昂贵添加(a,b):
time.sleep(2)
return a+b

def昂贵添加(a,b):
时间。睡眠(2)
返回a*b



a1=昂贵的额外费用(4,3)
a2=昂贵的额外费用(1,1)


结果=昂贵的额外费用(a1,a2)

vis.可视化沿袭(结果)



图片::https://raw.githubusercontent.com/bmabey/provenance/master/docs/source/images/lineage_example.png



……_介绍指南:http://provenance.readthedocs.io/en/latest/intro-guide.html


基本功能的安装:


。代码::bash




代码::bash



…代码::bash

pip install provenance[sftp]


一次完成所有操作:



…代码::bash






compatibility
==

`` provenance`当前仅与python 3.5及更高版本兼容。更新它以使用Python2.7x应该很容易,如果您对此感兴趣,请遵循此“ticket”。



_门票:https://github.com/bmabey/provence/issues/32



欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
amazon web services Java AWS s3:如何使用Md5预签名url设置和上载内容   twitter使用java从推文中排除一些单词   如何在GUI java中添加延迟时间   java程序,如何使用Outputstream发送两次消息   java为什么是javax。在将Yasson与JSONB一起使用时,Glassfish中的json需要作为依赖项吗?   如何从dist文件夹中读取文件   java如何获取与模式匹配的文件列表   java如何使用Intent从Android应用程序发送彩信?   java限制对Spring的依赖,同时又不丧失框架的功能   java是否将捕获异常报告给Firebase/Fabric等?   用jdbcjava实现mysql分页   给定URI的java注释检索   java是序列化/反序列化公共枚举的简单方法?   java如何使用jMockit模拟本机方法