函数的源代码和缓存库,用于创建轻量级机器学习管道。
provenance的Python项目详细描述
===
出处
==
=
版本状态生成状态文档
|版本状态image::https://img.shields.io/pypi/v/provence.svg
:目标:https://pypi.python.org/pypi/provence
:alt:version status
…|构建状态图像::https://travis-ci.org/bmabey/provence.png?branch=master
:目标:https://travis ci.org/bmabey/provenance
:alt:build status
。|文档图片:https://readthedocs.org/projects/provenance/badge/?version=latest
:target:https://provence.readthedocs.org
:alt:documentation status
``provence``是一个用于函数级缓存和provence的python库,它有助于
创建简洁的pythonic管道。通过包装“provenance”中的函数,decorator计算的结果被缓存在不同的分层存储(磁盘、s3、sftp)中,并且跟踪
“provenance<;https://en.wikipedia.org/wiki/provenance>;”(即沿袭)信息并存储在工件存储库中。一个中心工件库可以用来支持
生产管道、团队协作和可复制的结果。这个库是通用的
目的,但它是在考虑机器学习管道的情况下建立的。通过利用奇妙的joblib库,对象序列化针对numpy库和其他pydata库进行了优化。
并有一个中心位置来存储和共享这些工件。这个基本的管道是必需的(或者至少是必需的!)
在任何机器学习管道和项目中。`` provence``可以与
构建服务器一起单独使用以运行管道,也可以与更高级的工作流系统一起使用
(例如,“airlow`,`luigi``)。
|管道Unicode::管道U+2122
…_ joblib:https://pythonhosted.org/joblib/
。_气流:http://airbnb.io/projects/airlow/
…_ luigi:https://github.com/spotify/luigi
示例
==
有关此示例的说明,请参阅“入门指南”
。代码块::python
p.load配置(…)
import time
@p.provenance()
def昂贵添加(a,b):
time.sleep(2)
return a+b
def昂贵添加(a,b):
时间。睡眠(2)
返回a*b
a1=昂贵的额外费用(4,3)
a2=昂贵的额外费用(1,1)
结果=昂贵的额外费用(a1,a2)
vis.可视化沿袭(结果)
图片::https://raw.githubusercontent.com/bmabey/provenance/master/docs/source/images/lineage_example.png
……_介绍指南:http://provenance.readthedocs.io/en/latest/intro-guide.html
基本功能的安装:
。代码::bash
代码::bash
…代码::bash
pip install provenance[sftp]
一次完成所有操作:
…代码::bash
compatibility
==
`` provenance`当前仅与python 3.5及更高版本兼容。更新它以使用Python2.7x应该很容易,如果您对此感兴趣,请遵循此“ticket”。
_门票:https://github.com/bmabey/provence/issues/32
出处
==
=
版本状态生成状态文档
|版本状态image::https://img.shields.io/pypi/v/provence.svg
:目标:https://pypi.python.org/pypi/provence
:alt:version status
…|构建状态图像::https://travis-ci.org/bmabey/provence.png?branch=master
:目标:https://travis ci.org/bmabey/provenance
:alt:build status
。|文档图片:https://readthedocs.org/projects/provenance/badge/?version=latest
:target:https://provence.readthedocs.org
:alt:documentation status
``provence``是一个用于函数级缓存和provence的python库,它有助于
创建简洁的pythonic管道。通过包装“provenance”中的函数,decorator计算的结果被缓存在不同的分层存储(磁盘、s3、sftp)中,并且跟踪
“provenance<;https://en.wikipedia.org/wiki/provenance>;”(即沿袭)信息并存储在工件存储库中。一个中心工件库可以用来支持
生产管道、团队协作和可复制的结果。这个库是通用的
目的,但它是在考虑机器学习管道的情况下建立的。通过利用奇妙的joblib库,对象序列化针对numpy库和其他pydata库进行了优化。
并有一个中心位置来存储和共享这些工件。这个基本的管道是必需的(或者至少是必需的!)
在任何机器学习管道和项目中。`` provence``可以与
构建服务器一起单独使用以运行管道,也可以与更高级的工作流系统一起使用
(例如,“airlow`,`luigi``)。
|管道Unicode::管道U+2122
…_ joblib:https://pythonhosted.org/joblib/
。_气流:http://airbnb.io/projects/airlow/
…_ luigi:https://github.com/spotify/luigi
示例
==
有关此示例的说明,请参阅“入门指南”
。代码块::python
p.load配置(…)
import time
@p.provenance()
def昂贵添加(a,b):
time.sleep(2)
return a+b
时间。睡眠(2)
返回a*b
a1=昂贵的额外费用(4,3)
a2=昂贵的额外费用(1,1)
结果=昂贵的额外费用(a1,a2)
vis.可视化沿袭(结果)
图片::https://raw.githubusercontent.com/bmabey/provenance/master/docs/source/images/lineage_example.png
……_介绍指南:http://provenance.readthedocs.io/en/latest/intro-guide.html
基本功能的安装:
。代码::bash
代码::bash
…代码::bash
pip install provenance[sftp]
一次完成所有操作:
…代码::bash
compatibility
==
`` provenance`当前仅与python 3.5及更高版本兼容。更新它以使用Python2.7x应该很容易,如果您对此感兴趣,请遵循此“ticket”。
_门票:https://github.com/bmabey/provence/issues/32