可重复使用的数据分析工作流服务器(核心基础设施)

flowserv-core的Python项目详细描述


https://img.shields.io/badge/License-MIT-yellow.svghttps://github.com/scailfin/flowserv-core/workflows/build/badge.svghttps://codecov.io/gh/scailfin/flowserv-core/branch/master/graph/badge.svg
flowServ Logo

关于

此存储库包含可复制和可重用数据分析工作流服务器flowServ)的核心基础设施的实现。这是一个实验原型,支持重用和评估已发布的数据分析管道以及数据分析算法的社区基准。flowServ还不是另一个工作流引擎。其目的是在客户端(如Web用户界面)和工作流引擎之间提供一个层,以便于执行已定义的工作流模板(如下图所示)。flowServ设计为独立于底层工作流引擎。在

工作流模板包含用户提供的工作流步骤和/或输入数据和参数的占位符(例如,通过提供满足工作流步骤的Docker容器或上载输入数据文件)。flowServ针对给定的输入值触发和监视工作流的执行,并维护工作流结果。API提供了提交新工作流运行和检索已完成工作流运行的评估结果的功能。在

ROB Architecture

flowServ的动机是Reproducible Open Benchmarks for Data Analysis Platform (ROB)。ROB的目标是允许用户社区以受控竞争风格的格式评估其不同数据分析算法的性能。在ROB中,基准协调器定义工作流模板和输入数据。基准测试参与者提供他们自己的可变workfow步骤的实现。工作流引擎在提交时处理工作流。执行结果由flowServ在内部数据库中维护。flowServ的目标是成为一个更通用的平台,不仅可以用于基准测试,还可以用于其他类型的数据分析工作流。在

更多信息

工作流模板的目标是允许用户运行预定义的数据分析工作流,同时提供自己的输入数据、参数以及自己的代码模块。工作流模板受Reproducible Research Data Analysis Platform (REANA)工作流规范的启发,但不限于此。Workflow Templates Section提供有关模板及其语法的进一步信息。flowServ使用这些模板来运行工作流和维护基准测试结果。在

flowServAPI定义主接口,以编程方式与底层数据库和工作流引擎交互。此存储库中包含的API实现提供了所有API资源的默认序列化,作为Python字典。该API旨在供Web应用程序使用。这些应用程序可以使用不同的框架构建。current default Web API implementation for ROB使用Flask web framework。在

ROB目前提供了两个不同的接口来与webapi交互:即Command Line Client和{a10}。有关如何安装和使用这些接口的更多信息,请参见相应的存储库。在

关于ROB的概述,有来自Moore-Sloan Data Science Environment’s annual summit 2019的ROB演示中的slides和在{a14}上的{a13}。在

注意

flowServ源于可复制的开放基准数据分析平台(ROB)。这个存储库取代了ROB早期版本中的Workflow Templates和{a16}。在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java http响应未定义   java在单个数组中添加浮点值和字符串值,并使用它们进行写入。CSV文件   映射中的java重复列引发实体异常,但没有重复列   java为什么是线程。stop()方法不安全吗?   如何在java中从trycatch块返回数组?   java如何使用多个线程作为客户端,每个线程都在switch语句中执行一项任务   Android GridView上的java滚动位置跳转   java丰富:listShuttle格式   Java中的macos评测本机方法奇怪的结果   这个Java程序需要是两个独立的文件吗   无法使用selenium Java或JavascriptExecutor发送密钥/单击   java如何配置Jetty在类更改时重新加载WebAppContext   java我不能发布com。安卓截击服务器错误   java如何在使用addOnScrollListener时显示滚动条   java如何避免数据模型贫乏?存储库可以注入实体吗?   没有集合的java选择排序。在ArrayList中排序   macos在MacOSX上升级JDK   java如何使用jpa模板编写查询