Pyelt是一个DDL和ETL框架,用于在Postgress数据库上创建和填充数据保险库数据仓库。

pyelt的Python项目详细描述


用法

此示例将创建并填充历史暂存区域:

pipeline = Pipeline(config)
pipe = pipeline.get_or_create_pipe('test_source', source_config)

source_file = CsvFile(get_root_path() + '/sample_data/patienten1.csv', delimiter=';')
source_file.reflect()
source_file.set_primary_key(['patientnummer'])
mapping = SourceToSorMapping(source_file, 'persoon_hstage', auto_map=True)
pipe.mappings.append(mapping)

pipeline.run()

更多的例子可以在the GitHub repository of NL Healthcare上找到。

简介

Pyelt是一个PythonDDL和ETL框架,用于为数据仓库创建和加载数据保险库

Pyelt支持几个数据层,包括记录源(sor)、原始数据存储库(rdv)、业务数据存储库(bdv)和数据集市(dm)

Pyelt可以从几个不同的源系统导入数据,例如固定长度文件、CSV文件和不同的数据库。

Pyelt是在postgresql数据库上运行的。

Pyelt仅将sqlalchemy.core用于连接和反射。所有其他sql语句(ddl、copy、insert和update语句)都是由pyelt框架本身创建的。

编写自己的映射以通过转移到数据仓库来传输和转换源中的数据。

背景

目前,NL Healthcare正在开发Pyelt框架,目的是实现我们的下一代数据仓库(DWH2.0)。它为我们在临床商业智能(CBI)和机器学习领域的工作奠定了基础。

本项目的建筑基石是:

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
Java Webstart“javaws open”标志不适用于多个参数   java ArrayList声明和处理   获取数组中值的百分比(Java)   java将ArrayList转换为字符串以存储在共享首选项中   Java8Lambdas与泛型的结合使用   Scala数组到Java   如何使用java知道webcontainer的路径?   java使用“收集”和“合并”的组背后的算法是什么   java OSGi:在两个不同的包中具有相同的包路径   java混淆了swt画布。重画   java正则表达式,用于5位数逗号分隔的值,例如047000480004900   使用HttpClient显示非ASCI字符的java   水塔计算程序Java中球体体积的计算   java根据给定值调整框架中所有组件的大小   java Builder类中的其他方法(lombok注释)