Python etl_专题 - Python中文网

当前热门话题： Python etl: 本站为您提供最新、最全的etl的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。

本文网址：https://www.cnpython.com/tags/249754
欢迎加入QQ群-->： 979659372

关于etl 相关联的Python项目和问题：

芹菜：找不到模块

我正在使用开放语义搜索（OSS），我想使用Flower tool监视它的进程。芹菜需要的工人应该在its website上作为OSS状态给出 The workers will do tasks ...

2024-04-28 已阅读: n次

气流触发日期是第二天，为什么？

最近我对气流的测试太多了，以至于在运行airflow trigger_dag <my-dag>时遇到了execution_date问题。我从here中了解到execution_date不 ...

2024-04-28 已阅读: n次

pyodbc比pypyodbc有什么设计优势吗？

我知道pyodbc是一个较老的项目，可能更具特色和健壮性，但是它的设计（基于编译的C代码的组件）是否有什么地方比纯Python实现（如pypyodbc）更可取呢？我做了很多ETL工作，正在考虑从Li ...

2024-04-28 已阅读: n次

python是否可以接收配置单元控制台输出？

因为我使用python控制hive数据etl流，并使用pyhive连接hive并执行HQL。我想从hive获得更多信息，比如tez会话执行输出或hive的java错误异常输出。我应该如何破解pyh ...

2024-04-28 已阅读: n次

在Python中，从UI取消时如何中断函数？

我有如下函数提取数据： @controller.route('/scrap_all_categories') def scrap_all_categories(): result = E ...

2024-04-28 已阅读: n次

ETL到bigquery使用airflow而无需获得许可云存储/cloud sq

我已经用python完成了从MySql到bigQuery的ETL，但是因为我没有连接google云存储/cloud sql的权限，所以我必须在最后一个日期之前转储数据并进行分区，这种方式很简单，但是不 ...

2024-04-28 已阅读: n次

从pysp以snowflake进行无密码登录

我对雪花还不熟悉。我正在创建一个ETL作业，在这里我们需要访问snowflake数据库。你知道吗我试着从两个地方连接到雪花。一个来自使用shell脚本的ec2实例，另一个来自aws glue中的py ...

2024-04-28 已阅读: n次

如何从python数组中存储文件名

我是python新手，在linux中使用python2.7，我编写了如下小python程序，但我想将每个文件名存储到一个variable(index_list[1],...)。 index_list= ...

2024-04-28 已阅读: n次

如何迭代Pyhive fetchmany curs

我正在将我的ETL代码迁移到Python并使用pyhs2，但是我将切换到pyhive，因为它受到了积极的支持和维护，而且没有人拥有pyhs2的所有权。我的问题是如何构造fetchmany方法来迭代数 ...

2024-04-28 已阅读: n次

微服务的气流结构

我当前的平台架构有一个用于下载/收集数据的微服务、一个用于ETL的微服务和另一个用于处理一些复杂SQL脚本的微服务我想使用气流来安排和监控工作流。我试过了，效果很好。然而，我必须将所有功能作为任务放 ...

2024-04-28 已阅读: n次

如何使用Boto3库在AWS Glue中创建工作流？

我在AWS Glue中使用Boto3库和所有编排创建ETL工作流时遇到问题。我创建了所有作业和触发器，但当我使用glue.create_workflow(Name="Test)命令时，无法包含编排我 ...

2024-04-28 已阅读: n次

在Droplet服务器上使用supervis运行Airflow时遇到的问题

我有一个小ETL要配置，它决定在服务器中使用气流。Airflow scheduler和webserver是使用supervisor启动的，我在执行此操作时没有出错，supervisorctl状态显示： ...

2024-04-28 已阅读: n次

ETLT

etl:extract transform load-但不是严格的顺序 Social Release Tests Code ...

2024-04-28 已阅读: n次

data-integration

MARA数据集成这个包包含一个轻量级ETL框架，重点是透明性和复杂性降低。它有许多成熟的假设/原则：数据集成管道作为代码：管道、任务和命令是使用声明性python代码创建的。 Po ...

2024-04-28 已阅读: n次

mETL

易于配置的etl进程此包Python名称：mETL 目前版本： mETL 1.0.6 最后维护时间：Jan 19, 2015 ...

2024-04-28 已阅读: n次

Bugzilla-ETL

metric的bugzilla etl的python版本（https://github.com/mozilla-metrics/bugzilla_etl）动机和细节 https://wiki.m ...

2024-04-28 已阅读: n次

torchpipe

火炬管：pytorch的简单etl管道 ...

2024-04-28 已阅读: n次

pyoetl

包装说明 pyoetl是orientdb etl工具的python接口。它可以从命令行与orientdb中包含的oetl.sh脚本类似，但是一些附加功能：可以处理多个JSON输入文件；可以 ...

2024-04-28 已阅读: n次

shs-dataset-etl

#数据集 python中的简单etl ...

2024-04-28 已阅读: n次

pypeman

欢迎来到Pypeman pypeman是python中最简单但实用的esb/etl/eai。有关详细信息，请参见documentation。开始安装使用pip pip i ...

2024-04-28 已阅读: n次

projx

阿尔法 projx提供了一个简单且可扩展的api，用于在python中与图形交互。它的核心功能是使用networkx模块和基于neo4j的cypher查询语言的dsl进行图形转换。它还提供了一个可扩展 ...

2024-04-28 已阅读: n次

xena-gdc-etl

依赖关系下面提到的具体版本已经过测试。earlier版本可能仍然有效，但不能保证。巨蟒2.7，3.5+ 这个管道已经用P ...

2024-04-28 已阅读: n次

etl

即将推出 ...

2024-04-28 已阅读: n次

bubbles

用于数据处理（etl）和质量监控的虚拟数据对象框架此包Python名称：bubbles 目前版本： bubbles 0.1 最后维 ...

2024-04-28 已阅读: n次

bamboo-lib

竹子竹子是一个库，旨在促进创建提取、转换和加载（etl）数据管道的过程。bamboo包含许多功能，如下载和缓存http资产、从远程服务器复制文件、在远程服务器上运行命令、处理压缩的存档、执行大容量 ...

2024-04-28 已阅读: n次

blockchain-etl-common

区块链ETL通用 https://github.com/blockchain-etl的常用实用程序。运行测试 > pytest -vv ...

2024-04-28 已阅读: n次

paraturegmailfeed

#parature gmail feed描述parature gmail feed:*检索从parature发送到gmail帐户的电子邮件*从每个电子邮件提取parature特定的内容*从提取的内容创 ...

2024-04-28 已阅读: n次

brite_etl

一个使用britecore etl的python包。请注意：brite_etl跟在Semantic Versioning后面，目前正处于初始开发阶段（0.x.x）。小心使用。使用这些都在介绍页 ...

2024-04-28 已阅读: n次

etl-ml

dstl====注意：不支持此repo。许可证是mit.…image：：etl_ml.jpg…图片：：https://github.com/mullerhai/etl-ml/blob/master/i ...

2024-04-28 已阅读: n次

popelines

府绸这是一个用于bigquery的简单etl工具，以作者的姓氏命名。 popelines提供了一些基本功能，例如写入行分隔的json、写入bigquery、分块日期和其他在编写etl时经常需要的工具 ...

2024-04-28 已阅读: n次

SqlHBase

===sqlhbase==此工具的目的是提供一个1:1的映射，将mysql表映射到hbase表中，映射到hive上（架构也被处理）要运行此工具，需要一个启用节俭的工作hbase，和一个带有metast ...

2024-04-28 已阅读: n次

datagristle

这是etl和数据分析之间的一种交互混合为快速分析和操作各种数据.< / div > ...

2024-04-28 已阅读: n次