- 当前热门话题：
Python airflow
-
本站为您提供最新、最全的airflow的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，
如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。
本文网址：https://www.cnpython.com/tags/255224
欢迎加入QQ群-->： 979659372
关于airflow 相关联的Python项目和问题：
最新问答
我正在使用Airflow安排批处理作业。我有一个DAG（A）每晚运行，另一个DAG（B）每月运行一次。B取决于A是否成功完成。但是B需要很长时间才能运行，所以我希望将它保存在单独的DAG中，以便更好地 ...
已阅读: n次
我是空气流通新手，我们有三个任务。目前我们正在使用芹菜执行器，因为我们需要灵活性来运行单个任务。我们不想安排工作流，现在它将是手动触发。有没有什么方法可以使用Airflow UI来执行整个工作流（与我 ...
已阅读: n次
如何配置Airflow dag，使其在每天的指定时间执行，无论发生什么，都与cron完全一样。
我知道使用时间传感器可以获得类似的行为，但在这种情况下，它取决于传感器任务，并且可能与dag执行时间冲突 ...
已阅读: n次
最近我对气流的测试太多了，以至于在运行airflow trigger_dag <my-dag>时遇到了execution_date问题。
我从here中了解到execution_date不 ...
已阅读: n次
我按照联机教程在airflow.cfg中设置电子邮件SMTP服务器，如下所示：
[email]
email_backend = airflow.utils.email.send_email_smtp
...
已阅读: n次
我有一个EC2实例正在使用LocalExecutor运行Airflow1.8.0。根据这些文档，我预计以下两个命令之一将在后台程序模式下引发计划程序：
airflow scheduler --daem ...
已阅读: n次
我试图在EC2（Amazon Linux）中安装Airflow，“Airflow initdb”失败，错误如下：
$ AIRFLOW_HOME=/var/lib/airflow airflow ini ...
已阅读: n次
以下是我的dag文件和bash操作员任务：
my_dag = {
dag_id = 'my_dag',
start_date = datetime(year=2017, month=3, day=2 ...
已阅读: n次
我在名为tutorial_2.py的文件中定义了一个DAG（实际上是airflow教程中提供的tutorial.py的副本，除了dag_id更改为tutorial_2）。
当我查看默认的未修改的air ...
已阅读: n次
我想为我们的DAG添加一些单元测试，但找不到任何单元测试。有DAG单元测试的框架吗？有一个端到端的测试框架存在，但我想它已经死了：https://issues.apache.org/jira/brow ...
已阅读: n次
我正在运行composer-1.16.6-airflow-1.10.15
对于每日计划的DAG，我想编写一个自定义的on_failure_notification，它只在任务实例连续失败多天时发送通知 ...
已阅读: n次
我用cli中的“airflow variables”命令设置变量
我想在DAG中使用这个变量。
我在终端上执行了以下命令
错误继续发生。
Broken DAG: [/root/airflow/dag ...
已阅读: n次
最新项目
apache气流工具
用于Apache Airflow的共享工具
生成分发存档文件
从pip更新setuptools:
python3 -m pip install --user --upgrade ...
已阅读: n次
捕获、分析和可视化配置单元日志文件的Airflow插件
此包Python名称：airflow_plugin_honeypot
目前版本： airfl ...
已阅读: n次
气流指标
airflow-metrics是一个气流插件，用于自动从气流向数据狗发送度量。
测试：apache-airflow>=1.10.2, <=1.10.3
安装
pip insta ...
已阅读: n次
#Airflow的数据驱动插件它非常容易出错，因此非常耗时，因为我们经常在实验和生产之间切换。datadriver项目的目标是通过制作基于pandas和sklearn的glue代码**来解决这个问题* ...
已阅读: n次
凯德罗气流
^{}
^{}
Apache Airflow是用于编排复杂工作流和数据处理管道的工具。Kedro Airflow插件可用于：
在原型阶段快速创建管道。 ...
已阅读: n次
Airflow Gitlab Webhook插件
说明
为Apache Airflow公开Gitlab Webhooks的rest端点的插件。
系统要求
气流类型
1.10.2或更新版本
部 ...
已阅读: n次
匕首
从山药中产生气流！ ...
已阅读: n次
气流扫描
增加apache气流安全性的清单和工具。
免责声明
这个项目不属于阿帕奇基金会和Airflow项目，
也没有得到他们的认可。
内容
本项目的目的是提供工具来提高
Apache Air ...
已阅读: n次
气流智能工作表
用于从SmartSheet传输数据的简单挂钩和运算符。
将智能工作表导入PostgreSQL或导出为CSV、PDF或Excel文件。
功能
SmartsheetToFileOpera ...
已阅读: n次
以编程方式编写、调度和监视数据管道
此包Python名称：abel-airflow
目前版本： abel-airflow 1.7.1.3.post3 ...
已阅读: n次
气流插件
气流插件。
自由软件：麻省理工学院许可证
文档：https://airflow-plugins.readthedocs.io。
功能
数据库操作
松弛操作
压缩操作
Git操作
...
已阅读: n次
DAG工厂
dag factory是用于从yaml配置文件动态生成Apache Airflowdag的库。
Installation
Usage
Benefits
Contributing
...
已阅读: n次
工作流
工作流是使用django启发的基于类的语法实现dags的更简洁的方法。
简单示例
让我们创建一个单独的Airflow DAG，它的名称是类名的camelcased版本，并且它的运算符依赖项是按 ...
已阅读: n次
气流比例
用于将数据上载到Socrata的简单挂钩和运算符。
功能
upsert或reupload postgresql表到socrata
安装
使用pip:
pip3 install airfl ...
已阅读: n次
#回流气流[！[构建状态]（https://travis-ci.com/rekcurd/airlow-plugin.svg？branch=master）（https://travis ci.com/r ...
已阅读: n次
报童
用于将Jupyter笔记本电脑安排为报表的Web前端
概述
Paperboy是用于安排报表的生产级应用程序。它具有灵活的体系结构和可扩展的API，并可以集成到各种各样的部署中。它由来 ...
已阅读: n次
气流扩展
PyPI ...
已阅读: n次
气流训练操作员
我们使用的一些公共运营商的气流培训材料。 ...
已阅读: n次
气流插件配置存储
从配置将连接注入气流数据库
快速启动
基本
$ pip install airflow-plugin-config-storage
$ export AIRFLOW_CONN_POS ...
已阅读: n次
马奎兹气流
集成airlow dag和Marquez的库，用于自动元数据收集。
状态
这个库正在The We Company进行积极的开发。
要求
Python 3.5.0+
Airflow 1. ...
已阅读: n次
