Python dag_专题 - Python中文网

当前热门话题： Python dag: 本站为您提供最新、最全的dag的Python教程、文档、代码、资源等相关内容，Python中文网技术交流社区同时还提供学习资源下载，如：电子书、IDE编辑器软件、编程视频、代码规范标准、WEB开发、GUI、科学计算与人工智能等相关内容。

本文网址：https://www.cnpython.com/tags/257131
欢迎加入QQ群-->： 979659372

关于dag 相关联的Python项目和问题：

如何设置气流中DAG之间的依赖关系？

我正在使用Airflow安排批处理作业。我有一个DAG（A）每晚运行，另一个DAG（B）每月运行一次。B取决于A是否成功完成。但是B需要很长时间才能运行，所以我希望将它保存在单独的DAG中，以便更好地 ...

2024-04-28 已阅读: n次

如何配置气流dag在每天的特定时间运行？

如何配置Airflow dag，使其在每天的指定时间执行，无论发生什么，都与cron完全一样。我知道使用时间传感器可以获得类似的行为，但在这种情况下，它取决于传感器任务，并且可能与dag执行时间冲突 ...

2024-04-28 已阅读: n次

气流触发日期是第二天，为什么？

最近我对气流的测试太多了，以至于在运行airflow trigger_dag <my-dag>时遇到了execution_date问题。我从here中了解到execution_date不 ...

2024-04-28 已阅读: n次

python utc时间减去5分钟

如何在Python中舍入5分钟的时间？我有这个脚本，但我认为这可能更容易，而且整个小时的计算都出错了。当它的22:03返回21:95而不是21:55。 import datetime from da ...

2024-04-28 已阅读: n次

气流：将动态值传递给子DAG op

我对气流还不熟悉。我遇到了一个场景，父DAG需要向子DAG传递一些动态数（比如n）其中as SubDAG将使用此数字动态创建n并行任务。 Airflow文档并没有介绍实现这一点的方法。所以我探索了 ...

2024-04-28 已阅读: n次

如何设置气流发送电子邮件？

我按照联机教程在airflow.cfg中设置电子邮件SMTP服务器，如下所示： [email] email_backend = airflow.utils.email.send_email_smtp ...

2024-04-28 已阅读: n次

将气流计划程序作为后台进程运行时出现的问题

我有一个EC2实例正在使用LocalExecutor运行Airflow1.8.0。根据这些文档，我预计以下两个命令之一将在后台程序模式下引发计划程序： airflow scheduler --daem ...

2024-04-28 已阅读: n次

EMR-op中的气流任务实例

在气流中，我面临的问题是我需要将job_flow_id传递到我的emr步骤之一。我能够从操作符中检索job_flow_id，但是当我要创建提交到集群的步骤时，task_instance值不正确。我有 ...

2024-04-28 已阅读: n次

在TriggerDagRunOp中提供上下文

我有一个由另一个dag触发的dag。我已经通过DagRunOrder().payload字典向这个dag传递了一些配置变量，就像official example那样。现在在这个dag中，我有另一个T ...

2024-04-28 已阅读: n次

如何为气流添加新的DAG？

我在名为tutorial_2.py的文件中定义了一个DAG（实际上是airflow教程中提供的tutorial.py的副本，除了dag_id更改为tutorial_2）。当我查看默认的未修改的air ...

2024-04-28 已阅读: n次

气流Python单元测试？

我想为我们的DAG添加一些单元测试，但找不到任何单元测试。有DAG单元测试的框架吗？有一个端到端的测试框架存在，但我想它已经死了：https://issues.apache.org/jira/brow ...

2024-04-28 已阅读: n次

气流：`'TaskInstance'对象在通过DagRun.get_task_instances（）检索任务实例后没有属性'task'`

我正在运行composer-1.16.6-airflow-1.10.15 对于每日计划的DAG，我想编写一个自定义的on_failure_notification，它只在任务实例连续失败多天时发送通知 ...

2024-04-28 已阅读: n次

causaldag

Causal dag is a Python package for the creation，manipulation，and learning of causal dags.（p） ...

2024-04-28 已阅读: n次

django-dag

django dag是一个小型的可重用应用程序，它实现了一个有向无环图。用法 django dag使用抽象基类，要使用它，必须创建自己的基类从django dag类继承的具体类。 dag_测试应 ...

2024-04-28 已阅读: n次

py_sdag2

#python简单有向无环图的python简单有向无环图具有cicle检测器和拓扑排序工具。tsort.py从标准输入：``bashecho-e'c a\na b\nb d\nc d'tsort.py ...

2024-04-28 已阅读: n次

django-directed-acyclic-graph

要测试：./manage.py test–settings=dag.tests.settings ...

2024-04-28 已阅读: n次

django-treebeard-dag

这个应用程序实现了django的有向无环图，其api将是对于使用过Gustavo Picon高效树实现的人来说非常熟悉以前在Django树上。对我有效，但没有单元测试，可能在任何时候都看不到我的 ...

2024-04-28 已阅读: n次

django-dag-postgresql

PostgreSQL的django dag django/postgres的有向无环图。这个项目的主要缺点是它可以检索整个单个查询中的图形部分。取舍是可移植性：它使用 postgres公共表表达式 ...

2024-04-28 已阅读: n次

sdag2

带有cicle检测器和拓扑排序工具的python简单有向图。项目主页此项目位于Github上。作者 Moises P. Sena 安装使用Python PIP Project安装它 ...

2024-04-28 已阅读: n次

ddui

#Airflow的数据驱动插件它非常容易出错，因此非常耗时，因为我们经常在实验和生产之间切换。datadriver项目的目标是通过制作基于pandas和sklearn的glue代码**来解决这个问题* ...

2024-04-28 已阅读: n次

MicroTokenizer

微型中文分词器一个微型的中文分词器，目前提供了七种分词算法: 按照词语的频率（概率）来利用构建 DAG（有向无环图）来分词，使用 Trie Tree 构建前缀字典树使用隐马尔可夫模型（H ...

2024-04-28 已阅读: n次

boundary-layer

边界层边界层是一个用于从人类友好的、结构化的、可维护的yaml配置中构建空气流的工具。它包括对Airflow本身未内置的各种可用性增强的一流支持：由dag中的气流创建和销毁的托管资源：例如，d ...

2024-04-28 已阅读: n次

jsonchkstore

chkdag-chkstore上的一层，用于DAG存储，对于非叶节点使用JSON。此存储层使用chkstore提供三个功能： DAG存储，具有JSON非叶节点和任意叶节点。多进程感知根节点更新。 ...

2024-04-28 已阅读: n次

kedro-airflow

凯德罗气流 ^{} ^{} Apache Airflow是用于编排复杂工作流和数据处理管道的工具。Kedro Airflow插件可用于：在原型阶段快速创建管道。 ...

2024-04-28 已阅读: n次

airflow-gitlab-webhook

Airflow Gitlab Webhook插件说明为Apache Airflow公开Gitlab Webhooks的rest端点的插件。系统要求气流类型 1.10.2或更新版本部 ...

2024-04-28 已阅读: n次

nagobah_with_server

基于dag的简单作业调度器，扩展批处理模式此包Python名称：nagobah_with_server 目前版本： nagobah_with_se ...

2024-04-28 已阅读: n次

httpie-dag

HTTPie附加IIJ GIO Storage & Analysis Service (DAG)REST API认证签名生成功能的插件安装方法用pip安装时： pip install ...

2024-04-28 已阅读: n次

dagrt

DAGRT将是一个基于DAG的运行时系统，用于操作员评估，能够算子融合和通用代码生成。资源： wiki home page source code via git ...

2024-04-28 已阅读: n次

Habakkuk

#habakkukfortran性能预测代码分析然后，您可以将存储库克隆到您的本地计算机：并使用pip安装它（如果您具有根访问权限并希望进行系统范围的安装，则可以省略--user标志）：cd haba ...

2024-04-28 已阅读: n次

airflow-smartsheet-plugin

气流智能工作表用于从SmartSheet传输数据的简单挂钩和运算符。将智能工作表导入PostgreSQL或导出为CSV、PDF或Excel文件。功能 SmartsheetToFileOpera ...

2024-04-28 已阅读: n次

dag-factor

DAG工厂 dag factory是用于从yaml配置文件动态生成Apache Airflowdag的库。 Installation Usage Benefits Contributing ...

2024-04-28 已阅读: n次

airflow-workflows

工作流工作流是使用django启发的基于类的语法实现dags的更简洁的方法。简单示例让我们创建一个单独的Airflow DAG，它的名称是类名的camelcased版本，并且它的运算符依赖项是按 ...

2024-04-28 已阅读: n次