Apache BigQuery运算符问题

2024-03-29 08:47:01 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用以下库:

airflow.contrib.operators.bigquery_operator

在Airflow UI上,它抛出以下错误:

Broken DAG: [/home/vagrant/airflow/dags/data/gcp_bq_dag.py] (setuptools 28.8.0 (/home/vagrant/.sandbox/lib/python3.5/site-packages), Requirement.parse('setuptools>=34.0.0'), {'google-api-core'})

我已经安装了setuptools库,我的版本是49.2.0

Name: setuptools
Version: 49.2.0
Summary: Easily download, build, install, upgrade, and uninstall Python packages
Home-page: https://github.com/pypa/setuptools
Author: Python Packaging Authority
Author-email: distutils-sig@python.org
License: UNKNOWN
Location: /home/vagrant/.sandbox/lib/python3.5/site-packages
Requires: 
Required-by: zope.deprecation, python-daemon, protobuf, kiwisolver, jsonschema, ipython, google-auth, google-api-core

你能告诉我哪里出了问题吗


Tags: coreapihomelibpackagesgooglesitecontrib
2条回答

这看起来像是您的机器和各种执行环境的设置问题。与熟悉您情况的技术人员进行更深入的探讨是值得的

仅基于读取错误。这可能是错误的。但是,本质上,这两个不同的上下文正在发现安装包的不同版本。这在Python和项目中经常发生。Airflow了解的python版本只能找到setuptools28.0.0。这完全不符合DAG的要求


编辑

您可能希望尝试针对用户pip install user setuptools安装包

好的,它在airflow UI上显示的错误似乎是一个误导:

损坏的DAG:[/home/vagrant/aiffort/dags/data/gcp_bq_DAG.py](setuptools 28.8.0(/home/vagrant/.sandbox/lib/python3.5/site packages),Requirement.parse('setuptools>;=34.0.0'),{'google-api-core'})

实际问题是它缺少pandas_gbq包。这已记录在Web服务器日志中。我已经安装了pandas_gbq,它解决了这个问题

相关问题 更多 >