擅长:python、mysql、java
<p>使用flow将MySQL数据库同步到BigQuery确实是可能的。
当然,您需要确保已正确验证与Airflow DAG工作流的连接。
此外,请确保定义要将MySQL中的哪些列拉入并加载到BigQuery中。您还需要选择加载数据的方法。您希望增量加载还是完全加载?一定要制定一种消除重复数据拷贝(消除重复)的技术。在</p>
<p>您可以通过以下链接找到有关此主题的更多信息:
<a href="https://stackoverflow.com/questions/40629086/how-to-sync-mysql-into-bigquery-in-realtime">How to Sync Mysql into Bigquery in realtime?</a></p>
<p>以下是设置bigquery帐户和身份验证的一个很好的资源:
<a href="https://www.youtube.com/watch?v=fAwWSxJpFQ8" rel="nofollow noreferrer">https://www.youtube.com/watch?v=fAwWSxJpFQ8</a></p>
<p>你也可以看看stichdata.com网站(<a href="https://www.stitchdata.com/integrations/mysql/google-bigquery/" rel="nofollow noreferrer">https://www.stitchdata.com/integrations/mysql/google-bigquery/</a>)
Stitch MySQL集成将在几分钟内将您的MySQL ETL到Google BigQurey,并使其保持最新,而无需不断编写和维护ETL脚本。在这种情况下,Google云存储或云SQL将不再是必需的。在</p>
<p>有关使用Apache Airflow聚合BigQuery数据的更多信息,请参阅以下链接:
<a href="https://cloud.google.com/blog/products/gcp/how-to-aggregate-data-for-bigquery-using-apache-airflow" rel="nofollow noreferrer">https://cloud.google.com/blog/products/gcp/how-to-aggregate-data-for-bigquery-using-apache-airflow</a></p>