是否有一些云解决方案可以在Python中训练模型，而不是在GBQ中导入结果？

Question

我从Jupiter笔记本中的GBQ加载数据pd.read\U gbq公司(). 然后我对它们进行预处理并建立ML模型（我知道BigQueryML，但这还不足以完成我的任务）。我知道如何加载GBQ的结果，但我不知道如何使它自动。我需要每天训练模型和预测。云服务是否有一些机会？可能是用可乐吧？你知道吗

Answer 1

您可以使用Google Cloud Composer，这是一个允许用户管理工作流编排的服务，允许您调度和监视管道，它构建在Apache Airflow之上，您可以使用Python编写复杂的工作流。你知道吗

Composer使用DAG's（有向无环图），DAG的每个顶点表示一个任务，边表示下一个任务的方向。你知道吗

因此，您可以安排一个DAG从BigQuery加载数据，训练ML模型，然后将结果加载到BigQuery。你知道吗

我为您提供了一个关于如何编写DAG with python的指南，Python操作符还提供了与BigQuery或Tensoflow交互的包。你知道吗

Answer 2

有了Google AI Platform，你可以完全在线训练和要求预测。您可以使用使用Tensorflow、scikit learn或XGBoost创建的模型，并且可以进行批处理（仅Tensorflow）和在线预测。您还可以创建、存储和查询同一模型的不同版本。你知道吗