有没有办法将数据从谷歌电子表格传送到clickhouse？

Question

我们的员工每天都会在谷歌电子表格中填写一些数据，我需要以一定的频率（例如每天一次）将这些表格发送到clickhouse

（它位于我们的aws服务器上）

无论是clickhouse每次只从表中写入新数据还是从所有表中写入新数据

请告诉我怎样做的工作方法

从工具包中可以看出，python在理论上可以与sqlalchemy和DAG一起工作 但是对于气流中dag的开发，我还没有找到如何用python编写脚本从Google电子表格传输数据的指南

第二种选择是使用owox扩展的google电子表格，但是你需要使用google BigQuery，这将产生一个动物园，我还不想为BQ付费

你知道如何使用脚本从谷歌电子表格上传表格到Clickhouse吗？

Answer 1

我发现Python库pygsheets——使用api访问电子表格比直接访问更容易

官方pygsheets dock-https://pygsheets.readthedocs.io/en/stable/

此外，我还发现了更多的库：gspread和oauth2client，它们也可以用于使用api的Python循序渐进的指南 gspread的正式文件

这样我就可以在气流中进行dag并管理etl过程