mr-plow 0.1.5

犁先生

Plow先生是Poppin的ETL系统，将来自第三方API的数据持久化到 雪花数据库，用于以后的业务分析。

我们使用python来：

1. 调用上述api并将数据存储在aws s3中（"extract"）
2. 发出snowflake命令从aws s3（"stage"）导入数据
3. 发出snowflake命令以从原始数据转换新数据 非结构形式到用于分析的表格形式（"转换"）
4. 发出snowflake命令将新的表格数据加载到我们的主存， 消除任何重复（"加载"）
< > >

Plow先生可以从命令行运行。今后我们将增加支持 作为aws lambda函数运行它的函数。

为什么叫这个可笑的名字？

有两个原因。

首先，这主要是一个雪花客户端。

第二个： https://www.youtube.com/watch？V=UYXET7XOH1M