构建端到端数据分析平台

Question

我需要创建一个端到端平台：

1. 输入数据收集和存储-数据将通过FTP定期收集并存储在云中
2. 数据分析-将分析数据（使用Tableau/任何其他分析软件）
3. 报告-根据不断变化的输入数据生成的日报和月报

我需要决定此解决方案可以使用哪种工具/技术，以及如何在线托管脚本/流程以使其24*7运行

我的一个想法是使用AWS&；画面：

1. 用于数据收集-在Amazon ECS控制台中计划cron作业
2. 对于存储-存储在AWS上-可能是Amazon S3存储） 但是，在加载到AmazonS3之前，我是否可以选择格式化/更改数据
3. 使用Tableau创建仪表板。 但这需要多个Tableau会话，因为不同报告的数据源不同。此外，我需要定期将这些报告/仪表板以电子邮件格式发送给用户。可以在AWS中完成吗

但是，我相信AWS解决方案对该公司来说成本高昂。还有哪些其他可行的解决办法

很抱歉，我是这个领域的新手，很难找到一个经济高效的解决方案

Answer 1

看看构建AWS无服务器架构。S3>；lambda>；雅典娜>；流光

使用lambda函数以所需格式转换进入s3的数据

使用Athena对数据进行分区和查询，并创建表和数据库

使用tableau摘录，或者更好地使用quicksight

费用取决于数据量。此解决方案每月成本不到10美元，支持10个用户，但这是一个没有任何变量的模糊估计