如何使用web应用程序处理大数据？

Question

我最近正在完成一个个人项目，涉及使用flask、python和python。我学到了很多，现在我对个人项目有了一些新的想法

我的下一个项目涉及更改视频文件并将其转换为其他文件类型，例如JPGs。当我起草我的系统如何工作时，我很快意识到我目前用于web应用程序托管的平台，也就是Pythonywhere，将过于昂贵，甚至可能过于缓慢，因为我将处理大型文件

我四处搜索并找到了文件存储的AWS S3，但我很难找到如何在python中对这些数据进行转换。我绝对不想从S3下载任何地方的Python数据，然后将转换后的文件重新加载到bucket中。该项目将可在互联网上使用，所以我试图使其尽可能健壮和可扩展

我发现这个问题很难回答，因为我不太确定我问的问题是否正确。我想我正在寻找一种操作大型数据文件的方法，最好是在python中，而不必在本地处理数据（如果这样做有意义的话）

如果是这样的话，我愿意学习新技术，并且正在寻找如何实现这个个人项目的方向

Answer 1

你调查过AWS Elastic Transcoder吗

Amazon Elastic Transcoder lets you convert media files that you have stored in Amazon Simple Storage Service (Amazon S3) into media files in the formats required by consumer playback devices. For example, you can convert large, high-quality digital media files into formats that users can play back on mobile devices, tablets, web browsers, and connected televisions.

与AWS的所有内容一样，也有SDK（例如Python SDK），允许您以编程方式访问服务