在一段时间内抓取数据的存储空间效率

2024-03-29 11:07:08 发布

您现在位置:Python中文网/ 问答频道 /正文

我想存储有关外汇资产贷款利率的数据。使用this API call收集数据

数据更改的频率不得而知。我最初的计划是每秒钟查询一次API,如果有新的数据!=以前的\u数据,然后存储新的\u数据。你知道吗

数据大小似乎在5kb左右,比如说数据每10秒变化一次,这意味着一年内:

所需总存储空间=5*6*60*24*365=1576800KB=15.04GB

但是,如果数据每秒钟更改一次,则这将是150GB。你知道吗

有谁能对我如何提高效率发表意见吗?对于我的电脑来说这是相当大的空间。最终我想有一个服务器上运行这个,有没有人有一个初学者很好的指南,如何做到这一点?也许这种存储空间对于AWS或类似的云服务来说不是很多?你知道吗


Tags: 数据api空间资产callthis计划频率