Python传感器数据存储

2024-04-30 06:47:40 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个简单的数据集(DateTime,int,float),它每天可以增长到15k个条目,在一天中的最高点,我每秒可以有5个额外的记录。最初我用的是泡菜,这显然是个坏主意(每秒5次倾倒15k个物品太慢了)。现在我开始考虑不同的数据/日志存储选项,选择的数量之多让我有点不知所措。在

我看到msgpack和ujson的速度相当快,但我相信这会给我留下同样的问题;我会非常频繁地向集合添加数据,而数据记录程序实际上并不需要了解以前的数据。在

我的问题:我希望得到一些关于什么是一个合适的选择的建议,我读过像redis、mongoDB和noSQL这样的东西,因为内存属性,它们看起来相当快。或者我是不是过度考虑了这个问题,从一开始我就可以使用传统的数据库,比如MySQL或SQLite?在

结论:考虑了一个简单的问题,现在都解决了。在


Tags: 数据数量datetime选项记录条目msgpackfloat
1条回答
网友
1楼 · 发布于 2024-04-30 06:47:40

如果没有修改已发布数据的要求,那么Cassandra可能是个不错的选择,但对于一个覆盆子Pi来说,这可能有点重。看一下SQLite,它应该能够很容易地处理您的存储需求,并且有一个驱动模块(sqliite3)作为标准库的一部分。在

听起来好像随着时间的推移,你正在积累一个越来越大的pickle,有了数据库就不需要这样做了,而且存储datetime值非常容易。在

不要被学习数据库的必要性吓倒-这听起来很复杂,但实际上它只是一种存储数据表的方法。在

相关问题 更多 >