我有一个简单的数据集(DateTime,int,float),它每天可以增长到15k个条目,在一天中的最高点,我每秒可以有5个额外的记录。最初我用的是泡菜,这显然是个坏主意(每秒5次倾倒15k个物品太慢了)。现在我开始考虑不同的数据/日志存储选项,选择的数量之多让我有点不知所措。在
我看到msgpack和ujson的速度相当快,但我相信这会给我留下同样的问题;我会非常频繁地向集合添加数据,而数据记录程序实际上并不需要了解以前的数据。在
我的问题:我希望得到一些关于什么是一个合适的选择的建议,我读过像redis、mongoDB和noSQL这样的东西,因为内存属性,它们看起来相当快。或者我是不是过度考虑了这个问题,从一开始我就可以使用传统的数据库,比如MySQL或SQLite?在
结论:考虑了一个简单的问题,现在都解决了。在
如果没有修改已发布数据的要求,那么Cassandra可能是个不错的选择,但对于一个覆盆子Pi来说,这可能有点重。看一下SQLite,它应该能够很容易地处理您的存储需求,并且有一个驱动模块(
sqliite3
)作为标准库的一部分。在听起来好像随着时间的推移,你正在积累一个越来越大的pickle,有了数据库就不需要这样做了,而且存储datetime值非常容易。在
不要被学习数据库的必要性吓倒-这听起来很复杂,但实际上它只是一种存储数据表的方法。在
相关问题 更多 >
编程相关推荐