HDF5-并发、压缩和I/O性能

Question

我对HDF5的性能和并发性有以下问题：

1. HDF5支持并发写访问吗？
2. 除了并发性考虑之外，HDF5在I/O性能方面的性能如何（压缩率是否会影响性能）？
3. 既然我在Python中使用HDF5，它的性能与Sqlite相比如何？

参考文献：

• http://www.sqlite.org/faq.html#q5
• Locking sqlite file on NFS filesystem possible?
• http://pandas.pydata.org/

Answer 1

看看pytables，他们可能已经为你做了很多这方面的工作。

也就是说，我不完全清楚如何比较hdf和sqlite。hdf是一种通用的分层数据文件格式+库，sqlite是一个关系数据库。

hdf在c级别上确实支持并行I/O，但我不确定这些h5py包了多少，也不知道它是否适合与NFS一起使用。

如果您真的想要一个高度并发的关系数据库，为什么不直接使用一个真正的SQL server呢？