利用python高效地存储和访问大量文件

Question

我有一个框架，我需要阅读，比如说10000个文件（每个文件约10MB），处理它们，再写10000个文件。在下一步中，我读取了这10000个文件，对它们进行了一些处理，并将更多的文件写入磁盘。整个过程发生了好几次。你知道吗

问题：有没有一种有效的方法将这些文件存储在相邻的位置以节省读/写时间？有点像焦油。我不想压缩太多，但我更喜欢速度。如果我使用tar，有没有一种方法可以索引（散列）这10000个文件，这样我就可以在O（1）时间内读取任何特定的文件？你知道吗