Unix/Linux中Python中单个目录文件数量的限制

Question

在Unix/Linux系统中，把很多文件放在同一个文件夹里是不是不好呢？我在一个集群上运行成千上万的任务，每个任务都会输出一个文件，都是放在同一个文件夹里。这个文件的数量大概能达到5万左右。这样会不会影响到输入输出的速度呢？如果会的话，换成分层的文件夹结构会不会解决这个问题呢？

谢谢。

Answer 1

我认为大多数文件系统会把里面的文件名存储在一个列表里（或者其他可以快速访问的数据结构），所以如果在一个文件夹里放很多文件，就会导致像列出文件这样的简单操作变得很慢。使用嵌套结构可以改善这个问题，通过创建一个树形结构（如果合适的话，甚至可以用Trie）来组织文件名，这样可以减少获取文件信息所需的时间。

Answer 2

我的建议是使用嵌套的文件夹结构，也就是把文件分类。你可以用时间戳、每个应用程序的特殊前缀等来给文件夹命名。这样在你需要查找特定文件时，会让你感觉更有条理，也更方便管理你的文件。

Answer 3

请看：

一个文件夹里可以放多少个文件才算太多？