python中本地文件、ftp、http的统一目录树遍历

Question

在我的testkernel程序中，我想通过各种协议遍历目录树。我想我想要的是os.walk，但它适用于ftp，也适用于典型的http目录列表（比如http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.2-precise/）。这是本着openanything.py的精神

对于FTP漫游，我找到了几个选项，包括ftptool，和ftputil模块，它具有在Ubuntu中的优势。我已经使用Beautiful Soup实现了自己的非常简单的http目录列表递归遍历。但是在我将它们与os.walk结合之前，我想知道它是否已经完成了。在

我知道httpwalking的语义并不像文件系统和ftp那样定义得很好，所以我想我不得不猜测目录是由一个URL表示的，该URL带有一个扩展目录URL的尾部斜杠。我得小心避免无限期的散步。但即使是手术室步行（例如，只有自上而下），这种东西似乎有用。在

这样做了吗？有什么建议吗？在

Answer 1

好吧，我写了一段代码，它实际上遍历了web目录并下载了文件： （尽管这段代码可能需要改进，如图像下载、pdf下载等）， 但不管怎样，源代码/模块如下：

Download files and dirs recursively from a remote source