PyPI很慢。如何搭建自己的服务器？

Question

当一个新开发者加入团队，或者Jenkins进行完整构建时，我需要创建一个新的虚拟环境（virtualenv）。我发现，用Pip设置一个虚拟环境并安装很多（超过10个）依赖包时，从PyPI下载所有内容的速度非常慢。很多时候，安装过程会完全失败，出现如下错误：

Downloading/unpacking Django==1.4.5 (from -r requirements.pip (line 1))
Exception:
Traceback (most recent call last):
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/basecommand.py", line 107, in main
    status = self.run(options, args)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/commands/install.py", line 256, in run
    requirement_set.prepare_files(finder, force_root_egg_info=self.bundle, bundle=self.bundle)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/req.py", line 1018, in prepare_files
    self.unpack_url(url, location, self.is_download)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/req.py", line 1142, in unpack_url
    retval = unpack_http_url(link, location, self.download_cache, self.download_dir)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/download.py", line 463, in unpack_http_url
    download_hash = _download_url(resp, link, temp_location)
  File "/var/lib/jenkins/jobs/hermes-web/workspace/web/.venv/lib/python2.6/site-packages/pip-1.2.1-py2.6.egg/pip/download.py", line 380, in _download_url
    chunk = resp.read(4096)
  File "/usr/lib64/python2.6/socket.py", line 353, in read
    data = self._sock.recv(left)
  File "/usr/lib64/python2.6/httplib.py", line 538, in read
    s = self.fp.read(amt)
  File "/usr/lib64/python2.6/socket.py", line 353, in read
    data = self._sock.recv(left)
timeout: timed out

我知道Pip有一个--use-mirrors的选项，有时我的团队成员会通过使用--index-url http://f.pypi.python.org/simple（或者其他镜像）来解决这个问题，直到他们找到一个响应速度快的镜像。我们在英国，但德国有一个PyPI镜像，我们从其他网站下载数据没有问题。

所以，我在考虑为我们的团队在内部搭建一个PyPI镜像。

我考虑过的选项有：

运行我自己的PyPI实例。官方的PyPI实现是：CheeseShop，还有一些第三方实现，比如：djangopypi和pypiserver（见脚注）

这个方法的问题是，我并不需要完整的PyPI功能，比如文件上传，我只想镜像它提供的内容。
使用pep381client或pypi-mirror来运行一个PyPI镜像。

这个方法看起来可行，但需要我的镜像先从PyPI下载所有内容。我已经设置了一个pep381client的测试实例，但我的下载速度在5 Kb/s到200 Kb/s之间波动（是比特，不是字节）。除非有完整的PyPI存档的副本，否则我需要几周才能有一个有用的镜像。
使用像yopypi这样的PyPI轮询代理。

这个方法现在不相关，因为http://pypi.python.org本身就由几个地理位置不同的服务器组成。
在开发者之间复制虚拟环境，或者托管一个当前项目依赖的文件夹。

这个方法不太可行：我们有几个不同的Python项目，它们的依赖会随着时间慢慢变化。一旦任何项目的依赖发生变化，这个中央文件夹就必须更新以添加新的依赖。不过，复制虚拟环境比复制包更麻烦，因为任何带有C模块的Python包都需要为目标系统编译。我们的团队有Linux和OS X的用户。

（不过，这看起来还是一堆糟糕选项中最好的。）
使用智能的PyPI缓存代理：collective.eggproxy

这似乎是一个很好的解决方案，但PyPI上的最后一个版本是2009年的，而且讨论的是mod_python。

其他大型Python团队是怎么做的？有什么好的解决方案可以快速安装相同的Python包？

脚注：

我看到过这个问题如何搭建自己的PyPI？，但那个问题是关于托管私有代码的。
Python维基列出了替代的PyPI实现
我最近还发现了Crate.io，但我认为这对我使用Pip没有帮助。
有一个网站监控PyPI镜像状态
PyPI上的一些包的文件托管在其他地方，所以即使是完美的镜像也无法解决所有依赖问题。

依赖管理虚拟环境代码托管 pip 开发者工具软件构建 pypi镜像代理缓存

PyPI很慢。如何搭建自己的服务器？

5 个回答

撰写回答