打包虚拟/conda环境以用于EMR引导程序

Question

我一直在使用PythonPython，但也做了许多包升级（如熊猫）。我已经编写了一些工具，我想把它们转换成MapReduce作业，还研究了如何为包依赖性进行python EMR引导。在

我考虑了一个可能的解决办法：只需获取并安装Python分布。但后来我想起我必须做所有必要的升级。在

我的最后一个努力是让这个问题变得简单：有没有一种方法可以“重新处理”升级后的水蟒（或者它的一个环境），这样它就可以存储在S3上并在EMR引导操作中使用？在

谢谢你的帮助！在

补充：我想它需要一个许可证，才能像这样打包一个Python发行版，并在各种机器上使用它，无论是在我的办公网络中还是在AWS上。下面是这个问题的一个开源版本（我刚刚了解到Anaconda发行版的主包管理器实际上是OS）：

假设我有一个虚拟（或conda）环境，运行时安装了各种模块和扩展。封装/捆绑这个虚拟环境的正确方法是什么（如果有的话），以便我可以根据需要高效地部署它？我遇到了“pip bundle”，还有“conda clone”和“conda create”。此外，还出现了康达频道的概念。只是我不清楚我是否能把这些放在一起，以便在EMR上高效地部署，如果可以，如何。在

Answer 1

license允许您这样做，如果这是您的要求。在

您还可以查看http://continuum.io/anaconda-cluster和{a3}。在