Python中的内存错误钩子？
有没有办法可以全局捕捉内存错误（MemoryError）异常，这样库就可以清理缓存，而不是让用户代码看到这个内存错误呢？
我正在开发一个内存缓存库，使用Python编写，这个库可以存储非常大的对象，甚至用户常常希望使用所有可用的内存来简化他们的脚本或者加快速度。我希望能有一个机制，让Python解释器在遇到内存错误时，先调用一个回调函数来释放一些内存，这样就可以避免在用户代码中出现内存错误。
操作系统：Solaris和/或Linux
Python版本：cPython 2.6.*
编辑：我希望有一种机制，不是通过异常处理块来处理的。如果在任何代码中出现内存错误，我希望Python解释器首先尝试使用回调来释放一些内存，而不是让内存错误异常被生成。我无法控制会产生错误的代码，我希望我的缓存能够积极地使用尽可能多的内存，并在用户代码需要时自动释放内存。
3 个回答
我想对Glenn的回答说几句……虽然我同意不应该用MemoryException来处理缓存大小这个总体观点，但这并不意味着当你捕获到这些异常时，系统就一定出问题了。有些人是没有交换空间（swap）的，使用ulimit来限制进程的最大大小时也可能会遇到这些异常。而且，当使用软限制时，你甚至可以提高软限制，以优雅地处理进程在内存耗尽时的崩溃（前提是有办法在不分配更多内存的情况下提高这个限制；我还没尝试过）。
捕获未处理的异常意味着出现了问题，但你不知道是什么。这意味着你的应用程序可能会开始以意想不到的方式运行，就像你随意删除了一些代码行一样！我在一些应用中使用了通用的异常处理器，但只是为了给用户显示一个友好的提示信息（在图形界面中尤其有用），然后程序就结束了。
你可以这样设置你的异常处理器：
sys.excepthook = <your_exceptionhook>
这些参数包括异常类、异常实例和一个追踪对象。你可以按这个顺序将这些参数传递给traceback.format_exception()，以生成Python在未捕获异常时写入stderr的追踪信息。
注意：我还没尝试过这种方法对MemoryException错误是否有用，但这就是捕获未处理异常的方式。
一个 MemoryError 是一种错误类型，你可以在 except 代码块中捕捉到它。
这种处理内存管理的方法并不好。当你看到内存错误（MemoryError）时，实际上已经到了一个很严重的状态，系统可能快要杀掉一些进程来释放内存了。而在很多系统上，你可能根本看不到这个错误，因为它会先把数据转移到交换区（swap），或者直接结束你的进程，而不是让你看到分配失败的错误。
你可能唯一能看到内存错误的情况，就是在尝试分配一个非常大的内存块，而这个内存块超出了可用的地址空间，这种情况在32位系统上比较常见。
如果你想要一个可以根据需要释放内存的缓存，它需要直接和内存分配器打交道，而不是处理错误。这样，当你需要释放内存时，你就知道需要多少连续的内存，而不是盲目猜测。这也意味着你可以实时跟踪内存的分配情况，这样就能保持内存使用在一个特定的水平，而不是让它无限制地增长，然后再试图去恢复。
不过我强烈建议，对于大多数应用来说，这种缓存行为其实有点复杂。通常情况下，直接使用固定量的内存作为缓存会更好。