如何估算在Python中加载大数据时的内存使用量

Question

我正在尝试分析LLAMA2模型的内存使用情况。我在Python中加载了12.55GB的模型数据，并使用process.memory_info().rss来查看内存使用情况。但是加载模型后，它的内存使用量达到了大约13.4GB。我很好奇，单单加载这些数据（使用torch.load('.pth', map_location='cpu')）为什么会多出这么多内存开销。另外，我还有个更一般的问题，就是在Python中如何分析其他内存开销，比如导入库时的内存使用？

Answer 1

你可以先把文件内容保存在内存中，然后保存为 .txt 或 .csv 格式。接着，你可以用 os.stat() 这个函数来获取文件的一些信息。

比如说：

file_name = "/Users/pankaj/abcdef.txt"

file_stats = os.stat(file_name)