在16GB内存的笔记本电脑上与Pandas密谋

Question

我正在pythonjupyteripython笔记本中使用1.7GB的数据集。我在.csv中读到了我正在使用的pd.read_csv，我的RAM使用量激增到7GB左右。你知道吗

当我试图从数据集中绘制我的一列的时间序列时，我的内存猛增到了近16GB。我担心我的笔记本电脑的性能，所以我决定中断内核。你知道吗

我的问题有两个：

• 如果我让细胞运行，情节最终会出现吗？或者，它无法绘制我的图表，因为它达到了它的内存限制？你知道吗
• 我的数据是一个月内一秒一秒的时间序列，其中大部分包含零。我应该从数据中去掉这些零吗？这样更容易绘图吗？你知道吗

Answer 1

1. 它最终会出现的。即使它使用超过16gb的内存，它也会使用页面文件来获得更多的虚拟内存。这叫寻呼。它是现代操作系统内存实现的一个重要部分，使用辅助存储让程序超过可用物理内存的大小。当一台计算机的RAM用完时，操作系统（OS）会将内存页移到计算机的硬盘上，为其他进程释放RAM。这确保了操作系统永远不会耗尽内存和崩溃。 更多信息：http://searchservervirtualization.techtarget.com/definition/memory-paging

1. 这取决于你是否需要零。根据它们添加的数据量，绘图或可视化可能更容易。你知道吗