Gensim摘要生成器抛出内存错误，有什么解决方案吗？

Question

我尝试使用Gensim摘要生成器生成一个大型文本文件的摘要。 我记错了。从一段时间以来一直面临这个问题，有什么帮助吗 非常感谢。请随意询问更多细节。在

from gensim.summarization.summarizer import summarize

file_read =open("xxxxx.txt",'r')
Content= file_read.read()


def Summary_gen(content):
    print(len(Content))
    summary_r=summarize(Content,ratio=0.02)
    print(summary_r)


Summary_gen(Content)

文件长度为：

^{pr2}$

错误消息：

    ---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
<ipython-input-6-a91bd71076d1> in <module>()
     10 
     11 
---> 12 Summary_gen(Content)

<ipython-input-6-a91bd71076d1> in Summary_gen(content)
      6 def Summary_gen(content):
      7     print(len(Content))
----> 8     summary_r=summarize(Content,ratio=0.02)
      9     print(summary_r)
     10 

c:\python3.6\lib\site-packages\gensim\summarization\summarizer.py in summarize(text, ratio, word_count, split)
    428     corpus = _build_corpus(sentences)
    429 
--> 430     most_important_docs = summarize_corpus(corpus, ratio=ratio if word_count is None else 1)
    431 
    432     # If couldn't get important docs, the algorithm ends.

c:\python3.6\lib\site-packages\gensim\summarization\summarizer.py in summarize_corpus(corpus, ratio)
    367         return []
    368 
--> 369     pagerank_scores = _pagerank(graph)
    370 
    371     hashable_corpus.sort(key=lambda doc: pagerank_scores.get(doc, 0), reverse=True)

c:\python3.6\lib\site-packages\gensim\summarization\pagerank_weighted.py in pagerank_weighted(graph, damping)
     57 
     58     """
---> 59     adjacency_matrix = build_adjacency_matrix(graph)
     60     probability_matrix = build_probability_matrix(graph)
     61 

c:\python3.6\lib\site-packages\gensim\summarization\pagerank_weighted.py in build_adjacency_matrix(graph)
     92         neighbors_sum = sum(graph.edge_weight((current_node, neighbor)) for neighbor in graph.neighbors(current_node))
     93         for j in xrange(length):
---> 94             edge_weight = float(graph.edge_weight((current_node, nodes[j])))
     95             if i != j and edge_weight != 0.0:
     96                 row.append(i)

c:\python3.6\lib\site-packages\gensim\summarization\graph.py in edge_weight(self, edge)
    255 
    256         """
--> 257         return self.get_edge_properties(edge).setdefault(self.WEIGHT_ATTRIBUTE_NAME, self.DEFAULT_WEIGHT)
    258 
    259     def neighbors(self, node):

c:\python3.6\lib\site-packages\gensim\summarization\graph.py in get_edge_properties(self, edge)
    404 
    405         """
--> 406         return self.edge_properties.setdefault(edge, {})
    407 
    408     def add_edge_attributes(self, edge, attrs):

MemoryError: 

我试着在网上查找这个错误，但找不到一个可行的解决办法。在

Answer 1

您是否尝试使用word_count参数而不是ratio？在

如果上述方法仍然不能解决问题，那是因为gensim的实现限制。如果仍有OOM错误，使用gensim的唯一方法是拆分文档。这也会加快你的解决方案（如果文档真的很大，无论如何也不会是个问题）。在

summarize有什么问题：

gensim的summarizer默认使用TextRank，这是一种使用PageRank的算法。在gensim中，不幸的是，using a Python list of PageRank graph nodes实现了它，因此如果图太大，它可能会失败。在

顺便问一下，文档长度是用单词还是字符来衡量的？在

Answer 2

从日志来看，代码似乎构建了一个邻接矩阵

-> 59 adjacency_matrix = build_adjacency_matrix(graph)

这可能会试图用您的365042文档创建一个巨大的邻接矩阵，而这些文档无法放入内存（即RAM）。在

你可以试试：

1. 将文档大小减少到更少的文件（可能从10000开始） 检查它是否有效
2. 试着在有更多内存的系统上运行它