使用py2neo时,Java内存不断增加

2024-04-28 09:02:47 发布

您现在位置:Python中文网/ 问答频道 /正文

我在python中使用webcrawler(Scrapy)不断下载数据(words),并通过py2neo将单词作为节点实时保存到neo4j中。 我的代码看起来很简单:

graph = Graph("http://localhost:7474/db/data/")

def create(graph,word):
    node=graph.merge_one("WORD","name",word)
    return node

我的网络蜘蛛每次得到一个单词就调用这个create函数。然而,我发现随着我的蜘蛛在网页上爬行,对Neo4j的记忆不断增强。因为我的蜘蛛要跑几个星期,恐怕总有一天会失去记忆。我每次只想创建一个节点,以后就不用这个节点了,为什么Java内存一直在增加?我认为创建的节点对象在Java中总是保持活动的,但是如何释放这些不必要的对象呢?那么有什么方法可以保持Java内存不增加呢?你知道吗

提前谢谢


Tags: 数据对象记忆内存node节点createjava