弹性搜索保存大数据超时错误

2024-04-20 07:54:51 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在一个Python应用程序中将数据从一个zip文件保存到Elasticsearch DB,这个zip文件有HTML页面和域名。现在我需要将数据从该文件推送到数组,然后需要将其保存在弹性搜索数据库中。你知道吗

问题是,有时,由于HTML可以是任意大小的,所以数据非常广泛,因此我会得到以下错误:

urllib3.exceptions.ReadTimeoutError: HTTPConnectionPool(host='localhost', port=9200): Read timed out. (read timeout=300)

由-ReadTimeoutError(HTTPConnectionPool(host='localhost',port=9200)引起的ConnectionTimeout:读取超时。(读取超时=300))

我尝试过增加超时值,但我不知道数据在更新时可以保存多长时间,所以不确定应该在那里输入什么值。你知道吗

有谁能帮助我知道,如果这是唯一的办法,或有任何其他更好的办法来解决它。你知道吗


Tags: 文件数据应用程序localhosthostdbporthtml