level必须是整数,elasticsearch出错

2024-05-23 19:02:41 发布

您现在位置:Python中文网/ 问答频道 /正文

我用python实现了一个小爬虫程序,我想尝试在elasticsearch中导出结果,如本文tutorial所述。在

我在评论中提出了修正,因为更新了elasticsearch for scrapy插件(cfgithub link)。我已经更改了ELASTICSEARCH_UNIQ_键,在我的scraper中有一个现有字段。当然,我已经安装了插件并检查了我的spider是否工作(我成功地获得了json的输出,命令scrapy crawl brand -o output.json,其中brand是我的spider的名称)

我已经安装了elasticsearch并且它正在运行,我已经能够重现一些发现here的示例。但当我使用以下命令时,它不起作用:scrapy crawl brand。在

我在设置.py文件,因为没有日志就无法识别。但现在,我有以下错误:

Traceback (most recent call last):
  File "C:\Users\stephanie\Downloads\WinPython-32bit-2.7.9.2\python-2.7.9\lib\site-packages\twisted\internet\defer.py", line 588, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "C:\Users\stephanie\Downloads\WinPython-32bit-2.7.9.2\python-2.7.9\lib\site-packages\scrapyelasticsearch\scrapyelasticsearch.py", line 70, in process_item
    self.index_item(item)
  File "C:\Users\stephanie\Downloads\WinPython-32bit-2.7.9.2\python-2.7.9\lib\site-packages\scrapyelasticsearch\scrapyelasticsearch.py", line 53, in index_item
    log.msg("Generated unique key %s" % local_id, level=self.settings.get('ELASTICSEARCH_LOG_LEVEL'))
  File "C:\Users\stephanie\Downloads\WinPython-32bit-2.7.9.2\python-2.7.9\lib\site-packages\scrapy\log.py", line 49, in msg
    logger.log(level, message, *[kw] if kw else [])
  File "C:\Users\stephanie\Downloads\WinPython-32bit-2.7.9.2\python-2.7.9\lib\logging\__init__.py", line 1220, in log
    raise TypeError("level must be an integer")
TypeError: level must be an integer
2015-08-04 02:06:02 [scrapy] INFO: Crawled 1 pages (at 1 pages/min), scraped 0 items (at 0 items/min)
2015-08-04 02:06:02 [scrapy] INFO: Closing spider (finished)
2015-08-04 02:06:02 [selenium.webdriver.remote.remote_connection] DEBUG: DELETE
http://127.0.0.1:49654/hub/session/209677e4-1577-4f05-a418-8554159d8c74/window {
"sessionId": "209677e4-1577-4f05-a418-8554159d8c74"}
2015-08-04 02:06:03 [selenium.webdriver.remote.remote_connection] DEBUG: Finished Request
2015-08-04 02:06:03 [scrapy] INFO: Dumping Scrapy stats:

我使用的是python2.7和elasticsearch 1.7.1 我需要用弹性搜索进行一些配置吗?或者是什么原因导致了这个错误?谢谢你的帮助。在


Tags: inpylibpackagesdownloadslinesiteelasticsearch
1条回答
网友
1楼 · 发布于 2024-05-23 19:02:41

我没有一个ElasticSearch设置来尝试这个,但是你可以尝试修改设置.py,将以下内容添加到设置.py在

import logging

和改变

^{pr2}$

ELASTICSEARCH_LOG_LEVEL= logging.DEBUG

如果以上方法仍然不起作用,您可以尝试以下方法:

ELASTICSEARCH_LOG_LEVEL= 10

相关问题 更多 >