对于我的梦幻足球队,我从www.footywire.com,然后我尝试通过elasticsearch将其导入Kibana。所有这些都是用python2.7和BeautifulSoup编写的。你知道吗
所以对于每一个球员,我都会搜集一些信息,比如球员拥有的财产数量,对方球队(等等),以及这个赛季的哪轮比赛。每个项目也有一个唯一的键,基于玩家的URL和被抓取的轮数。你知道吗
这一切都很好…所有的数据输出到一个.csv文件,我可以看到,这是所有出来我想要的。如果一个球员本赛季没有参加比赛,他们将被跳过。你知道吗
问题是每个玩家只有一个条目被导入Kibana(通过elasticsearch);其余的条目被删除。我是凭直觉知道的:
当我进入基巴纳,我可以看到只有617个项目,而不是预期的6300+。你知道吗
我从日志中得到的唯一提示是“找不到logger的处理程序”弹性搜索.trace“信息。哪里会掉下来?你知道吗
注意:我不知道什么样的代码在这里可能是相关的,因为实际的刮取本身是工作的。只是elasticsearch中的输入存在问题。你知道吗
编辑:我正在使用Logstash将elasticsearch导入Kibana。在这个项目的logstash中没有设置任何东西,所以它只是在新的scrapy项目中使用默认设置。你知道吗
[settings]
default = footywire.settings
[deploy]
#url = http://localhost:6800/
project = footywire
正如@rajat正确指出的,elasticsearch需要为发送给它的每个文档提供唯一的id。我设置的不正确。你知道吗
相关问题 更多 >
编程相关推荐