文档在刮取后意外地从elasticsearch中删除

Question

对于我的梦幻足球队，我从www.footywire.com，然后我尝试通过elasticsearch将其导入Kibana。所有这些都是用python2.7和BeautifulSoup编写的。你知道吗

所以对于每一个球员，我都会搜集一些信息，比如球员拥有的财产数量，对方球队（等等），以及这个赛季的哪轮比赛。每个项目也有一个唯一的键，基于玩家的URL和被抓取的轮数。你知道吗

这一切都很好…所有的数据输出到一个.csv文件，我可以看到，这是所有出来我想要的。如果一个球员本赛季没有参加比赛，他们将被跳过。你知道吗

问题是每个玩家只有一个条目被导入Kibana（通过elasticsearch）；其余的条目被删除。我是凭直觉知道的：

当我进入基巴纳，我可以看到只有617个项目，而不是预期的6300+。你知道吗

我从日志中得到的唯一提示是“找不到logger的处理程序”弹性搜索.trace“信息。哪里会掉下来？你知道吗

注意：我不知道什么样的代码在这里可能是相关的，因为实际的刮取本身是工作的。只是elasticsearch中的输入存在问题。你知道吗

编辑：我正在使用Logstash将elasticsearch导入Kibana。在这个项目的logstash中没有设置任何东西，所以它只是在新的scrapy项目中使用默认设置。你知道吗

[settings]
default = footywire.settings

[deploy]
#url = http://localhost:6800/
project = footywire

Answer 1

正如@rajat正确指出的，elasticsearch需要为发送给它的每个文档提供唯一的id。我设置的不正确。你知道吗