请求未获得预期响应

Question

我正在使用scrapy，一个用于web爬行的python框架来从网站提取信息

我想从中提取信息的网站是：http://apps.who.int/classifications/icd10/browse/2016/en

从网站左侧的索引树中，我想提取L###代码以及L##.#代码及其名称（其中L表示字母和数字）。所以我想要的前两个提取是：

A00 Cholera

A00.0 Cholera dure to Vibrio cholerae 01, biovar cholerae

问题是，当我打开刮壳并运行时：

fetch('http://apps.who.int/classifications/icd10/browse/2016/en')
view(response)

回复似乎没有包含我想要的索引

为什么scrapy不能得到这个索引，有没有办法修复它

Answer 1

如果对url进行 view source操作，将找不到要查找的文本或元素。它们可能是由javascript加载生成的。 因此，您必须查看正在执行此操作的javascript代码