上周我成功地爬了1600多页。但被告知返回的数据中有很大一部分不正确(即价格),我的意思是,如果被爬网的项目可以选择(尺寸、颜色、数量/包)以查看价格,我如何才能收集每个选择的正确价格?似乎我的逻辑是在拉它发现的第一个价格。你知道吗
我在早期尝试只解析页面代码中的每一个组合,但总是无法准确返回,我转向只获取一个价格,但似乎我使用的大多数测试页面都不是特定于选项的定价,所以我忽略了一个很大一部分的网址,它们在布局和功能上并不相似。目前唯一有效的是我的代码,可以在这里找到。。你知道吗
https://stackoverflow.com/questions/55925202/why-does-this-code-generate-multiple-files-i-want-1-file-with-all-entries-in-it/55925220#55925220
这是伟大的工程和预期的任何项目网页,我们爬行,没有任何选择要作出。。你知道吗
https://stackoverflow.com/questions/55925202/why-does-this-code-generate-multiple-files-i-want-1-file-with-all-entries-in-it/55925220#55925220
整个代码已经发布在这里,最终版本正在运行。你知道吗
我不需要完整的例子,我只是需要一些指导,在代码中重点放在什么,以便自动作出产品选择,以获得正确的价格,选择组合
以下是一个未能获得正确价格的示例页面: https://www.dickssportinggoods.com/p/berkley-vanish-fluorocarbon-fishing-line-15bkyuvnsh25010clfli/15bkyuvnsh25010clfli
当您开始选择时,价格会发生变化,如果您选择“6”磅和“2000码”,价格将变为75.99美元,如果您将其变为“250码”,则价格将变为12.99美元
由于我们会不时需要拉一个特定的英镑和长度,我需要关注什么,以便系统地拉正确的价格为所需的选择?你知道吗
有没有一种方法可以把每页的所有组合都拉出来,这样我们就不会一次又一次地碰到同一页了?你知道吗
我看过这里的一些链接和其他网站,似乎处理这一点,但很少丢失,如果他们甚至是相同的事情,我试图完成。你知道吗
只是想从哪里开始或者尝试什么。。你知道吗
在使用scrapy时,如果您想要所有的组合,您需要确保在脚本中包含所有条件,这是完全不合理的。你知道吗
我将使用两个不同的解析器,scrapy用于一般的刮取,selenium用于更具体的刮取。使用selenium,您可以在脚本中输入特定的组合,并在页面上解析价格,如下所示:
输出:
如您所见,我们可以使用selenium将特定值传递到框中,从而获得您想要的确切价格。不过,上面的脚本并非包罗万象,但它应该是一个很好的起点。你知道吗
相关问题 更多 >
编程相关推荐