如何根据产品选择(例如尺寸、颜色、包装)获取信息?

2021-06-14 23:20:01 发布

您现在位置:Python中文网/ 问答频道 /正文

上周我成功地爬了1600多页。但被告知返回的数据中有很大一部分不正确(即价格),我的意思是,如果被爬网的项目可以选择(尺寸、颜色、数量/包)以查看价格,我如何才能收集每个选择的正确价格?似乎我的逻辑是在拉它发现的第一个价格。你知道吗

我在早期尝试只解析页面代码中的每一个组合,但总是无法准确返回,我转向只获取一个价格,但似乎我使用的大多数测试页面都不是特定于选项的定价,所以我忽略了一个很大一部分的网址,它们在布局和功能上并不相似。目前唯一有效的是我的代码,可以在这里找到。。你知道吗

https://stackoverflow.com/questions/55925202/why-does-this-code-generate-multiple-files-i-want-1-file-with-all-entries-in-it/55925220#55925220

这是伟大的工程和预期的任何项目网页,我们爬行,没有任何选择要作出。。你知道吗

https://stackoverflow.com/questions/55925202/why-does-this-code-generate-multiple-files-i-want-1-file-with-all-entries-in-it/55925220#55925220

整个代码已经发布在这里,最终版本正在运行。你知道吗

我不需要完整的例子,我只是需要一些指导,在代码中重点放在什么,以便自动作出产品选择,以获得正确的价格,选择组合

以下是一个未能获得正确价格的示例页面: https://www.dickssportinggoods.com/p/berkley-vanish-fluorocarbon-fishing-line-15bkyuvnsh25010clfli/15bkyuvnsh25010clfli

当您开始选择时,价格会发生变化,如果您选择“6”磅和“2000码”,价格将变为75.99美元,如果您将其变为“250码”,则价格将变为12.99美元

由于我们会不时需要拉一个特定的英镑和长度,我需要关注什么,以便系统地拉正确的价格为所需的选择?你知道吗

有没有一种方法可以把每页的所有组合都拉出来,这样我们就不会一次又一次地碰到同一页了?你知道吗

我看过这里的一些链接和其他网站,似乎处理这一点,但很少丢失,如果他们甚至是相同的事情,我试图完成。你知道吗

只是想从哪里开始或者尝试什么。。你知道吗