从blablacar si中提取5000个骑乘细节

2024-05-16 04:47:02 发布

您现在位置:Python中文网/ 问答频道 /正文

有谁能帮我从blablabla汽车的网址中提取出骑手的详细信息,或者请在网上写一些想法

从blablabla汽车网站的url中提取前5000次乘坐细节

我对网络涂鸦和python还不熟悉,所以请大家给我一些提示来做这项工作


Tags: 网络url网站详细信息汽车细节网址涂鸦
1条回答
网友
1楼 · 发布于 2024-05-16 04:47:02

一开始,你应该始终思考你的刮蹭起点在哪里。 在本例中,https://www.blablacar.in/search-car-sharing看起来很不错,因为有指向最流行路由的链接。在

以下是您可能需要遵循的管道:

  • 宣布蜘蛛。在
  • USER_AGENT(在settings.py)设置为某个自定义值,以不获得403响应。在
  • DOWNLOAD_DELAY设置为0.5之类的值以使其不被禁止(可能需要使该值更大)。在
  • {cd5>开始添加点^
  • 添加一个parse方法,该方法将生成对路由页的请求。在
  • 添加一个parse_route方法,该方法将生成有关游乐设施的信息并跟随分页。在

这就是parse方法的外观:

def parse(self, response):
    for a_tag in response.css('.search-empty__meeting-points a'):
        yield response.follow(a_tag, self.parse_route)

下面是parse_route示例,它解析了骑乘的名称和日期:

^{pr2}$

希望这能给你一个如何处理任务的直觉。在

相关问题 更多 >