2024-05-16 04:47:02 发布
网友
有谁能帮我从blablabla汽车的网址中提取出骑手的详细信息,或者请在网上写一些想法
从blablabla汽车网站的url中提取前5000次乘坐细节
我对网络涂鸦和python还不熟悉,所以请大家给我一些提示来做这项工作
一开始,你应该始终思考你的刮蹭起点在哪里。 在本例中,https://www.blablacar.in/search-car-sharing看起来很不错,因为有指向最流行路由的链接。在
以下是您可能需要遵循的管道:
USER_AGENT
settings.py
DOWNLOAD_DELAY
0.5
parse
parse_route
这就是parse方法的外观:
def parse(self, response): for a_tag in response.css('.search-empty__meeting-points a'): yield response.follow(a_tag, self.parse_route)
下面是parse_route示例,它解析了骑乘的名称和日期:
希望这能给你一个如何处理任务的直觉。在
一开始,你应该始终思考你的刮蹭起点在哪里。 在本例中,https://www.blablacar.in/search-car-sharing看起来很不错,因为有指向最流行路由的链接。在
以下是您可能需要遵循的管道:
USER_AGENT
(在settings.py
)设置为某个自定义值,以不获得403响应。在DOWNLOAD_DELAY
设置为0.5
之类的值以使其不被禁止(可能需要使该值更大)。在parse
方法,该方法将生成对路由页的请求。在parse_route
方法,该方法将生成有关游乐设施的信息并跟随分页。在这就是
parse
方法的外观:下面是
^{pr2}$parse_route
示例,它解析了骑乘的名称和日期:希望这能给你一个如何处理任务的直觉。在
相关问题 更多 >
编程相关推荐