我正在抓取这样一个网页http://www.allocine.fr/film/fichefilm-215143/similaire/。在
我想检索每部电影的链接。所以我做了一个函数,它可以做如下的事情:
soup = BeautifulSoup(get_HTML_sim_movies(allocine_id), "html.parser")
allocine_ids_sim = []
sim_movie_links = soup.find_all("h2")
for sim_movie_html in sim_movie_links:
fiche_film = sim_movie_html.find('a').get('href').split("/")[2]
它适用于所有电影,因为它们的构建方式都相同:
^{pr2}$但是最后一个有点不同,当我用浏览器检查元素标题而不是使用:class="meta-title-link"
时,我有class="xXx meta-title-link"
当我抓取它或查看源代码时,链接就会消失,取而代之的是:data-ac="==L2ZpbG0vZmljaGVmaWxtX2dlbl9jZmlsbT0yMjY2NDQuaHRtbA=="
<h2 class="meta-title">
<strong>
<span class="meta-title-link" data-ac="==L2ZpbG0vZmljaGVmaWxtX2dlbl9jZmlsbT0yMjY2NDQuaHRtbA==">Avengers Confidential : La Veuve Noire et Le Punisher</span>
</strong>
</h2>
你知道如何获得链接吗?为什么会这样?在
它采用base64格式:
去掉前两个字符
^{pr2}$==
,然后它将解码为
/film/fichefilm_gen_cfilm=226644.html
相关问题 更多 >
编程相关推荐