美丽汤通过DI

Question

我想通过这一页：

http://animedigitalnetwork.fr/video/naruto-shippuden

我测试一下：

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('http://animedigitalnetwork.fr/video/naruto-shippuden')
soup = BeautifulSoup(page)
first_div = soup.find('div',{"class" : "adn-video"})

结果不是火影忍者！？在

^{pr2}$

Answer 1

这里有多个问题：

• 在形成视频列表时还涉及一个额外的异步调用：
  • 首先需要从初始页面提取playlist参数值
  • 然后，发出post请求将视频发送到this url

• 您正在使用BeautifulSoup的outdated and not maintained version-切换到^{}：

  pip install beautifulsoup4
  

• 使用^{}代替urllib2，维护session并传递请求头

完整的工作代码：

^{pr2}$

打印（视频标题列表）：

Naruto Shippuden 391
Naruto Shippuden 390
Naruto Shippuden 389
...
Naruto Shippuden 3
Naruto Shippuden 2
Naruto Shippuden 1