python beautifulsoup 添加额外的结束标签

Question

我正在使用Beautifulsoup来解析一个网站。

  request = urllib2.Request(url)
  response = urllib2.urlopen(request)
  soup = BeautifulSoup.BeautifulSoup(response)

我用它来遍历一个表格。但我遇到的问题是，Beautifulsoup在HTML中多加了一个表格的结束标签，而这个标签实际上并不存在。我通过打印soup.prettify()来确认了这一点。所以，有一个标签没有被包含在表格里，我无法选择到它。

Answer 1

直接搜索每个 <tr> 标签怎么样，而不是试图深入到表格里去呢？

   for td in soup.find("td"):
        ...

有时候你会发现 <tbody> 标签在表格里自动生成，虽然在代码中并没有写出来。你可以选择自己写代码处理这个情况，或者直接跳到 <tr> 或 <td> 标签去。