如何使用Python的gdata模块获取所有YouTube评论？

Question

希望从给定的视频中获取所有评论，而不是一次浏览一页。

from gdata import youtube as yt
from gdata.youtube import service as yts

client = yts.YouTubeService()
client.ClientLogin(username, pwd) #the pwd might need to be application specific fyi

comments = client.GetYouTubeVideoComments(video_id='the_id')
a_comment = comments.entry[0]

上面的代码允许您抓取一个注释，可能是最近的注释，但是我正在寻找一种方法来同时抓取所有的注释。对于Python的gdata模块，这可能吗？

---

Youtube API文档用于comments、注释提要docs和Python API docs

Answer 1

目前我只有一个解决方案，但它没有使用API，而且当有几千条评论时会变慢。

import bs4, re, urllib2
#grab the page source for vide
data = urllib2.urlopen(r'http://www.youtube.com/all_comments?v=video_id') #example XhFtHW4YB7M
#pull out comments
soup = bs4.BeautifulSoup(data)
cmnts = soup.findAll(attrs={'class': 'comment yt-tile-default'})
#do something with them, ie count them
print len(cmnts)

请注意，由于“class”是内置的python名称，因此无法通过regex或lambdas对“startwith”进行常规搜索，如here所示，因为您使用的是dict，而不是常规参数。由于BeautifulSoup，它也变得相当慢，但它需要使用，因为etree和minidom由于某种原因找不到匹配的标记。即使在prettyfying()和bs4之后