使用Python抓取Yahoo财经头条

Question

我正在使用Beautiful Soup这个工具，从这个页面 http://in.finance.yahoo.com/q?s=AAPL 提取头条新闻，但我需要的是过去三个月的新闻，也就是从2013年12月10日到2014年3月10日的新闻。不过，我现在只能提取到这个特定页面上的新闻。请问如何才能提取到任何特定公司的所需新闻呢？

代码：

url = 'http://in.finance.yahoo.com/q?s=AAPL'
data = urllib2.urlopen(url)
soup = BeautifulSoup(data)

divs = soup.find('div',attrs={'id':'yfi_headlines'})
div = divs.find('div',attrs={'class':'bd'})
ul = div.find('ul')
lis = ul.findAll('li')
hls = []
for li in lis:
    headlines = li.find('a').contents[0]
    print headlines

Answer 1

在http://in.finance.yahoo.com/q?s=AAPL这个网站上，点击“AAPL的更多头条新闻”。接着你会看到一个链接，里面有一个日期和时间的字段。你可以修改这个字段，这样就可以得到你想要的信息了。（例如：http://in.finance.yahoo.com/q/h?s=AAPL&t=2014-02-08T15:06:40+05:30）

Answer 2

我觉得你的问题主要跟你获取数据的地方有关。如果你需要过去三个月的数据，应该去这个网站 http://in.finance.yahoo.com/q/hp?s=AAPL 查询，那里的数据都以表格的形式展示出来，方便你查看。