使用urllib.request获取股票数据

Question

我写了以下代码来获取关于标准普尔500指数股票的数据。这个代码可以运行，但因为需要发很多次请求去打开网址，所以速度很慢。我可以用什么方法来加快这个过程呢？

from urllib.request import urlopen
import csv


class StockQuote:
    """gets stock data from Yahoo Finance"""

    def __init__(self, quote):
        self.quote = quote

    def lastPrice(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=l1'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def volume(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=v0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def yearrange(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=w0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def PEratio(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=r0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def bookValue(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=b4'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def EBITDA(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=j4'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def PEGRatio(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=r5'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def ticker(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=s0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))


def openSP500file():
    SP500 = csv.reader(open(r'C:\Users\dev\Desktop\SP500.csv', 'r'), delimiter=',')
    for x in SP500:
        indStk = x[0]
        printdata(indStk)

def printdata(stk):
    stkObj = StockQuote(stk)
    stkdata= {}
    stkdata['Ticker'] = stkObj.ticker()
    stkdata['Price'] = stkObj.lastPrice()
    stkdata['PE Ratio'] = stkObj.PEratio()
    stkdata['Volume'] = stkObj.volume()
    stkdata['Year Range'] = stkObj.yearrange()
    stkdata['Book Value per Share'] = stkObj.bookValue()
    stkdata['EBITDA'] = stkObj.EBITDA()
    stkdata['PEG Ratio'] = stkObj.PEGRatio()
    print(stkdata)  

def main():
    openSP500file()


if __name__ == '__main__':
    main()

谢谢！

Answer 1

如果你所有的请求都是发往同一个域名，我建议你使用 urllib3。这个库在标准的Python安装包里没有，但它可以让你更快地处理多个请求，因为它会把连接放在一起管理，减少每次请求的时间。

Answer 2

你可以通过一次调用 request.urlopen 来获取多个股票的信息：

import urllib.request as request
import urllib.parse as parse
import csv
import codecs
import pprint

def printdata(stks):
    params = parse.urlencode((('s', '+'.join(stks)), ('f', 'sl1rvwb4j4r5')))
    url = 'http://finance.yahoo.com/d/quotes.csv'
    url = '?'.join((url, params))
    req = request.urlopen(url)
    f = codecs.getreader('utf8')(req)
    fields = '''Ticker Price PE_Ratio Volume Year_Range Book_Value_per_Share
              EBITDA PEG_Ratio'''.split()
    for row in csv.reader(f):
        stkdata = dict(zip(fields, row))        
        pprint.pprint(stkdata)

printdata('YHOO GOOG MSFT'.split())

这样会得到

{'Book_Value_per_Share': '10.051',
 'EBITDA': '1.406B',
 'PEG_Ratio': '1.47',
 'PE_Ratio': '18.56',
 'Price': '14.96',
 'Ticker': 'YHOO',
 'Volume': '32625192',
 'Year_Range': '11.09 - 18.84'}
{'Book_Value_per_Share': '169.355',
 'EBITDA': '13.446B',
 'PEG_Ratio': '0.89',
 'PE_Ratio': '21.12',
 'Price': '625.96',
 'Ticker': 'GOOG',
 'Volume': '4459782',
 'Year_Range': '473.02 - 642.96'}
{'Book_Value_per_Share': '7.062',
 'EBITDA': '30.146B',
 'PEG_Ratio': '0.98',
 'PE_Ratio': '9.29',
 'Price': '26.00',
 'Ticker': 'MSFT',
 'Volume': '101410080',
 'Year_Range': '23.65 - 29.46'}

Answer 3

你可以使用 threading 或 multiprocessing 模块来同时获取所有这些网址，这样可以节省很多时间，因为每个网址的获取都是独立的，彼此之间没有关系。