使用python检查csv中的多个url是否有效

Question

我有这个脚本工作，如果我硬编码在脚本本身的链接。但是如果希望从一个csv文件中获取多个url，那么需要逐个验证这些url是否有效。请帮忙。谢谢

import httplib 
from urlparse import urlparse 

def checkUrl(url):
    p = urlparse(url)
    conn = httplib.HTTPConnection(p.netloc)
    conn.request('HEAD', p.path)
    resp = conn.getresponse()
    return resp.status < 400 

if __name__ == '__main__':    
    print checkUrl('http://www.stackoverflow.com')

Answer 1

您可以使用python的^{}模块来解析csv文件。在

使用示例列名和checkUrl函数的简单示例：

import csv
with open('/path/to/your/csv/file') as fobj:
    reader = csv.DictReader(fobj)
    for row in reader:
        valid = checkUrl(row['url_to_check'])
        print('%s is %svalid' % (row['url_to_check'], '' if valid else 'in'))