给定一个大的url列表，有什么方法可以检查哪些是活动的/非活动的？

Question

假设我给出了这个URL列表：

website.com/thispage

website.com/thatpage

website.com/thispageagain

website.com/thatpageagain

website.com/morepages

。。。可能超过了1k的网址。在

什么是最好/最简单的方法来循环查看这个列表并检查页面是否打开？在

Answer 1

下面是Python中的一个示例

import httplib2

h = httplib2.Http()
listUrls = ['http://www.google.com','http://www.xkcd.com','http://somebadurl.com']
count = 0

for each in listUrls:
    try:
        response, content = h.request(listUrls[count])
        if response.status==200:
            print "UP"
    except httplib2.ServerNotFoundError:
        print "DOWN"
    count = count + 1

Answer 2

这里有一个SO答案，展示了如何在Python中执行HEAD请求：

How do you send a HEAD HTTP request in Python 2?

Answer 3

对每个人执行一个HEAD请求。在

使用此库：http://docs.python-requests.org/en/latest/user/quickstart/#make-a-request

requests.head('http://httpbin.org/get').status_code