GET Exception Error“线程13中出现异常（很可能在解释器关闭期间引发）”

Question

我编写了一个简单的脚本，使用线程从服务中检索数据。在

    __author__ = 'Igor'
import requests
import time
from multiprocessing.dummy import Pool as ThreadPool

ip_list = []
good_ip_list = []
bad_ip_list = []
progress = 0

with open('/tmp/ip.txt') as f:
    ip_list = f.read().split()

def process_request(ip):
    global progress
    progress += 1
    if progress % 10000 == 0:
        print 'Processed ip:', progress, '...'
    r = requests.get('http://*****/?ip='+ip, timeout=None)
    if r.status_code == 200:
        good_ip_list.append(ip)
    elif r.status_code == 400:
        bad_ip_list.append(ip)
    else:
        print 'Unknown http code received, aborting'
        exit(1)

pool = ThreadPool(16)
try:
    pool.map(process_request, ip_list)
except:
    for name, ip_list in (('/tmp/out_good.txt', good_ip_list),     ('/tmp/out_bad.txt', bad_ip_list)):
        with open(name, 'w') as f:
            for ip in ip_list:
                print>>f, ip

但在处理了一些请求（40-50万）后，我收到：

线程7中出现异常（很可能在解释器关闭期间引发）： 回溯（最近一次呼叫）： 进程结束，退出代码为0

尝试更改服务设置：

^{pr2}$

但还是同样的错误。谁能帮我-怎么了？在

Answer 1

这个：

good_ip_list = []
bad_ip_list = []

与Python多处理混合使用是不安全的。正确的方法是从对process_request的每次调用中返回一个元组（或其他东西），然后在最后将它们连接起来。从多个进程同时修改progress也是不安全的。我不确定您的错误是什么，但我敢打赌，是某些同步问题导致了Python的整体死亡。在

请删除共享状态，然后重试。在