嗨,所以我用requests futures库编写了一个多线程请求和响应处理程序。
然而,它看起来很慢,不像我想象的那样是异步的。输出很慢,而且顺序很好,如果线程正确,就不会像我预期的那样交错。
我的问题是为什么我的代码很慢,我能做些什么来加速它?举个例子就好了。
代码如下:
#!/usr/bin/python
import requests
import time
from concurrent.futures import ThreadPoolExecutor
from requests_futures.sessions import FuturesSession
session = FuturesSession(executor=ThreadPoolExecutor(max_workers=12))
def responseCallback( sess, resp ):
response = resp.text
if not "things are invalid" in response in response:
resp.data = "SUCCESS %s" % resp.headers['content-length']
else:
resp.data = "FAIL %s" % resp.headers['content-length']
proxies = {
"http":"http://localhost:8080",
"https":"https://localhost:8080"
}
url = 'https://www.examplehere.com/blah/etc/'
headers= {
'Host':'www.examplehere.com',
'Connection':'close',
'Cache-Control':'max-age=0',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Origin':'https://www.examplehere.com',
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/533.32 (KHTML, like Gecko) Ubuntu Chromium/34.0.1847.123 Chrome/34.0.1847.123 Safari/337.12',
'Content-Type':'application/x-www-form-urlencoded',
'Referer':'https://www.exampleblah.etc/',
'Accept-Encoding':'gzip,deflate,sdch',
'Accept-Language':'en-US,en;q=0.8,de;q=0.6',
'Cookie':'blah=123; etc=456;',
}
for n in range( 0, 9999 ):
#wibble = n.zfill( 4 )
wibble = "%04d" % n
payload = {
'name':'test',
'genNum':wibble,
'Button1':'Push+Now'
}
#print payload
#r = requests.post( url, data=payload, headers=headers, proxies=proxies, verify=False )
future = session.post( url, data=payload, headers=headers, verify=False, background_callback=responseCallback )
response = future.result()
print( "%s : %s" % ( wibble, response.data ) )
理想情况下,我想修复我的实际代码仍然使用我已经使用过的库,但如果因为某些原因不好,我愿意接受建议。。。
编辑:我目前正在使用带有concurrent.futures backport的python2。
编辑:慢-大约每秒一个请求,不是并发的,而是一个接一个的,所以请求1,响应1,请求2,响应2-我希望它们在请求发出和进入多个线程时交错?
下面的代码是提交多个请求的另一种方式,一次处理多个请求,然后打印出结果。结果在准备就绪时打印,不一定按照提交时的顺序打印。
它还使用大量日志记录来帮助调试问题。它捕获用于日志记录的有效负载。多线程代码很难,所以日志越多越好!
来源
输出
相关问题 更多 >
编程相关推荐