我用Python创建了一个程序,使用“proxybroker”库下载公共代理。根据我的需要,我可以下载几百个匿名代理每个。你知道吗
我想用它们来监控短语在谷歌搜索引擎中的位置。通常几百个代理中就有一个可以工作。你知道吗
如何检查代理下载阶段的代理工作与谷歌?你知道吗
import asyncio
from proxybroker import Broker
import time
async def save(proxies, filename):
"""Save proxies to a file."""
with open(filename, 'w') as f:
while True:
proxy = await proxies.get()
if proxy is None:
break
proto = 'https' if 'HTTPS' in proxy.types else 'http'
row = '%s://%s:%d\n' % (proto, proxy.host, proxy.port)
f.write(row)
def main():
proxies = asyncio.Queue()
broker = Broker(proxies)
tasks = asyncio.gather(broker.find(types=[('HTTP', ('Anonymous', 'High')), ('HTTPS', ('Anonymous', 'High'))], limit=100),
save(proxies, filename=r'C:\Users\PX\Desktop\Proxy\proxies.txt'))
loop = asyncio.get_event_loop()
loop.run_until_complete(tasks)
while True:
if __name__ == '__main__':
main()
time.sleep(120)
目前没有回答
相关问题 更多 >
编程相关推荐