Python如何停止线程不刮擦

2024-04-26 22:30:31 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个使用多线程的爬虫程序,它在抓取af网站时工作,但我的问题是。你知道吗

如果我告诉爬虫获取网站的前100页,它会这样做,但不会停止线程。你知道吗

我已经设置了一个线程安全变量,我一直在检查它,但是我可以看到它看起来像爬虫忽略了线程安全变量的值。你知道吗

所以它不会停止所有线程的运行,就像它们在寻找更多的页面一样。你知道吗

如何停止所有线程并结束脚本?你知道吗


Tags: 程序脚本网站页面线程爬虫af像爬虫