使用wg避免负载限制

Question

我需要从网上下载几个网页。我使用wget（URL）下载它们，但我发现在下载一定量（少于100秒）后，它不会下载并给出错误。你知道吗

谁能告诉我什么是最好的方式下载许多网页的网址，我在一个文件。你知道吗

Query1='"http://scholar.google.com/scholar?q=%22'+a+'%22&btnG=&hl=en&as_sdt=0%2C24"'
        URL1='wget --user-agent Chrome '+Query1+' -O '+file1
        os.system(URL1)

这是我正在使用的代码

谢谢