擅长:python、mysql、java
<p>服务器使用<em>会话cookie</em>来“记住”您的搜索。您的代码会丢弃服务器返回的所有cookie,因此每次发出新请求时都会重置内存。在</p>
<p>使用<a href="http://docs.python-requests.org/en/master/user/advanced/#session-objects" rel="nofollow noreferrer"><em>session object</em></a>记录传入的Cookie,并将其与后续请求一起再次发送:</p>
<pre><code>with requests.Session() as sess:
sess.headers['User-Agent'] = 'Mozilla/5.0'
r = sess.get("replace_with_above_url", params=payload)
# ...
res = sess.post(r.url, data=payload)
</code></pre>
<p>然后,您可以提交<code>GET</code>对<code>/index?s=opportunity&mode=list&tab=list&pageID=</code>url的<code>/index?s=opportunity&mode=list&tab=list&pageID=</code>请求,直到遇到一个空的结果集:</p>
^{pr2}$