利用cod中的机械化误差进行网页刮取

Question

import mechanize
br=mechanize.Browser()
r=br.open("http://www.drugs.com/search-wildcard-phonetic.html")
br.select_form(nr=0)
br.form['searchterm']='panadol'
br.submit()
print br.response().read()

---

^{pr2}$

请帮助更正上述代码

Answer 1

你的代码看起来没什么问题。您的错误消息

mechanize._response.httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txt

看起来您违反了robots.txt文件。如果你不想看到这个错误信息，停止滥用这个网站，也许可以联系他们，以一种可以接受的方式使用他们的数据。在