Python mechanize 的 SelectControl 应为空但应有值

Question

我正在尝试自动下载一些来自网页表单的数据。我使用的是Python的mechanize模块。

这个网址是：http://www.hiv.lanl.gov/components/sequence/HIV/search/search.html。我需要填写序列长度、亚型和基因组区域。我已经搞定了序列长度和基因组区域，但在选择亚型时遇到了麻烦。当我加载表单时，看到的是一个空的选择框，而mechanize不让我选择任何东西。

这段代码应该能加载网站：

import mechanize
import cookielib

# Browser
br = mechanize.Browser()

# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

# Browser options
br.set_handle_equiv(True)
br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)

# Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.open('http://www.hiv.lanl.gov/content/sequence/HIV/mainpage.html')
br.follow_link(text = 'Search Interface')

br.select_form(nr = 1)

任何帮助都将非常感激。

-Will

编辑：我尝试使用BeautifulSoup重新解析HTML（根据这个SO问题），但没有成功。

新编辑：下面是mechanize表单的一部分。

<search POST http://www.hiv.lanl.gov/components/sequence/HIV/search/search.comp multipart/form-data
  <TextControl(value SequenceAccessions SA_GenBankAccession 1=)>
  <SelectControl(master=[Any, *HIV-1, HIV-2, SIV, SHIV, syntheticwholeDNA, NULL])>
  <TextControl(value SEQ_SAMple SSAM_common_name 1=)>
  <SelectControl(slave=[])>
  <TextControl(value SequenceEntry SE_sequenceLength 4=)>
  <CheckboxControl(sample_year_exact=[*1])>
  <TextControl(value SEQ_SAMple SSAM_Sample_year 11=)>
  <TextControl(value SEQ_SAMple SSAM_Sample_country 1=)>
  <CheckboxControl(recombinants=[Recombinants])>

出于某种原因，slave控件没有填充可选项。

Answer 1

问题在于，Subtype的<select>选项是通过Javascript来填充的，而mechanize这个工具并不会执行Javascript。也就是说，当页面加载时，Javascript代码会运行，把HIV-1的选项填充到下拉框中：

addLoadEvent(fillList(document.forms['search'].slave, lists['HIV-1']));

不过，病毒和亚型之间的对应关系是存储在这个Javascript文件search.js里的。你可能需要在你的Python脚本中保存这个对应关系，并手动设置下拉框的值。