在lxml中处理分页

Question

我正在尝试把我写的一个Ruby爬虫程序转换成只用Python的环境。我决定使用lxml和requests这两个库来完成这个任务。我的问题是关于分页的：

base_url = "http://example.com/something/?page=%s"  
for url in [base_url % i for i in xrange(10)]:  
    r = requests.get(url)

我对Python和这个库还不太熟悉，所以不太确定怎么才能实现和Ruby代码一样的功能：

last_pg = (page.xpath("//div[contains(@class, 'b-tabs-utility')]").text.split('of ')[-1].split(' Results')[0].to_f / 60).ceil
puts "Current Index: #{last_pg}"
for pg_number in 1..last_pg do
  puts "Getting links on page #{pg_number}"

Answer 1

通过把 b-tabs-utility 这个 div 中的内容按空格分开，然后获取倒数第二个元素来获取结果的数量：

base_url = "http://example.com/something/?page=%d" 
results_per_page = 60

div = page.xpath("//div[contains(@class, 'b-tabs-utility')]")[0].text
last_pg = int(div.split()[-2]) / results_per_page
for i in xrange(last_pg):
    r = requests.get(base_url % i)

我在这里假设这个 div 里的文本格式是这样的，比如说：... 共 642 条结果