列表对象中有多个url

Question

我是Python的大三学生，我有一些关于蜘蛛的问题。 我已经抓到了一些网址，我把我的列表对象，然后我想用这个网址再做刮痧，是不是可能动态改变网址，继续做刮痧。或者有人可以给我一个关于“下流”的想法，谢谢。在

 'def parse(self,response):

    sel=Selector(response)
    sites=sel.xpath('//tr/td/span[@class="artist-lists"]')
    items = []

    for site in sites:
        item=Website()
        title=site.xpath('a/text()').extract()
        link=site.xpath('a/@href').extract()
        desc=site.xpath('text()').extract()

        item['title']=title[0].encode('big5')
        item['link']= link[0]
        self.get_userLink(item['link'])
        item['desc']=desc
    #   items.append(item)
    #return items



def get_userLink(self,link):

    #start_urls=[link]

    self.parse(link)
    sel=Selector(link)
    sites=sel.xpath('//table/tr/td/b')
    print sites
    #for site in sites:
        #print site.xpath('a/@href').extract() + "\n" 
        #print site.xpath('a/text()').extract()+ "\n"`

Answer 1

您可以使用解析url的yield request调用其他函数。在

def parse(self, response):

    hxs = HtmlXPathSelector(response)
    url=  sel.xpath('//..../@href').extract()


    if url:

它检查url是否正确

^{pr2}$