如何在python循环上使用scrapy节点

2024-04-25 21:33:40 发布

您现在位置:Python中文网/ 问答频道 /正文

嗨,我第一次尝试xml提要,下面是我的代码

class TestxmlItemSpider(XMLFeedSpider):
    name = "TestxmlItem"
    allowed_domains = {"http://www.nasinteractive.com"}


    start_urls = [
        "http://www.nasinteractive.com/jobexport/advance/hcantexasexport.xml"
    ]
    iterator = 'iternodes'
    itertag = 'job'


    def parse_node(self, response, node):
        title = node.select('title/text()').extract()
        job_code = node.select('job-code/text()').extract()
        detail_url = node.select('detail-url/text()').extract()
        category = node.select('job-category/text()').extract()

        print title,";;;;;;;;;;;;;;;;;;;;;"
        print job_code,";;;;;;;;;;;;;;;;;;;;;"

        item = TestxmlItem()
        item['title'] = node.select('title/text()').extract()
        .......  
        return item

结果

^{pr2}$

总共有200多个项目,所以我需要循环并将节点文本分配给item 但在这里,当我们打印时,所有的结果都会同时显示出来,实际上,我们如何使用xmlfeedspider在抓取xml文件的节点上循环呢


Tags: textcomnodehttptitlewwwjobcode