大家好!
我目前正在使用python2.7开发一个Scrapy Webcrawler,虽然我知道C和Web语言,但我对Python和Scrapy库有点迷茫。在
我想做的是抓取一个返回JSON数据的URL,并根据预定义的参数表更改URL中的参数。在
URL如下所示:
http://www.helloworld.com/data?From=xxx&To=yyy&number=42.
这里,我想替换存储在不同文件中的一组数据中的所有xxx,yyy,42,并使用每个参数循环爬虫程序。在
我知道我可以:
def __init__(self, fromdat='xxx', todat='yyy'):
self.start_urls = ["http://helloworld.com/data?From=%s&To=%s/" % (fromdat, todat)]
然后在命令行中使用-a命令指定参数,但这将涉及到人工干预,这是我不希望看到的。在
我也试过:
^{pr2}$但这似乎也起不了什么作用。。。在
我有点迷路了,欢迎任何帮助!:)
提前谢谢你,祝你今天愉快!在
^{} 不接受任何其他参数,请执行以下操作:
注意
parse()
是如何缩进的。在相关问题 更多 >
编程相关推荐