我有500个链接下载,并想批处理它们,例如10个项目。在
这个伪代码是什么样子的?在
class BatchJobTask(luigi.Task)
items = luigi.Parameter()
def run(self):
listURLs = []
with ('urls_chunk', 'r') as urls
for line in urls:
listURLs.append('http://ggg'+line+'.org')
10_urls = listURLs[0:items] #10 items here
for i in 10_urls:
req = request.get(url)
req.contents
def output(self):
return self.LocalTarger("downloaded_filelist.txt")
class BatchWorker(luigi.Task)
def run(self)
# Here I should run BatchJobTask from 0 to 10, next 11 - 21 new etc...
会怎么样?在
这里有一种方法可以像您想要的那样做,但是字符串列表作为单独的行存储在一个文件中。在
我做到了。在
这个代码很糟糕吗?在
相关问题 更多 >
编程相关推荐