我有一个程序,它可以连续迭代mapper和reducern
次。但是,对于每次迭代,每个键值对的映射器都会计算一个依赖于n
的值。在
from mrjob.job import mrjob
class MRWord(mrjob):
def mapper_init_def(self):
self.count = {}
def mapper_count(self, key, value):
self.count[key] = 0
print self.count[key]
# print correctly
yield key, value
def mapper_iterate(self, key, value):
yield key, value
print self.count[key]
#error
def reducer_iterate(self, key, value):
yield key, value
def steps(self):
return [
self.mr(mapper_init=self.mapper_init_def, mapper=self.mapper_count),
self.mr(mapper=self.mapper_iterate, reducer=self.reducer_iterate)
]
if __name__ == '__main__':
MRWord.run()
我定义了一个两步映射器reducer,这样第一步定义了一个类变量self.count
。程序产生一个错误,AttributeError: 'MRWord' object has no attribute 'count'
。似乎每个步骤都定义了一个独立的mrjob类对象,并且该变量不能共享。有没有别的方法可以做到这一点?在
你为什么不在课堂上定义你的计数呢?在
放下
^{pr2}$相关问题 更多 >
编程相关推荐