我正在通过stdin
(reducer中的hadoop流)读取输入。在
我需要知道最后一张唱片什么时候进来。我正在对stdin
数据运行for循环。在
我试图先读取stdin
以计算总记录数,然后再次读取以继续进行业务处理,但是当我从stdin
读取一条记录时
要计算total_cnt
,那么记录将从流中传出,稍后当我试图读取stdin
进行处理时,stdin
中没有记录。在
total_cnt = 0
for line in stdin:
total cnt += 1
for line in stdin:
##Some Processing##
我不想将stdin
存储到某个地方并从该位置读取两次数据(1。总记录计数和2。数据处理)。在
有什么方法可以检测到最后一条记录是何时从stdin
进来的吗?在
我使用的是Python2.7.11版,需要在Hadoop reducer中实现这一点。在
每次接收新的行时处理上一行。当循环退出时,
line
将有最后一行未处理的内容。示例:
它给出了:
^{pr2}$相关问题 更多 >
编程相关推荐