Hadoop Streaming损坏Python生成的Avro

Question

我有一个很简单的脚本，它可以把Twitter的数据（以JSON格式）转换成Avro文件。

from avro import schema, datafile, io
import json, sys
from types import *

def main():
    if len(sys.argv) < 2:
        print "Usage: cat input.json | python2.7 JSONtoAvro.py output"
        return

    s = schema.parse(open("tweet.avsc").read())
    f = open(sys.argv[1], 'wb')

    writer = datafile.DataFileWriter(f, io.DatumWriter(), s, codec = 'deflate')

    failed = 0

    for line in sys.stdin:
        line = line.strip()

    try:
        data = json.loads(line)
    except ValueError as detail:
        continue

    try:
        writer.append(data)
    except io.AvroTypeException as detail:
        print line
        failed += 1

writer.close()

print str(failed) + " failed in schema"

if __name__ == '__main__':
    main()

接着，我用这个Avro文件来运行一个基本的Hadoop Streaming脚本（也是用Python写的），这个脚本主要是提取推文中的某些元素。不过，当我这样做的时候，发现输入的内容变成了搞不清楚的JSON。通常情况下，JSON会因为推文内容或者用户描述中间出现一些奇怪的\u字符而出错。

这是我用来启动Hadoop Streaming的bash脚本：

jars=/usr/lib/hadoop/lib/avro-1.7.1.cloudera.2.jar,/usr/lib/hive/lib/avro-mapred-1.7.1.cloudera.2.jar

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
    -files $jars,$HOME/sandbox/hadoop/streaming/map/tweetMapper.py,$HOME/sandbox/hadoop/streaming/data/keywords.txt,$HOME/sandbox/hadoop/streaming/data/follow-r3.txt \
     -libjars $jars \
     -input /user/ahanna/avrotest/avrotest.json.avro \
     -output output \
     -mapper "tweetMapper.py -a" \
     -reducer org.apache.hadoop.mapred.lib.IdentityReducer \
     -inputformat org.apache.avro.mapred.AvroAsTextInputFormat \
     -numReduceTasks 1

我现在快抓狂了，想解决这个问题。任何建议都会非常感激。

Answer 1

不确定你是否还在找答案。这里的 \u 看起来像是一个unicode字符。你可以试试下面的代码：

   resp = json.dumps(line) 
   data = json.loads(resp)

如果是这个unicode表示法导致了错误，使用 dumps 就能解决这个问题。