如何从python clien向kafka发送JSON对象

2024-03-28 17:47:37 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个简单的JSON对象,如下所示

d = { 'tag ': 'blah',
  'name' : 'sam',
  'score': 
    {'row1': 100,
      'row2': 200
     }
}

下面是我的python代码,它向Kafka发送消息

from kafka import SimpleProducer, KafkaClient
import json 

# To send messages synchronously
kafka = KafkaClient('10.20.30.12:9092')
producer = SimpleProducer(kafka)
jd = json.dumps(d)
producer.send_messages(b'message1',jd)

我在风暴日志中看到消息正在被接收,但它正在抛出 元组{json structure in here}的转换为空 不知道需要做什么才能解决这个问题?。。


Tags: producerkafka对象nameimportsendjson消息
2条回答

卡夫卡期望值以字节为单位

b`some json message`

这是我简单的卡夫卡制作人,它将消息发送到卡夫卡服务器。

import json
from bson import json_util

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers='localhost:9092')

for i in range(10):
    data = { 'tag ': 'blah',
        'name' : 'sam',
        'index' : i,
        'score': 
            {'row1': 100,
             'row2': 200
        }
    }   
    producer.send('orders', json.dumps(d, default=json_util.default).encode('utf-8'))

这里json.dumps()将json转换为字符串,encode('utf-8')将字符串转换为字节数组。

下面是我给卡夫卡的制作人的代码。我唯一不同的做法是使用yaml.safe_load加载json内容。它将内容作为字符串而不是unicode返回。以下是片段

with open('smaller_test_prod.txt') as f:
    for line in f:
        d = yaml.safe_load(line)
        jd = json.dumps(d)
        producer.send_messages(b'zeus_metrics',jd)

在这里,每一行都是存储在文件中的json数据。

相关问题 更多 >