从外部接收带有socketTextStream的TCP流

2024-04-19 05:29:57 发布

您现在位置:Python中文网/ 问答频道 /正文

是否可以使用socketTextStream从运行在本地SparkContext中的Spark流应用程序接收来自外部TCP服务器的数据?例如

sc = pyspark.SparkContext("local[2]", "app")
ssc = StreamingContext(sc, 0.5)
socketDstream = ssc.socketTextStream("XXX.XXXXXX.com", 30000)

使用标准插座工作正常

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(("XXX.XXXXXX.com", 30000))
data = recvall(s)

但它在Spark里不起作用。你知道吗

我会很感激你的帮助。非常感谢。你知道吗


Tags: 数据服务器com应用程序localsocketsparkpyspark