Spark 1.3.1 Python ForeachRDD

2024-04-29 10:15:46 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在用python编写一个从kafka数据流获取RDD的脚本。然后我想把RDD分解并执行一个配置单元查询。 为此,我使用以下代码

recommendationdataset = parsedStream.map(lambda (v): (v.get("CustomerId"))).foreachRDD(generateRecommendation)

然后从GenerateRecommension中调用配置单元查询。 是否可以在这个命令中执行配置单元查询而不必调用foreachrdd,然后调用函数?我知道火花和Python。在

^{pr2}$

Tags: kafkalambda代码脚本mapget数据流单元