如何映射每一行以获得多行输出rdd

Question

给定输入rdd或窗体

1: 6 7
2: 5

我怎样才能得到另一个rdd表格

^{pr2}$

等等。。在

Answer 1

我不太清楚RDD是如何工作的，但是你说它可以变成dict。比如说，你有下面这句话：

d = {1: [6, 7], 2: [5]}

假设您要将这些信息写入文件：

^{pr2}$

这可以通过以下方式实现：

^{3}$

Answer 2

如果我假设您的初始输入是在文本文件中，那么您可以调用两个映射函数，如下所示：

data = sc.textFile("textfile_location")
data = data.map(lambda line: (line.split(":")[0], line.split(":")[1].split()))
data = data.flatMap(lambda key, values: [(key, value) for value in values])