尝试在RDD中初始化类时,我正在运行一些属性查找问题。
我的工作流程:
1-从RDD开始
2-获取RDD的每个元素,为每个元素初始化一个对象
3-Reduce(我将编写一个方法,稍后定义Reduce操作)
这里是2:
>class test(object):
def __init__(self, a,b):
self.total = a + b
>a = sc.parallelize([(True,False),(False,False)])
>a.map(lambda (x,y): test(x,y))
下面是我得到的错误:
PicklingError: Can't pickle < class 'main.test' >: attribute lookup main.test failed
我想知道有没有办法。请用一个工作示例来回答,以达到预期的结果(即创建类“tests”对象的RDD)。
相关问题:
目前没有回答
相关问题 更多 >
编程相关推荐