Spark返回Pickle错误:无法查找属性

2024-04-26 19:10:47 发布

您现在位置:Python中文网/ 问答频道 /正文

尝试在RDD中初始化类时,我正在运行一些属性查找问题。

我的工作流程:

1-从RDD开始

2-获取RDD的每个元素,为每个元素初始化一个对象

3-Reduce(我将编写一个方法,稍后定义Reduce操作)

这里是2:

>class test(object):
def __init__(self, a,b):
    self.total = a + b

>a = sc.parallelize([(True,False),(False,False)])
>a.map(lambda (x,y): test(x,y))

下面是我得到的错误:

PicklingError: Can't pickle < class 'main.test' >: attribute lookup main.test failed

我想知道有没有办法。请用一个工作示例来回答,以达到预期的结果(即创建类“tests”对象的RDD)。

相关问题:


Tags: 对象方法testselffalse元素mapreduce