Spark RDD：在范围（）obj处使用collect（）

Question

我想把数字0到99转换成RDD

rd1 = range(1, 100)
test = sc.parallelize(rd1)

当我使用collect（）函数时

print(test.collect())

…我收到以下错误消息：

PicklingError: Could not pickle object as excessively deep recursion required.

根据纪录片，这应该是可行的。你能告诉我我做错了什么吗

多谢各位

Answer 1

如果其他人也有同样的问题。我可以通过只选择要执行的行来解决它

我认为其他并行运行的脚本导致了错误