spark是否有能力并行处理常规python函数

Question

我可以使用spark并行执行常规python工作吗？例如：

def my_f(mylist1, mylist2):
 #sophisticated stuff
 return map(lambda x: x + 1, mylist1)


mylist3 = my_f(xrange(10), xrange(5))
#pass my list to a spark rdd for further processing

我问这个问题的原因是因为在我的管道中，我需要在2个数组上使用sklearn模型，并且我想在spark中进一步处理这些输出