是否可以在docker下运行spark udf函数（主要是python）？

Question

我正在pyspark上使用emr。为了简化python库和依赖项的设置，我们使用了docker图像。你知道吗

这对于一般的python应用程序（非spark）和spark驱动程序（从docker映像中调用spark submit）都很好

但是，我找不到一个方法使worker在docker映像中运行（要么是“full”worker，要么只是UDF函数）

编辑 找到了一个解决方案与测试版电子病历，如果有一些替代与当前（5.*）电子病历版本它仍然是相关的

Answer 1

3.2支持这个特性：https://hadoop.apache.org/docs/r3.2.0/hadoop-yarn/hadoop-yarn-site/DockerContainers.html

它预计将与emr6（现在是beta版）一起提供https://aws.amazon.com/blogs/big-data/run-spark-applications-with-docker-using-amazon-emr-6-0-0-beta/