擅长:python、mysql、java
<p>在网上搜索后,我认为你的问题可以通过线程解决。它很简单,只需为旧的_prod和最新的_prod工作创建两个线程。在</p>
<p>检查<a href="https://stackoverflow.com/questions/30214474/how-to-run-multiple-jobs-in-one-sparkcontext-from-separate-threads-in-pyspark">this post</a>以获得简化的示例。由于Spark是线程安全的,所以您可以在不牺牲任何东西的情况下获得并行效率。在</p>