2024-03-28 10:20:41 发布
网友
Im使用pythonspark工作流执行多个任务。从数据库获取一些数据,然后将其加载回数据库。在
这些任务都是独立的,但这些任务都是独立的。在
如何在多个执行器之间传递db连接? 我需要在每个任务中建立单独的连接,还是可以分发连接?在
您不应该在多个执行器之间传递db连接,因为它们将运行在可能位于不同机器上的不同worker上。在
似乎有些人设法在Scala/JavaSpark-streaming-and-connection-pool-implementation中为每个jvm初始化一个连接
您不应该在多个执行器之间传递db连接,因为它们将运行在可能位于不同机器上的不同worker上。在
似乎有些人设法在Scala/JavaSpark-streaming-and-connection-pool-implementation中为每个jvm初始化一个连接
相关问题 更多 >
编程相关推荐