Python中多级作业的HIVE-flush错误到stderr

2024-04-26 04:45:28 发布

您现在位置:Python中文网/ 问答频道 /正文

我想知道是否可以在消息发生时将消息从配置单元CLI刷新到stderr。目前我正在尝试执行一个多阶段查询(只是一个示例,而不是实际的):

SELECT  COUNT(*) FROM ( 
SELECT user from users
where datetime = 05-10-2013
UNION ALL
SELECT user from users
where datetime = 05-10-2013 
) a

这将启动3个作业,但是如果作业1因被终止而失败,我不想运行作业2。目前我的代码如下所示,但是hive在所有子查询完成并返回错误之前不会写入stderr。在

^{pr2}$

谢谢!在


Tags: from消息示例datetimeclicountstderr作业
1条回答
网友
1楼 · 发布于 2024-04-26 04:45:28

我怀疑查询的各个阶段是并行执行的。如果它们是串行执行的,那么其中一个的失败将导致整个作业失败。在

请尝试在查询中设置hive.exec.parallel=false。在

相关问题 更多 >