有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java Hadoop工作等待被杀

我有多个Hadoop工作在做不同的处理。当其中一些异常(自定义业务异常)被传播到map()方法时,作业会立即终止

但是,有些作业在mapper类中的setup()方法中引发异常。当这种情况发生时,作业将挂起40分钟(我的Hadoop计时器必须设置为该值),使用任务重新运行策略,我必须等待4*40=160分钟。在本例中,一个业务类抛出了IllegalArgumentException

我该如何处理这段漫长的“工作挂在云端”的时间,但保持我的计时器不变


共 (0) 个答案