从主sh脚本调用5个sh脚本

Question

我想就如何在HPC上正确设置一个复杂的工作提供一些帮助。因此，在python代码中的某个时刻，我想通过使用os.system（“bsub-K<；mama.sh”）提交作业，我发现-K参数实际上会等待作业结束后再继续。所以现在我想从mama.sh脚本调用其他5个并行运行的作业（kid1.sh、kid2.sh…kid5.sh）（以减少计算时间）。这5个子脚本中的每一个都将运行一段python代码。mama.sh应该等到其他5个作业都完成后再继续

我想到了这样的事情：

#!/bin/sh
#BSUB -q hpc
#BSUB -J kids[1-5]
#BSUB -n 5
#BSUB -W 10:00
#BSUB -R "rusage[mem=6GB]"
#BSUB -R "span[hosts=1]"
# -- end of LSF options --

module load python3/3.8
python3 script%Ι.py
  ORRR
python3 script1.py
python3 script2.py
python3 script3.py
python3 script4.py
python3 script5.py

也许以上这些根本没有意义。有没有办法做到这一点

提前谢谢

Answer 1

正如我所知，你可以在不同的层次上完成目标

通过两种简单的方法：

1. 通过导入multiprocessing并行python代码
2. 通过&并行shell脚本，命令可以在后台执行

    python3 script1.py &
    python3 script2.py