Torque PBS运行几个串行Python进程

Question

从一开始我就不想做并行计算了。在

问题是我有一个巨大的文件列表（大约7000个csv文件），我想处理并从数据中获取一个文件。对于这个任务，我想使用校园集群，它与Torque PBS一起工作。在

到目前为止，我最想找到的是什么。主要的区别是我应该使用扭矩（真的吗？）。在

所以，简而言之，我的问题是：如何使用Torque PBS实现所引用问题的解决方案？在

Answer 1

好吧，我是通过以下方式做到的：

假设有一个名为process.py的python串行进程，它一次处理100个csv文件。在

然后我们需要一个文件call_pyprocess.pbs，它使用以下语法调用process.py：

#!/bin/bash
#PBS -l nodes=1:ppn=1
#PBS -o out.varx
#PBS -e error.varx

source activate p2.7    """ if need to specify python environment  """

python /path/to/file/process.py varx   """ varx is the iteration number """

{{{cd5>需要一个

然后从bash使用以下命令发送作业：

^{pr2}$