Python中的并行处理问题

Question

我有一个python脚本A.py，它接受带有一些list of IPs的目标文件的参数，并输出一个CSV文件，其中包含从某些源中找到的关于ip的信息。( Run Method : python A.py Input.txt -c Output.csv )。你知道吗

这项工作花了很长时间才完成。稍后，我拆分输入文件( split -l 1000 Input.txt)->；创建的目录（10 directories）->；执行脚本，将输入以screen模式拆分为10个并行目录

如何有效地做这类工作？有什么建议吗？你知道吗

Answer 1

试试这个：

parallel  round  pipepart -a Input.txt  cat python A.py {} -c {#}.csv

如果A.py可以从fifo读取数据，那么这将更有效：

parallel  round  pipepart -a Input.txt  fifo python A.py {} -c {#}.csv

如果磁盘的寻道时间较长，则使用 pipe而不是 pipepart可能会更快。你知道吗