我正在尝试优化一个Python测试,该测试涉及使用SSH和一个简单的Bash命令将大约100k个文件写入一个挂载目录。你知道吗
我在这方面相当缺乏经验,所以我需要一些关于如何尽量减少IO时间的建议。你知道吗
基本上,Python脚本在远程服务器上挂载一个目录(我们称之为%MOUNTED_DIRECTORY%
),然后用SSH连接到远程主机,并在该主机上调用以下bash命令:
for number in `seq 1 100000`; do touch %MOUNTED_DIRECTORY%/test_file$number; done
我发现在这个过程中花费了很多时间,等待文件的创建完成。我需要在继续之前创建文件,所以在此期间我不能做任何事情-我必须加快进程。你知道吗
另外,当目录被挂载时,它需要比没有挂载时花费更多的时间来完成,所以这就是我首先遇到这个问题的原因。你知道吗
我考虑过多线程或多处理,但它们似乎效率不高,要么是因为我做错了什么,要么是因为命令实际上在远程主机上,并且是用Bash而不是Python创建文件?你知道吗
使用xargs:
这将向每个触摸命令传递尽可能多的名称。你知道吗
相关问题 更多 >
编程相关推荐