提高装载目录的IO性能?

2024-03-29 08:55:13 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试优化一个Python测试,该测试涉及使用SSH和一个简单的Bash命令将大约100k个文件写入一个挂载目录。你知道吗

我在这方面相当缺乏经验,所以我需要一些关于如何尽量减少IO时间的建议。你知道吗

基本上,Python脚本在远程服务器上挂载一个目录(我们称之为%MOUNTED_DIRECTORY%),然后用SSH连接到远程主机,并在该主机上调用以下bash命令:

for number in `seq 1 100000`; do touch %MOUNTED_DIRECTORY%/test_file$number; done

我发现在这个过程中花费了很多时间,等待文件的创建完成。我需要在继续之前创建文件,所以在此期间我不能做任何事情-我必须加快进程。你知道吗

另外,当目录被挂载时,它需要比没有挂载时花费更多的时间来完成,所以这就是我首先遇到这个问题的原因。你知道吗

我考虑过多线程或多处理,但它们似乎效率不高,要么是因为我做错了什么,要么是因为命令实际上在远程主机上,并且是用Bash而不是Python创建文件?你知道吗


Tags: 文件io命令服务器目录脚本bashnumber
1条回答
网友
1楼 · 发布于 2024-03-29 08:55:13

使用xargs:

seq 1 100000 | sed 's|^|%MOUNTED_DIRECTORY%/test_file|' | xargs touch

这将向每个触摸命令传递尽可能多的名称。你知道吗

相关问题 更多 >