在“按块”打开的文件上并行写入

2024-04-26 20:20:12 发布

您现在位置:Python中文网/ 问答频道 /正文

我知道,如果两个并发进程要写入同一个文件,第一个进程会锁定该文件进行写入,因此第二个进程必须等到锁被释放

现在,我有N个文件名为block\u I,I=1..N,每个文件的大小为1GB。我需要创建一个大文件块\u all,大小为ngb,由每个块\u I文件组成。 因为每个块必须用字节精确地写

((i-1) * 2**30) --- ((i * 2**30) - 1)

对于block\u all文件,有没有一种方法可以真正并行地写入所有N个文件,因为永远不会有重叠?也就是说,有没有一种方法可以锁定一个文件以便按块写入

注意:我使用的是unix操作系统,我使用的是python

谢谢


Tags: 文件方法字节进程文件名unixallblock