将数据流化到命令中子流程.Popen

Question

我经常需要对包含标题的文件集合进行排序。因为排序依赖于标题的内容，这个用例比类似的问题（例如，Is there a way to ignore header lines in a UNIX sort?）更复杂。在

我希望使用Python来读取文件，输出第一个文件的头，然后将尾部导入sort。我试过这个作为概念的证明：

#!/usr/bin/env python

import io
import subprocess
import sys

header_printed = False

sorter = subprocess.Popen(['sort'], stdin=subprocess.PIPE)

for f in sys.argv[1:]:
    fd = io.open(f,'r')
    line = fd.readline()
    if not header_printed:
        print(line)
        header_printed = True
    sorter.communicate(line)

当调用为header-sort fileA fileB时，其中fileA和fileB包含以下行

^{pr2}$

我得到：

# sort file 1
Traceback (most recent call last):
  File "./archive/bin/pipetest", line 17, in <module>
    sorter.communicate(line)
  File "/usr/lib/python2.7/subprocess.py", line 785, in communicate
    self.stdin.write(input)
ValueError: I/O operation on closed file

问题是communication需要一个字符串，而管道在写入后关闭。这意味着内容必须完全读入内存。交流不需要发电机（我试过了）。在

更简单的例子是：

>>> import subprocess
>>> p = subprocess.Popen(['tr', 'a-z', 'A-Z'], stdin=subprocess.PIPE)
>>> p.communicate('hello')
HELLO(None, None)
>>> p.communicate('world')
Traceback (most recent call last):
  File "<ipython-input-14-d6873fd0f66a>", line 1, in <module>
    p.communicate('world')
  File "/usr/lib/python2.7/subprocess.py", line 785, in communicate
    self.stdin.write(input)
ValueError: I/O operation on closed file

所以，问题是，用Python将数据流化到管道中的正确方法是什么（使用Popen或其他方法）？在

Answer 1

您可以使用stdin和stdout的写入/读取，但是根据您的子流程，您需要子流程的“刷新机制”来处理您的输入。下面的代码适用于第一部分，但由于它关闭了stdin，因此也会终止子进程。如果使用flush()更改它，或者可以添加一些尾随字符来推送子进程，则可以使用它。否则，我建议您看看Multithreading in Python，尤其是{}。在

p=subprocess.Popen(['tr','a-z','A-Z'],stdin=subprocess.PIPE,stdout=subprocess.PIPE)
p.stdin.write("hello\n")
p.stdin.close()
p.stdout.readline()
'HELLO\n'