使用readline()时Java和Python进程会冻结，而使用input()时不会

Question

我有一个Java程序，需要处理一长串输入字符串。为了做到这一点，它会逐个处理每个字符串，把它传给一个Process（一个Python脚本），然后从Process的OutputStream获取结果，再继续下一个字符串。不过我发现，程序运行几个小时后就会卡住，Java程序在等Python的输出。

为了调试，我做了一个简化版的程序，使用小字符串，不在Java端进行任何缓存，也不修改Python脚本中的数据。但现在我发现它在不同的地方卡住了，Java试图把数据发送给Python脚本，而Python脚本又试图把结果发送回Java。我发现每次运行程序时，它能处理的项目数量略有不同，而且字符串越长，能处理的项目数量就越少。

Java程序：

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import static java.nio.charset.StandardCharsets.UTF_8;
import static java.util.concurrent.TimeUnit.SECONDS;

public class Main {
    public static void main(String[] args) throws IOException, InterruptedException {
        Process process = start("python", "test.py");
        for (int i = 0; i < 1000; i++)  {
            System.out.println(i);
            processText("test string test string test string test string ", process);
        }
        process.getOutputStream().close();
        boolean finished = process.waitFor(10, SECONDS);
        if (!finished) {
            process.destroyForcibly();
        }
    }
    
    public static Process start(String... command) throws IOException {
        ProcessBuilder processBuilder = new ProcessBuilder(command);
        processBuilder.redirectError(ProcessBuilder.Redirect.INHERIT);
        return processBuilder.start();
    }
    
    public static String processText(String text, Process process) throws IOException {
        byte[] bytes = (text + "\n").getBytes(UTF_8);
        OutputStream outputStream = process.getOutputStream();
        System.out.println("Writing...");
        outputStream.write(bytes);
        System.out.println("Done!");
        outputStream.flush();
        System.out.println("Reading...");
        String result = readLn(process);
        System.out.println("Got it!");
        return result;
    }
    
    public static String readLn(Process process) throws IOException {
        InputStream inputStream = process.getInputStream();
        ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
        byte newlineByte = "\n".getBytes(UTF_8)[0];
        byte lastByte = -1;
        while (lastByte != newlineByte) {
            lastByte = (byte) inputStream.read();
            byteArrayOutputStream.write(lastByte);
        }
        return byteArrayOutputStream.toString(UTF_8);
    }
}

Python脚本：

import sys
import io

in_stream = io.TextIOWrapper(sys.stdin.buffer, encoding='utf-8')
out_stream = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

def output(s):
    out_stream.write(s)

text = in_stream.readline()
while text != "":
    print("Outputting result", file=sys.stderr)
    output(text)
    print("Output done!", file=sys.stderr)
    output("\n")
    print("Flushing", file=sys.stderr)
    out_stream.flush()
    print("Flushed", file=sys.stderr)
    text = in_stream.readline()

Java的输出：

0
Writing...
Done!
Reading...
Got it!
1
Writing...
Done!
Reading...
Got it!
.
.
.
379
Writing...
Done!
Reading...
Got it!
380
Writing...
Done! [Freezes here]

Python的输出（通过stderr）：

Outputting result
Output done!
Flushing
Flushed
.
.
.
Outputting result
Output done!
Flushing
Flushed
Outputting result
Output done!
Flushing [Freezes here]

当我强制停止Java程序时，我从Python的stderr得到了这个额外的输出：

Flushed
Outputting result
Output done!
Flushing
Traceback (most recent call last):
  File "...\test.py", line 17, in <module>
    out_stream.flush()
OSError: [Errno 22] Invalid argument
Exception ignored in: <_io.TextIOWrapper name='<stdout>' mode='w' encoding='cp1252'>
OSError: [Errno 22] Invalid argument

如果我使用print()和input()代替in_stream和out_stream，我就能顺利处理完1000个项目。不过我想确保在Java和Python之间传递数据时使用UTF-8编码，这样可以包含所有Unicode字符，不会丢失任何数据。这就是我使用TextIOWrapper的原因，基于我在网上看到的（我觉得这对处理大量数据是最有效的方式）。不过最后这个错误输出似乎在说它使用的是cp1252而不是UTF-8？我该怎么解决这个问题？

我使用的是Windows 10，Java 17和Python 3.10

编辑：我觉得错误信息是说sys.stdout使用的是cp1252编码；而in_stream和out_stream说它们使用的是utf-8编码，所以我认为编码是没问题的。我现在只需把stdin设置为UTF-8的TextIOWrapper并使用input()（stdin.readline()不行，它会卡住）。但我不知道为什么原来的方法不行，以及为什么这样就解决了问题。如果有人能解释一下，并指出如何避免将来出现这种问题（out_stream也可能导致卡住吗？）我会接受他们的回答。

import sys
import io

sys.stdin = io.TextIOWrapper(sys.stdin.buffer, encoding='utf-8')
out_stream = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

def output(str):
    out_stream.write(str)

def read_text():
    try:
        return input()
    except EOFError:
        return ""

text = read_text()
while text != "":
    print("Outputting result", file=sys.stderr)
    output(text)
    print("Output done!", file=sys.stderr)
    output("\n")
    print("Flushing", file=sys.stderr)
    out_stream.flush()
    print("Flushed", file=sys.stderr)
    text = read_text()

java windows 10 data processing error debugging interprocess communication utf-8 encoding string handling unicode support

使用readline()时Java和Python进程会冻结，而使用input()时不会

1 个回答

撰写回答