splitlines（）和对打开的文件进行迭代会得到不同的结果

Question

我有一些文件有时带有奇怪的行尾字符，比如\r\r\n。有了这个，它就像我想要的那样工作：

with open('test.txt', 'wb') as f:  # simulate a file with weird end-of-lines
    f.write(b'abc\r\r\ndef')
with open('test.txt', 'rb') as f:
    for l in f:
        print(l)
# b'abc\r\r\n'         
# b'def'

我希望能够从字符串获得相同的结果。我考虑过splitlines，但结果不一样：

print(b'abc\r\r\ndef'.splitlines())
# [b'abc', b'', b'def']

即使使用keepends=True，结果也不一样

问题：如何与for l in f和splitlines()具有相同的行为？

链接：Changing str.splitlines to match file readlines和https://bugs.python.org/issue22232

注意：我不想把所有的东西都放在一个BytesIO或StringIO中，因为它有x0.5的速度性能（已经过基准测试）；我想保留一个简单的字符串。所以它不是How do I wrap a string in a file in Python?的复制品

Answer 1

有几种方法可以做到这一点，但没有一种特别快

如果要保留行尾，可以尝试re模块：

lines = re.findall(r'[\r\n]+|[^\r\n]+[\r\n]*', text)
# or equivalently
line_split_regex = re.compile(r'[\r\n]+|[^\r\n]+[\r\n]*')
lines = line_split_regex.findall(text)

如果需要结尾，并且文件非常大，则可能需要迭代：

for r in re.finditer(r'[\r\n]+|[^\r\n]+[\r\n]*', text):
    line = r.group()
    # do stuff with line here

如果您不需要结尾，那么您可以更轻松地完成：

lines = list(filter(None, text.splitlines()))

如果只是迭代结果（或使用Python2），则可以省略list()部分：

for line in filter(None, text.splitlines()):
    pass # do stuff with line