我想把许多文件当作一个文件来处理。使用生成器[文件名]=>;[文件对象]=>;[行]而不是将整个文件读入内存,正确的pythonic方法是什么?
我们都知道打开文件的正确方法:
with open("auth.log", "rb") as f:
print sum(f.readlines())
我们知道将多个迭代器/生成器链接到一个长迭代器/生成器的正确方法:
>>> list(itertools.chain(range(3), range(3)))
[0, 1, 2, 0, 1, 2]
但如何将多个文件链接在一起并保留上下文管理器?
with open("auth.log", "rb") as f0:
with open("auth.log.1", "rb") as f1:
for line in itertools.chain(f0, f1):
do_stuff_with(line)
# f1 is now closed
# f0 is now closed
# gross
我可以忽略上下文管理器,这样做,但感觉不对:
files = itertools.chain(*(open(f, "rb") for f in file_names))
for line in files:
do_stuff_with(line)
或者这就是Async IO - PEP 3156的用途,我以后就只能等待优雅的语法了?
总是有^{} 。
然而,读取source时,似乎} ,因为
fileinput.FileInput
不能用作上下文管理器1。要解决这个问题,可以使用^{FileInput
实例有一个合理实现的close
方法:上下文管理器的另一种选择是在文件上编写一个简单的函数循环,并在运行时生成行:
在这里我不需要
itertools.chain
。。。这里的魔力在yield
语句中,该语句用于将普通函数转换为一个非常懒的生成器。作为旁白,从python3.2开始,
fileinput.FileInput
被实现为一个上下文管理器,它与我们之前使用的contextlib
完全一样。现在我们的例子变成:尽管另一个例子也适用于python3.2+。
相关问题 更多 >
编程相关推荐