用于搜索和替换大字符串的最快Python方法

Question

我正在寻找最快的方法来替换一个非常大的字符串中的大量子字符串。这里有两个我用过的例子。

findall（）感觉更简单、更优雅，但它需要惊人的时间。

finditer（）会遍历一个大文件，但我不确定这样做是否正确。

这是一些示例代码。注意，我感兴趣的实际文本是一个大小约为10MB的字符串，这两种方法有很大的不同。

import re

def findall_replace(text, reg, rep):
    for match in reg.findall(text):
        output = text.replace(match, rep)
    return output

def finditer_replace(text, reg, rep):
    cursor_pos = 0
    output = ''
    for match in reg.finditer(text):
        output += "".join([text[cursor_pos:match.start(1)], rep])
        cursor_pos = match.end(1)
    output += "".join([text[cursor_pos:]])
    return output

reg = re.compile(r'(dog)')
rep = 'cat'
text = 'dog cat dog cat dog cat'

finditer_replace(text, reg, rep)

findall_replace(text, reg, rep)

更新将re.sub方法添加到测试：

def sub_replace(reg, rep, text):
    output = re.sub(reg, rep, text)
    return output

结果

回复：sub（）-0:00:00.031000
finditer（）-0:00:00.109000
芬达尔（）-0:01:17.260000

Answer 1

顺便说一下，使用findall_replace（）的代码是不安全的，它可以返回未等待的结果：

ch = 'sea sun ABC-ABC-DEF bling ranch micABC-DEF fish'

import re

def findall_replace(text, reg, rep):
    for gr in reg.findall(text):
        text = text.replace(gr, rep)
        print 'group==',gr
        print 'text==',text
    return '\nresult is : '+text

pat = re.compile('ABC-DE')
rep = 'DEFINITION'

print 'ch==',ch
print
print findall_replace(ch, pat, rep)

显示

ch== sea sun ABC-ABC-DEF bling ranch micABC-DEF fish

group== ABC-DE
text== sea sun ABC-DEFINITIONF bling ranch micDEFINITIONF fish
group== ABC-DE
text== sea sun DEFINITIONFINITIONF bling ranch micDEFINITIONF fish

result is : sea sun DEFINITIONFINITIONF bling ranch micDEFINITIONF fish