哈夫曼编码：如何在Python中写入二进制数据

Question

我尝试过使用结构模块的方法，就像我代码中注释掉的那些行，但没有成功。基本上，我有两个选择：要么我逐个写出二进制数据（我的代码是长度从3到13位不等的比特序列），要么把整个字符串（在这个例子中是25000个字符以上）转换成二进制数据。但我不知道怎么实现这两种方法。代码如下：

import heapq
import binascii
import struct

def createFrequencyTupleList(inputFile):
    frequencyDic = {}

    intputFile = open(inputFile, 'r')
    for line in intputFile:
        for char in line:
            if char in frequencyDic.keys():
                frequencyDic[char] += 1
            else:
                frequencyDic[char] = 1

    intputFile.close()
    tupleList = []
    for myKey in frequencyDic:
        tupleList.append((frequencyDic[myKey],myKey))
    return tupleList

def createHuffmanTree(frequencyList):
    heapq.heapify(frequencyList)
    n = len(frequencyList)
    for i in range(1,n):
        left = heapq.heappop(frequencyList)
        right = heapq.heappop(frequencyList)
        newNode = (left[0] + right[0], left, right)
        heapq.heappush(frequencyList, newNode)
    return frequencyList[0]

def printHuffmanTree(myTree, someCode,prefix=''):
    if len(myTree) == 2:
        someCode.append((myTree[1] + "@" + prefix))
    else:
        printHuffmanTree(myTree[1], someCode,prefix + '0')
        printHuffmanTree(myTree[2], someCode,prefix + '1')

def parseCode(char, myCode):
    for k in myCode:
        if char == k[0]:
            return k[2:]


if __name__ == '__main__':
    myList = createFrequencyTupleList('input')
    myHTree = createHuffmanTree(myList)
    myCode = []
    printHuffmanTree(myHTree, myCode)
    inputFile = open('input', 'r')
    outputFile = open('encoded_file2', "w+b")
    asciiString = ''
    n=0
    for line in inputFile:
        for char in line:
            #outputFile.write(parseCode(char, myCode))
            asciiString += parseCode(char, myCode)
            n += len(parseCode(char, myCode))
    #values = asciiString
    #print n
    #s = struct.Struct('25216s')
    #packed_data = s.pack(values)
    #print packed_data
    inputFile.close()
    #outputFile.write(packed_data)
    outputFile.close()

Answer 1

你需要的是这个：

packed_data = ''.join(chr(int(asciiString[i:i+8], 2)) 
                         for i in range(0, len(asciiString), 8))

它会一次从 asciiString 中取出8位，把它当成一个整数来处理，然后输出对应的字节。

你这里的问题是，这个方法要求 asciiString 的长度必须是8的倍数，才能正常工作。如果不是，你就得在最后几个真实的位前面加上零位。

所以你需要在某个地方记录最后一个字节中有多少位，这样在取回数据时就知道要忽略那些位，而不是把它们当成零。你可以试试：

packed_data = chr(len(asciiString) % 8) + packed_data

然后当你把它读回来时：

packed_input = coded_file.read()
last_byte_length, packed_input, last_byte = (packed_input[0], 
                                             packed_input[1:-1], 
                                             packed_input[-1])
if not last_byte_length: last_byte_length = 8
ascii_input = ''.join(chain((bin(ord(byte))[2:].zfill(8) for byte in packed_input),
                      tuple(bin(ord(last_byte))[2:].zfill(last_byte_length),)))
# OR
# ascii_input = ''.join(chain(('{0:0=8b}'.format(byte) for byte in packed_input),
#                       tuple(('{0:0=' + str(last_byte_length) + '8b}').format(last_byte),)))

补充：你需要从 bin() 返回的字符串中去掉 '0b'，或者在2.6版本及更新的版本中，最好使用我添加的新版本，这些版本用字符串格式化代替了 bin()、切片和 zfill()。

补充：感谢 eryksun，使用链式操作可以避免复制ASCII字符串。另外，在 bin() 版本中需要调用 ord(byte)。