将可变大小的字节数组转换为整数/长

2024-03-28 23:50:31 发布

您现在位置:Python中文网/ 问答频道 /正文

如何将(大端)可变大小的二进制字节数组转换为(无符号)整数/长?例如,'\x11\x34',它表示4404

现在,我在用

def bytes_to_int(bytes):
  return int(bytes.encode('hex'), 16)

它体积小,可读性强,但可能效率不高。有更好(更明显)的方法吗?


Tags: toreturn字节bytesdef二进制符号整数
2条回答

传统上,Python对C来说太大的“big-endian C布局中的数字”没有太多用处(如果您处理的是2字节、4字节或8字节的数字,那么struct.unpack就是答案)

但是,有足够多的人厌倦了没有一种明显的方法可以做到这一点,Python 3.2添加了一个方法^{}来实现您想要的功能:

int.from_bytes(b, byteorder='big', signed=False)

不幸的是,如果您使用的是较旧版本的Python,则没有此功能。那么,你有什么选择?(除了明显的一个:更新到3.2,或者更好的3.4…)


首先,这是你的密码。我认为binascii.hexlify是一种比.encode('hex')更好的拼写方法,因为“encode”对于字节字符串上的方法(与Unicode字符串相反)总是显得有点奇怪,而且实际上在Python 3中已经被禁止了。但在其他方面,我觉得它很容易阅读和理解。它应该很快,是的,它必须创建一个中间字符串,但是它在C中执行所有的循环和算术(至少在C Python中),这通常比Python快一到两个数量级。除非您的bytearray太大,以至于分配字符串本身会很昂贵,否则我不会担心这里的性能。

或者,你可以做一个循环。但这将更加冗长,而且,至少在CPython中,要慢得多。

您可以尝试消除隐式循环的显式循环,但要做到这一点,最明显的函数是reduce,社区中的一部分人认为它不是Pythonic,当然它需要为每个字节调用一个函数。

您可以将循环或reduce展开,方法是将其分成8个字节的块并在struct.unpack_from上循环,或者只执行一个大的struct.unpack('Q'*len(b)//8 + 'B' * len(b)%8)并在其上循环,但这会使其可读性大大降低,而且可能不会更快。

你可以使用NumPy…但是如果你要大于64位或者128位,它最终会把所有东西都转换成Python对象。

所以,我认为你的回答是最好的选择。


下面是一些将其与最明显的手动转换进行比较的计时:

import binascii
import functools
import numpy as np

def hexint(b):
    return int(binascii.hexlify(b), 16)

def loop1(b):
    def f(x, y): return (x<<8)|y
    return functools.reduce(f, b, 0)

def loop2(b):
    x = 0
    for c in b:
        x <<= 8
        x |= c
    return x

def numpily(b):
    n = np.array(list(b))
    p = 1 << np.arange(len(b)-1, -1, -1, dtype=object)
    return np.sum(n * p)

In [226]: b = bytearray(range(256))

In [227]: %timeit hexint(b)
1000000 loops, best of 3: 1.8 µs per loop

In [228]: %timeit loop1(b)
10000 loops, best of 3: 57.7 µs per loop

In [229]: %timeit loop2(b)
10000 loops, best of 3: 46.4 µs per loop

In [283]: %timeit numpily(b)
10000 loops, best of 3: 88.5 µs per loop

在Python3.4中进行比较:

In [17]: %timeit hexint(b)
1000000 loops, best of 3: 1.69 µs per loop

In [17]: %timeit int.from_bytes(b, byteorder='big', signed=False)
1000000 loops, best of 3: 1.42 µs per loop

所以,你的方法还是很快

函数struct.unpack(...)可以满足您的需要。

相关问题 更多 >