使用Python解码TCP数据包

Question

我正在尝试解码通过TCP连接接收到的数据。这些数据包很小，最多只有100个字节。不过，当数据包很多的时候，我发现有些数据包会被合在一起。有没有办法防止这种情况发生？我使用的是Python。

我尝试过分开这些数据包，下面是我的代码。数据包是以STX字节开始，以ETX字节结束，紧跟在STX后面的字节是数据包的长度（长度小于5的包是无效的），而校验和是ETX前面的最后几个字节。

def decode(data):
  while True:
    start = data.find(STX)
    if start == -1: #no stx in message
        pkt = ''
        data = ''
        break
    #stx found , next byte is the length
    pktlen = ord(data[1])
    #check message ends in ETX (pktken -1) or checksum invalid
    if pktlen < 5 or data[pktlen-1] != ETX or checksum_valid(data[start:pktlen]) == False:
        print "Invalid Pkt"
        data = data[start+1:]
        continue
    else:
        pkt = data[start:pktlen]
        data = data[pktlen:]
        break

return data , pkt

我这样使用它：

#process reports
try:
    data = sock.recv(256) 
except: continue 
else:
    while data:
        data, pkt = decode(data) 
        if pkt:
           process(pkt)

另外，如果数据流中有多个数据包，返回数据包时是把它们作为一个列表集合返回好，还是只返回第一个数据包比较好？

我对Python不太熟悉，只会C，这种方法可以吗？任何建议都非常感谢。提前谢谢你！

谢谢！

Answer 1

试试 scapy，这是一个强大的互动数据包处理工具。

Answer 2

TCP提供的是一个数据流，而不是单独的数据包。如果你想要独立的数据包，可以使用UDP（这样你需要自己处理丢失或顺序错乱的数据包），或者在数据中添加一些分隔符。听起来你已经在这么做了，用STX和ETX作为你的分隔符。不过，正如你所提到的，你从TCP的处理过程中会得到多个消息在同一块数据里。

需要注意的是，除非你进行其他处理，否则你代码中的data不一定包含完整的消息数量。也就是说，最后一个STX可能没有对应的ETX。ETX可能会在下一个data块中出现，而没有STX。

你可能应该从TCP数据流中逐个读取消息，并在它们到达时返回。

Answer 3

我会创建一个类，这个类负责从一个数据流中解码数据包，像这样：

class PacketDecoder(object):

    STX = ...
    ETX = ...

    def __init__(self):
        self._stream = ''

    def feed(self, buffer):
        self._stream += buffer

    def decode(self):
        '''
        Yields packets from the current stream.
        '''
        while len(self._stream) > 2:
            end = self._stream.find(self.ETX)
            if end == -1:
                break

            packet_len = ord(self._stream[1])
            packet = self._stream[:end]
            if packet_len >= 5 and check_sum_valid(packet):
                yield packet
            self._stream = self._stream[end+1:]

然后可以这样使用：

decoder = PacketDecoder()
while True:
    data = sock.recv(256) 
    if not data:
        # handle lost connection... 
    decoder.feed(data)
    for packet in decoder.decode():
        process(packet)