Python中的双向实时通信
我正在开发一个应用程序,用户可以通过本地网络将音频流传输给另一个用户。同时,用户还会发送一个时钟信号,以便同步另一端的应用程序。
简单来说,我有来自用户A的两个音频流和来自用户B的一个音频流。
---------- ----------
| | --------> CLOCK SIGNAL ---> | |
| USER A | <-------- AUDIO SIGNAL <--- | USER B |
| | --------> AUDIO SIGNAL ---> | |
---------- ----------
这一切都需要实时进行。(想象一下Skype)
现在,我注意到当我通过同一个连接发送信号时,有些信号会互相干扰。如果我把时钟信号和音频信号一起发送,就只会听到噪音。如果我停止发送时钟信号,噪音就消失了,音频信号就变得清晰了。
请问,使用纯Python的socket实现,能做到这一点吗?我该怎么处理这个问题呢?
1 个回答
1
一种选择是将你的数据流切分成消息,以便将时钟和音频数据交错在一起。这个消息可以是一个带有类型指示和后面字节数的头部,你可以用结构模块来编码。这个代码还没有经过测试,实际上只是个伪代码,但大致可以这样写...
import struct
def send_audio(audio_socket, audio_data_fragment):
"""send the next bit of audio. if fragment size is large,
the next clock send will be delayed"""
audio_socket.sendall(struct,pack('!bL', 0, len(audio_data_fragment))
audio_socket.sendall(audio_data_fragment)
def send_clock(audio_socket, clock_val):
"""send the next clock info. just guessing that its an 8 byte
binary number as an example"""
audio_socket.sendall(struct.pack('!bQ', 1, clock_val))
def _recvall(sock, sz):
buf = ''
while len(buf) < sz:
buf += sock.recv(sz - len(buf))
return buf
def recv(audio_socket):
"""recv next message and return a tuple of (type, data)"""
msg_type = struct.unpack('b', audio_socket.recv(1)))
if msg_type == 0:
audio_len = struct.unpack('!L', _recvall(audio_socket, 4))
audio = _recvall(audio_socket, audio_len)
return 'audio', audio
elif msg_type == 1:
clock = struct.unpack('!Q', _recvall(audio_socket, 8))
return 'clock', clock
另一种选择是使用一个现有的系统来为你生成消息。比如可以使用Python标准的xmlrpc模块,或者可能是zeromq、协议缓冲区(protocol buffers)或trift。市面上有很多这样的选择。