是否有一个性能技巧来避免隐含的酸洗?

2024-04-23 14:25:57 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个有三个不同端点的代码管道。一个服务输出JSON数据,另一个对其进行解码,读取其中的一部分,然后将其分派给另一个正在读取multiprocess Pipe的进程。关键是,编写过程可能会输出大量数据,据我所知,Pipe隐式地pickle对象which is not a good thing for performance。我可以通过send_bytes通过管道发送原始JSON,然后再次对其进行解码,这可能会提供稍好的性能,但对数据进行双重解码似乎是一种浪费

我是否可以使用性能技巧仅对数据解码一次,并且在分派过程中仍然获得中间结果?我只需要JSON对象中的一个值,就可以完全控制整个管道

很抱歉没有提供代码示例,事情还没有准备好


Tags: 数据对象代码json分派which管道进程