Python中文
首页
教程
问答
标签
搜索
登录
注册
将数据写入单个计算机的最快方法?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有一个由100台机器组成的网络,都在运行Ubuntu Linux。在</p> <p>在连续(流)的基础上,机器<code>X</code>被“馈送”一些实时数据。我需要编写一个python脚本,将数据作为输入,加载到内存中,进行处理,然后保存到磁盘上。在</p> <p>它有很多数据,因此,理想情况下,我希望将数据拆分到内存中(使用一些逻辑),然后以尽可能快的方式将数据片段发送到每台单独的计算机上。每台单独的计算机将接受它的数据块,处理它并将其写入本地磁盘。在</p> <p>假设我在Python中有一个数据容器(可以是一个列表、一个字典等),已经被处理并分割成碎片。向每台机器发送每一个“数据”的最快方式是什么?在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您需要的是一个类似<a href="http://www.rabbitmq.com" rel="nofollow">RabbitMQ</a>的消息队列。将消费者和生产者添加到队列中很容易。消费者既可以投票,也可以通过回调获得通知。。。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
将Pandas数据帧转换为PyTorch张量?
7 回答
将Pandas数据帧转换为scipy稀疏矩阵
6 回答
将Pandas数据帧转换为Spark Datafram时出现问题
2 回答
将pandas数据帧转换为spark DataFram时出错
7 回答
将Pandas数据帧转换为spark datafram时收到错误
7 回答
将Pandas数据帧转换为Spark数据帧
10 回答
将Pandas数据帧转换为Tensorflow数据
9 回答
将Pandas数据帧转换为tkinter obj
9 回答
将pandas数据帧转换为XML
8 回答
将Pandas数据帧转换为值sql语句
5 回答
将pandas数据帧转换为元组
4 回答
将pandas数据帧转换为元组列表
6 回答
将pandas数据帧转换为元组列表并删除所有pandas数据类型
8 回答
将pandas数据帧转换为具有头和数据类型的numpy数组
9 回答
将pandas数据帧转换为内存中的拼花地板,并将其加载到Python中的Hadoop中
7 回答
将pandas数据帧转换为内存中类似文件的对象?
3 回答
将Pandas数据帧转换为内存功能(&F)
8 回答
将pandas数据帧转换为列表列表
5 回答
将pandas数据帧转换为列表列表以输入到RNN
10 回答
将Pandas数据帧转换为单行DataFram
10 回答