在Python中使类不可变的方法我正在做一些分布式计算,其中几个机器在假设它们都有不同类的相同版本的情况下进行通信。因此,使这些类不可变似乎是一个好的设计;不是说它必须挫败一个怀有恶意的用户,只是不可变到永远不会被意外修改。 我该怎 ...2024-04-28 已阅读: n次
Python分布式任务队列适用于不同的特定工作者我在寻找一个管理任务分配的python库/框架(例如任务队列)。 但是,任务需要专门的Worker:Worker A只能处理a类型的任务,Worker B和C只能处理b等类型的任务。 此外,这些工人将 ...2024-04-28 已阅读: n次
大Pandas中的大型持久数据帧我正在探索切换到python和pandas作为一个长期的SAS用户。 然而,当今天运行一些测试时,我很惊讶python在试图pandas.read_csv()一个128mbcsv文件时内存不足。它有大 ...2024-04-28 已阅读: n次
Spark数据帧映射分区我需要在Spark数据帧上进行分布式计算,调用数据帧块上的一些任意(非SQL)逻辑。 我做到了: def some_func(df_chunk): pan_df = df_chunk.toPa ...2024-04-28 已阅读: n次
如何导入名称在sitepackages中多次存在的正确模块我正在尝试在分布式计算系统上导入mpi4py。但是,在我的站点包目录中有两个同名模块。你知道吗 站点包/ mpi4py mpich2/mpi4py 我要导入的是mpi4py模块的mpich2版本; ...2024-04-28 已阅读: n次
MXNET与Theano体验我想做一些分布式计算使用GPU的机器学习? 只是想知道是否有人有使用MXNET的经验。对西亚诺) 参考文献 http://www.cs.cmu.edu/~muli/file/mxnet-learnin ...2024-04-28 已阅读: n次
如何在pyspark中导入matplotlib python库sc.addpy文件()?我在python上使用spark,既从终端迭代地启动命令pyspark,也使用命令spark-submit pythonFile.py启动整个脚本 我使用来分析本地csv文件,因此不执行分布式计算。在 ...2024-04-28 已阅读: n次
使用pythonboto和EC2来bru作为练习,我想用EC2/python boto做一些科学的计算和蒙特卡罗模拟。在 例如,假设我有一些小计,比如: a = [53067, 45412, 35238, 34972 ...2024-04-28 已阅读: n次
Python ray:taskresults的顺序错误|如何将ObjectID索引/转换为字符串?我的Python射线基础知识正在慢慢增长,但现在我可能需要一些理论上的帮助 为了简单起见,我将我的情况转换为以下示例: 我想通过ray的分布式计算从1数到100 开始10个任务,将一个段计数为10。所 ...2024-04-28 已阅读: n次
过滤Pandas日期和时间的H2OFrame(python)刚开始学习h2o.ai,我很喜欢算法和分布式计算,但还是坚持数据操作。。。在 我怎样才能过滤Timestamp('2011-01-01 00:00:00')和numpy.datetime64('201 ...2024-04-28 已阅读: n次
为Hadoop集群或自己的分布式文件系统构建自定义块放置策略我对分布式计算知之甚少,只是它的一些肤浅的理论方面。我想为HDFS构建一个自定义的块放置策略。我最近看到一些研究论文,他们在相关数据块的基础上构建了自己的块放置策略,因此,所有相关的和经常使用的数据块 ...2024-04-28 已阅读: n次
使用toPandas()方法将spark dataframe转换为Pandas dataframe时会发生什么情况 我有一个spark数据帧,我可以使用 toPandas() 方法在pyspark中可用。在 关于这个我有以下疑问?在 这种转换是否破坏了使用spark的目的 本身(分布式计算)?在 数据集将是巨 ...2024-04-28 已阅读: n次
unidist unidist:统一分布式计算包含:共享消息队列、状态、计数器、锁、日志记录和时间序列收集和绘图(rrd)。 此包Python名称:unidist ...2024-04-28 已阅读: n次
distob 使用远程对象,分布式计算变得更加容易 n.b.这是一个开发预发行版:还有很多工作要做 概述 DIOBO将占用您现有的Python对象或对象序列, 把它们分散到许多ipython并行引擎上 ...2024-04-28 已阅读: n次
cmdline-brute 分布式计算环境下的作业提交 此包Python名称:cmdline-brute 目前版本: cmdline-brute 0.5 最后维 ...2024-04-28 已阅读: n次
HydroShareHydroshare是一个在线协作系统,正在开发中,用于开放共享水文数据和模型。Hydroshare的目标是使科学家能够轻松地发现和访问水文数据和模型,将其检索到桌面上,或在分布式计算环境(可能包括网 ...2024-04-28 已阅读: n次
distributed-networking-utilities分布式计算模式和实用程序。 免责声明:这个项目正在建设中(可能永远都是)。 当试图构建一个分布式的 高度可伸缩的人脸识别api 计算的好处和结束封装了一些我认为可能是 在其他项目中有用。 ...2024-04-28 已阅读: n次
runHiC runhic是用于hi-c数据处理的一个易于使用的命令行工具。 从0.8.1版开始,runhic可以直接用于Arima HiC数据 通过将酶名设置为arima。 自0.8.0版以来,runhic已将 ...2024-04-28 已阅读: n次
redis-eventsredis事件 使用redis和asyncio的基于事件的分布式计算 用法 创建将响应事件的工作进程: # worker.py from redis_events import Client, Ev ...2024-04-28 已阅读: n次
qcfractalqc分形 用于量子化学的分布式计算和数据库平台。有关详细信息,请参见documentation。 许可证 bsd-3c。有关详细信息,请参阅License File。 ...2024-04-28 已阅读: n次
CeranubisCeranubis是一个小规模的分布式计算系统,其设计初衷是为那些没有超级计算机的访问权限,或者没有制造集群计算机所需的专门知识或许可的霍布斯主义者或研究人员提供最小的设置时间和学习曲线。但是有机会接 ...2024-04-28 已阅读: n次
plancton[![生成状态](https://travis-ci.org/mconcas/plancton.svg?branch=master)](https://travis-ci.org/mconcas/pl ...2024-04-28 已阅读: n次
rain-python#rain python api 用于[rain](https://github.com/substantic/rain)计算框架的python api。 ##文档 [RTD概述](https:// ...2024-04-28 已阅读: n次
waldorf waldorf是一个用python编写的高效并行任务执行框架。 它是为研究reinforcement learning而开发的 中国北京our startup company的算法。 华尔道夫是基于 ...2024-04-28 已阅读: n次
gestalt格式塔是一个用于构建 分布式计算系统。它建立在扭曲的 异步事件处理框架与zmq-high 性能异步消息传递库。 使用格式塔帮助您快速构建分布式系统。 ...2024-04-28 已阅读: n次
nuageuxNuageux是一个非常简单的特别云计算库(即, 一个办公室有一套台式机,而没有 担心安全性/“作弊”或任何形式的最优调度)。 作业信息、数据和结果都通过http(for 易于调试)。它利用扭曲,最终 ...2024-04-28 已阅读: n次