n_作业=1的GridSearchCV内核重新启动

2024-05-29 04:50:53 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在Azure计算机上运行Jupyter笔记本,设置如下:

  • 操作系统:Ubuntu 18.04.5 LTS
  • 内存:64Gb
  • 芯数:16
  • 水蟒环境
  • 架构:x86_64
  • CPU操作模式:32位、64位
  • 字节顺序:小端
  • 中央处理器:16
  • 在线CPU列表:0-15
  • 每个芯的螺纹数:2
  • 每个插座的芯数:8
  • 插座:1个
  • NUMA节点:2
  • 供应商ID:AuthenticateMD
  • CPU系列:23
  • 型号:49
  • 型号名称:AMD EPYC 7452 32核处理器
  • 步进:0
  • CPU MHz:2345.605
  • 博戈米普斯:4691.21
  • 虚拟机监控程序供应商:Microsoft
  • 虚拟化类型:完整
  • L1d缓存:32K
  • L1i缓存:32K
  • 二级缓存:512K
  • 三级缓存:16384K
  • NUMA节点0 CPU:0-7
  • NUMA节点1 CPU:8-15

我正在尝试发布一个GridSearchCV,如下所示:

# DecissionTreeClassifier
arbol = DTC()
grid_arbol = {"max_depth":list(range(5,15)),
                "class_weight":["balanced"]}
gs_arbol = GridSearchCV(arbol,
                        grid_arbol,
                        cv=2,
                        scoring=scoring,
                        verbose=4,
                        n_jobs=-1) # -1 should use all cores (16)
grid_search.fit(X_training, y_training)

一旦我启动这段代码,内核就会重新启动。我必须更改n_jobs=8(总内核的一半)才能正确启动此GridSearchCV

问题是我想使用所有的CPU内核(以及所有的运行内存),但我没有从Ubuntu中找到使用它们的线索

是否有任何OS/Jupyter/Python/Anaconda选项可用于启动所有n_作业

提前谢谢


Tags: 内存节点ubuntujupytercpu内核供应商插座

热门问题