用于管理单用途云vm的命令行工具
cloudman的Python项目详细描述
云人
用于管理单用途云vm的命令行工具。目前与GCP合作。
功能:
使用ubuntu、nvidia驱动程序、anaconda、pytorch、fastai等提供基于云的磁盘映像的单个命令。
一个命令可以附加一个磁盘映像,使用任何配置的CPU、RAM和GPU启动一个云虚拟机实例,并启动jupyter notebook。
安装
使用pip
安装cloudman
包。
pip install cloudman
cloudman
需要安装gcloud
命令行工具。确保在前进之前完成这些步骤。
使用以下链接安装
gcloud
cli:https://cloud.google.com/sdk/docs/downloads-interactive确保将
gcloud
命令添加到您的路径中。通过运行以下命令连接
gcloud
工具您的gcp帐户:gcloud init
(可选)通过运行创建gcp项目:
gcloud projects create PROJECT_ID
用唯一的名称替换项目id,例如kitten-puppies-999 您还可以使用现有的项目。
通过运行激活项目:
gcloud config set project PROJECT_ID
运行以下命令打开云控制台:
cloudman console
启用计费以开始创建云虚拟机。
用法
^
创建引导磁盘
运行cloudman create
将创建给定大小的引导盘,然后安装ubuntu、nvidia cuda库、anaconda、pytorch和fastai deep learning库。默认情况下,会创建一个50 GB的磁盘。
下面是一些示例:
# Using default disk size of 50GB
cloudman create freesound-2019
# Custom disk size
cloudman create freesound-2019 --disk=100GB
注意,cloudman
创建一个临时vm实例来安装所有必需的包,然后删除vm,但保留磁盘。它使用this shell script进行设置。
启动实例
可以使用cloudman start
命令启动连接了引导磁盘的实例。您可以选择GPU和机器类型的任意组合。您还可以启动一个仅限CPU的实例,这是默认的。另外,您可以选择是想要一个可抢占的实例(默认情况下启用,以节省成本),还是一个专用实例。
下面是一些示例:
# CPU-only, preemptible
cloudman start jigsaw-ulmfit
# Same as the above command, but explicit
cloudman start jigsaw-ulmfit --gpu=nogpu --machine=auto --spot
# K80 GPU, dedicated
cloudman start jigsaw-ulmfit --gpu=k80 --nospot
有效的gpu类型是:'nogpu', 't4', 'v100', 'p100', 'p4', 'k80'
在这里可以找到有效的计算机类型:https://cloud.google.com/compute/docs/machine-types
如果机床类型设置为“自动”,刀具将自动选择与GPU的RAM和核心匹配的合理机床类型。您可以看到映射here。
一旦启动,就可以使用该链接访问jupyter服务器。有时jupyter服务器可能需要一两分钟才能启动。
ssh进入运行实例
要通过ssh连接到正在运行的实例,请使用:
cloudman ssh jigsaw-ulmfit
停止实例
使用cloudman stop
命令停止正在运行的实例。示例:
cloudman stop jigsaw-ulmfit
列出磁盘和正在运行的实例
要查看可用的启动磁盘和正在运行的实例,请运行
cloudman list
删除启动盘
要删除启动盘,请运行
cloudman delete jigsaw-ulmfit
这将停止任何正在运行的实例,并完全删除引导磁盘。所有的数据都会丢失,所以在使用时要小心。