如何在用户之间共享下载的huggingface模型?

0 投票
1 回答
95 浏览
提问于 2025-04-13 21:10

我希望几个用户能够共享下载的模型,也就是说,当其中任何一个用户下载了一个模型,比如用下面的代码:

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

其他用户也能用这个模型进行推理,而不需要再下载一遍。所有用户都在使用Linux,但可能使用不同的主机,拥有不同的Python环境和包版本等等。

我想知道以下的解决方案是否可行:创建一个共享的NFS挂载点,比如说/models,然后在所有主机上挂载这个点。接着,对于每个用户,将他们的HF缓存目录的链接指向这个共享路径。例如:

ln -s /models ~/.cache/huggingface/hub

我不想直接链接~/.cache/huggingface/,因为里面还包含了个人的HF令牌和自定义的代码在modules文件夹里。

假设我们能正确配置文件权限,这样做会按预期工作吗?或者说可能还有其他问题吗?比如:

  • 用户之间不同版本的包、虚拟环境/conda环境等可能会冲突
  • 文件锁定的问题

1 个回答

暂无回答

撰写回答