huaggingface模型国内网络下载

0.问题描述

当我们在GPU服务器上要下载huggingface上的大模型时，需要连接外网，但由于出于对服务器的安全性考虑，一般服务器是不会允许连接外网的。例如就会出现如下报错:

fatal: unable to access 'https://huggingface.co/Qwen/Qwen-7B/': Failed to connect to huggingface.co port 443: Connection timed out

1.modelscope解决

modelscope是阿里巴巴的一个社区，里面有很多从huggingface上搬运的模型：

找到你想要的模型，在模型文件里找到对应命令运行即可

2.hf-mirror解决(更推荐)

hf-mirror是huggingface的镜像网站，在国内可以直接使用，对于新出的模型魔方社区不一定有人第一时间搬运到社区里，所以使用hf-mirror更保险一点。

操作上和huggingface完全一致，复制命令下载即可，更多用法参照这篇教程:
如何快速下载huggingface模型——全方法总结
这里再推荐几个比较实用的工具：huggingface-cli和hf_transfer ，属于huggingface_hub库的一个部分，它允许用户进行模型和数据集的下载，以及登录 Hugging Face、上传模型和数据集等操作。

huggingface-cli

确保你的 Python 版本至少为 3.8，并安装 huggingface_hub 的 0.17.0 或更高版本。推荐使用 0.19.0 以上的版本。

pip install -U huggingface_hub

设置下载地址（必不可少）：

export HF_ENDPOINT=https://hf-mirror.com

下载模型：

huggingface-cli download --resume-download bigscience/bloom-560m --local-dir bloom-560m

下载数据集：

huggingface-cli download --resume-download --repo-type dataset lavita/medical-qa-shared-task-v1-toym

如果不希望使用符号链接（默认情况下 huggingface-cli 会创建符号链接），可以通过添加 --local-dir-use-symlinks False 参数来禁用此行为。用 huggingface-cli 的好处是，即使将模型保存在自定义的目录下，你也可以直接使用模型的名字来引用它，而不是使用模型的路径。例如：

AutoModelForCausalLM.from_pretrained("gpt2")

这是因为 huggingface_hub 会在本地 .cache/huggingface/ 目录下创建模型的符号链接。
目前 huggingface-cli 的缺点包括：

• 存储和链接逻辑对新手来说不直观。
• 不支持单文件多线程下载。
• 早期版本在遇到网络问题时不会自动重试（从 v0.19.0
  版本开始，已经支持自动重试）。

hf_transfer

hf_transfer 是一个为了加快下载速度而开发的 Rust 模块，与 huggingface-cli 兼容。

pip install -U hf-transfer

启用 hf_transfer

export HF_HUB_ENABLE_HF_TRANSFER=1

使用 huggingface-cli 下载时同样的命令：

huggingface-cli download --resume-download bigscience/bloom-560m --local-dir bloom-560m

注意，如果下载时看到进度条，说明 hf_transfer 没有启用成功。若无进度条，则表示 hf_transfer 启用成功，并且正在使用。