GitHub/HuggingFace 大模型文件下载加速实操,读完把几GB权重跑满带宽
下个 7B 模型权重,十几个 GB 的文件,GitHub 直连跑 200KB/s,一顿晚饭吃完还没下完。
大模型时代,下载速度就是生产力。这篇给三套方案,从懒人到技术流全覆盖,都能把下载速度拉满。
先说结论:小文件用镜像前缀,大文件用 VPS 中转,一次性下载多文件用 aria2 多线程。
方案一:镜像域名替换(最快,不用装东西)
HuggingFace:hf-mirror 官方镜像
HF 官方认可的国内镜像 hf-mirror.com(已验证在线),一条环境变量搞定:
export HF_ENDPOINT=https://hf-mirror.com然后用官方工具下载,速度从几十 KB 直接起飞:
pip install -U huggingface_hub
huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir ./qwen2.5-7b注意:
HF_ENDPOINT只对 huggingface_hub 系的工具生效。想让 git 也走镜像,把仓库地址换成https://hf-mirror.com/xxx/xxx即可。
GitHub Release:代理前缀
GitHub 没有官方镜像,但社区代理稳定可用(以下域名实测在线,失效就换):
# ghfast 前缀法(GitHub Release 文件、raw 文件都适用)
wget https://ghfast.top/https://github.com/user/repo/releases/download/v1.0/file.zip
# git clone 加速
git clone https://ghfast.top/https://github.com/user/repo.git常见的同类代理还有 gh-proxy.com、ghproxy.com,换着用。这类镜像服务变动频繁,一个挂了换下一个就行,命令格式完全一样。
方案二:代理工具走节点(机场/VPN 用户)
如果你手里有可用的机场或自建节点,下载大文件时让流量走代理,绕开国际出口拥堵:
# 终端走代理(注意改成你自己的端口)
export https_proxy=http://127.0.0.1:7890
export http_proxy=http://127.0.0.1:7890
# 测试代理是否生效
curl -I https://huggingface.co
# 走代理下载
wget -c https://huggingface.co/user/model/resolve/main/model.bin配合 aria2 多线程,速度还能再上一个台阶:
aria2c -x16 -s16 https://huggingface.co/user/model/resolve/main/model.bin方案三:VPS 中转(大文件终极方案)
几百 GB 的权重文件,镜像和代理都靠不住——先在海外 VPS 上下载到本地,再打包拉回来,全程走 VPS 的大带宽:
# 1. SSH 到你的海外 VPS(推荐日本机房,到中美两边都快)
ssh root@你的服务器IP
# 2. 在 VPS 上多线程下载(VPS 到 HF 官方一般是满速)
aria2c -x16 -s16 https://huggingface.co/user/model/resolve/main/model.bin
# 3. 打包
tar czf model.tar.gz model.bin
# 4. 回传本地(日本 VPS 回国线路好,速度可观)
scp root@你的服务器IP:~/model.tar.gz ./关键点:中转 VPS 一定要选回国线路好的日本/香港机房,否则 VPS 下载再快,回传慢也白搭。VPS 跑满带宽还有 bonus——顺手把 HuggingFace 大文件缓存挂上面,团队共享一份权重,省得人人下一遍。
提速清单速查
| 场景 | 首选方案 | 命令/操作 |
|---|---|---|
| HF 模型权重 | 官方镜像 | export HF_ENDPOINT=https://hf-mirror.com |
| GitHub Release 单文件 | 代理前缀 | wget https://ghfast.top/https://github.com/... |
| 手头有节点 | 走代理+aria2 | aria2c -x16 -s16 URL |
| 超大权重(百GB级) | VPS 中转 | 见方案三 |
| 多个文件批量 | huggingface-cli | 加 --local-dir 自动续传 |
中转服务器推荐
中转方案对 VPS 要求:带宽大、回国线路好、按量计费不怕跑流量。按这个标准,下面这几家值得看:
懒人版
不想配 VPS、不想记命令,一条订阅解决所有下载加速问题——节点切到日本/新加坡,下载速度一般就能跑满:
最后说一句
下载慢八成不是网的问题,是路径问题。镜像、代理、中转三条路,对症下药,大文件也能跑满带宽。建议先把方案一收藏,遇到下载慢直接抄。