本文主要是介绍Hugging Face模型下载方法小结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
由于国内网络环境较差,HF的服务器在国外,因此很多访问会超时,或者下载不稳定,主要记录了下面这些方法,用于HF中的模型文件下载。
方法1:HF镜像+wget
可以通过huggingface的镜像网站下载,hf-mirror.com
,只用将原本下载链接中的huggingface官网地址修改,即可再通过wget命令进行下载。右键复制对应的下载链接wget下载(注意不要在表面复制HTML链接,而是要再点进去,复制下载链接,否则只能下载80k的HTML.txt文件)。
方法2:通过snapshot下载
from huggingface_hub import snapshot_downloadsnapshot_download(repo_id="Qwen/Qwen-VL-Chat-Int4", # 模型IDlocal_dir="./models/Qwen-VL-Chat-Int4") # 指定本地地址保存模型
这个方法可能也会被ban,需要设置 HF_ENDPOINT
环境变量
HF_ENDPOINT
该变量是 HF 相关库官方支持的一个环境变量,设置后,相关库会尊重该变量指定的主机名,替换 huggingface.co 域名进行模型、数据集的下载和上传,从而做到无需修改python的transformers代码,即可利用上镜像站来加载模型。具体支持以下库:
- huggingface-cli
- snapshot_download
- from_pretrained
- hf_hub_download
- timm.create_model
设置方法
以下介绍各种环境下如何设置环境变量,以及如何将环境变量的配置命令写入到终端的配置文件中,使得终端自动加载该环境变量,免去每次手动执行命令的麻烦。
Linux/Mac OS
export HF_ENDPOINT="https://hf-mirror.com"
Linux 写入到~/.bashrc
中:
echo 'export HF_ENDPOINT="https://hf-mirror.com"'~/.bashrc
写入之后通过source命令运行一下source ~/.bashrc
,环境变量才能生效。
Mac OS 写入到 ~/.zshrc
中:
echo 'export HF_ENDPOINT="https://hf-mirror.com"'~/.zshrc
Python
import osos.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
注意os.environ得在import huggingface库相关语句之前执行。
通过上述方法就能快速下载模型啦!!
这篇关于Hugging Face模型下载方法小结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!