【torch\huggingface默认下载路径修改】.cache/torch/ 或 .cache/huggingface
问题
服务器的硬盘空间是有限的,系统上的固态硬盘空间又比较小,在跑深度学习模型的时候经常有默认下载权重的操作,不管是torch或者huggingface,如果不加管理,所有的权重都放在home/user/.cache
里面,迟早会爆,在大模型盛行的今天,huggingface每一次的权重都是几个g的大小,系统盘根本撑不住,所以肯定需要修改默认下载位置。
解决方案1-系统环境直接修改变量
1、打开环境
nano ~/.bashrc
2、添加HF\TORCH\XDG默认路径
# 设置 Hugging Face 全家桶缓存路径
export HF_HOME="/data1/user/cache/huggingface"
# pytorch 通用缓存
export TORCH_HOME="/data1/user/cache/torch"
# SDG 规范缓存目录 (影响更广)
export XDG_CACHE_HOME="/data1/user/cache/xdg_cache"
其中/data1/user/cache
是我想要存的机械硬盘的位置
3、重新激活环境
source ~/.bashrc
解决方案2 -代码中添加路径
import os
# 手动设置环境变量,将这里替换为您实际想要设置的路径
os.environ['TORCH_HOME'] = '/data1/yerq/cache/torch'