当前位置： 首页 > news >正文

Lora 微调自定义device_map

news 来源：原创 2025/4/21 12:19:52

Lora 微调自定义device_map

首先查看模型权重参数配置model.safetensors.index.json
在这里插入图片描述

查看多少解码器

这里的layer可以理解为解码器层，后面有qkv，bais，layernomal等
在这里插入图片描述

# 显卡数量
num_gpus = 5
# 总层数
num_layers = 28layers_per_gpu = num_layers // num

相关文章：

  • 第一章：MySQL视图基础
  • 苍穹外卖阶段性总结 （超详细版）
  • 阿里HumanAIGC 团队开源实时数字人项目ChatAnyone
  • 俄罗斯方块-简单开发版
  • using用法整理
  • 高等数学同步测试卷 同济7版 试卷部分 上 做题记录 上册期中同步测试卷 B卷
  • c++ 类和动态内存分配
  • Java基础语法
  • 本地搭建MQTT服务器并进行设备控制（ESP32+MicroPython）
  • Qt6离线安装过程
  • HarmonyOS 笔记
  • 9.QT-显示类控件|Label|显示不同格式的文本|显示图片|文本对齐|自动换行|缩进|边距|设置伙伴(C++)
  • 2025.4.20总结
  • 基于尚硅谷FreeRTOS视频笔记——11—RTOS获取源码及源码简介
  • STM32基础教程——串口收发
  • YOLOv11改进——基于注意力机制和密集小目标增强型EVA模块的设计与实现
  • QML中的JSON 处理
  • VMware虚拟机走主机代理上网
  • SAP IAS云产品简介
  • 《猎豹夕阳》
  • 专访｜松重丰：“美食家”不孤独，他在自由地吃饭
  • 人民网评：“中国传递爱而不是关税”
  • 上海这台人形机器人完成半马：无故障、无摔倒，冲过终点不忘挥手致意
  • 科普｜一名肿瘤医生眼中的肺癌诊疗变化：从谈癌色变到与癌共存
  • 李家超：香港特区政府积极推进十五运会各项筹办工作
  • “走进电影”：虚拟现实电影产业有新进展