当前位置： 首页 > news >正文

4/24杂想

news 来源：原创 2025/4/26 6:46:12

1.BN

激活层前，加快模型训练时的收敛速度，避免梯度爆炸or梯度消失，起到一定的正则化作用，几乎代替了Dropout

批量标准化：标准化后数据服从均值为0，方差为1，之后yi = gamma*xi head+beta

每层的输入分布稳定

【基础算法】六问透彻理解BN(Batch Normalization） - 知乎

预防过拟合：

dropout【训练随机失活，推理不会】，BN，正则化【加在损失函数】

相关文章：

  • 30分钟算法题完成
  • 使用命令行加密混淆C#程序
  • python中的logging库详细解析
  • AI超级智能体教程（三）---程序调用AI大模型的四种方式（SpringAI+LangChain4j+SDK+HTTP）
  • 二项式分布html实验
  • Low Poly 风格 | 飞机飞行可视化系统
  • 【计算机视觉】CV实战- 深入解析基于HOG+SVM的行人检测系统：Pedestrian Detection
  • 深入解析Mlivus Cloud核心架构：rootcoord组件的最佳实践与调优指南
  • 防火墙技术深度解析：从包过滤到云原生防火墙的部署与实战
  • 软测面经（私）
  • API/SDK
  • 【金仓数据库征文】金仓数据库：开启未来技术脑洞，探索数据库无限可能
  • 【基于Qt的QQMusic项目演示第一章】从界面交互到核心功能实现
  • 基于HTML+CSS实现的动态导航引导页技术解析
  • 数字孪生：从概念到实践，重构未来产业的“虚拟镜像”
  • Java实现背景图片加自适应水印图片
  • Android 编译问题 prebuilts/clang/host/linux-x86
  • Node.js 包管理工具介绍
  • 彻底卸载Python
  • 深入了解Activiti工作流引擎：从基础到实战
  • “爱泼斯坦案”关键证人弗吉尼亚·朱弗雷自杀身亡
  • 人民日报任仲平：为什么中国意味着确定性、未来性、机遇性
  • 广汽集团一季度净亏损7.3亿元，同比转亏，总销量下滑9%
  • 【社论】以“法治之盾”护航每一份创新
  • 美总统批准海底采矿，外交部：擅自授权开发损害国际社会共同利益
  • 上海银行一季度净赚逾62亿增2.3%，不良贷款率与上年末持平