从代码学习深度学习 - 学习率调度器 PyTorch 版

---

前言

学习率是深度学习优化中的关键超参数，决定了模型参数更新的步长。固定学习率可能导致训练初期收敛过慢或后期在次优解附近震荡。学习率调度器（Learning Rate Scheduler）通过动态调整学习率，帮助模型在不同训练阶段高效优化，平衡快速收敛与精细调整的需求。本文基于 PyTorch，在 Fashion-MNIST 数据集上使用 LeNet 模型，展示五种学习率调度策略：无调度器、SquareRootScheduler、FactorScheduler、MultiFactorScheduler 和 CosineScheduler（包括带预热的版本）。通过代码实现、实验结果和可视化，我们将深入探讨每种调度器的理论基础和实际效果，帮助读者从代码角度理解学习率调度器的核心作用。
值得注意的是，本文展示的代码不完整，仅展示了与学习率调度器相关的部分，完整代码包含了可视化、数据加载和训练辅助函数，完整代码可以通过下方链接下载。
完整代码:下载链接

---

一、理论背景

学习率调度器的设计需要考虑以下几个关键因素：

1. 学习率大小：过大的学习率可能导致优化发散，过小则使训练缓慢或陷入次优解。问题条件数（最不敏感与最敏感方向变化的比率）影响学习率的选择。
2. 衰减速率：学习率需要逐步降低以避免在最小值附近震荡，但衰减不能过快（如 ( O(t^{-1/2}) ) 是凸问题优化的一个合理选择）。
3. 预热（Warmup）：在训练初期，随机初始化的参数可能导致不稳定的更新方向。通过逐渐增加学习率（预热），可以稳定初期优化。
4. 周期性调整：某些调度器（如余弦调度器）通过周期性调整学习率，探索更优的解空间。

本文将通过实验验证这些因素如何影响模型性能。

二、代码解析

以下是完整的 PyTorch 实现，包含模型定义、训练函数和五种调度器实验。

2.1. 基本问题和环境设置

我们使用 LeNet 模型在 Fashion-MNIST 数据集上进行分类，设置损失函数、设备和数据加载器。

%matplotlib inline
import math
import torch
from torch import nn
from torch.optim import lr_scheduler
import utils_for_train
import utils_for_data
import utils_for_huitudef net_fn():"""定义LeNet神经网络模型"""model = nn.Sequential(nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.ReLU(),  # 输出: [batch_size, 6, 28, 28]nn.MaxPool2d(kernel_size=2, stride=2),  # 输出: [batch_size, 6, 14, 14]nn.Conv2d(6, 16, kernel_size=5), nn.ReLU(),  # 输出: [batch_size, 16, 10, 10]nn.MaxPool2d(kernel_size=2, stride=2),  # 输出: [batch_size, 16, 5, 5]nn.Flatten(),  # 输出: [batch_size, 16*5*5]nn.Linear(16 * 5 * 5, 120), nn.ReLU(),  # 输出: [batch_size, 120]nn.Linear(120, 84), nn.ReLU(),  # 输出: [batch_size, 84]nn.Linear(84, 10)  # 输出: [batch_size, 10])return model# 定义损失函数
loss = nn.CrossEntropyLoss()# 选择计算设备
device = utils_for_train.try_gpu()# 设置批量大小和训练轮数
batch_size = 256
num_epochs = 30# 加载Fashion-MNIST数据集
train_iter, test_iter = utils_for_data.load_data_fashion_mnist(batch_size=batch_size)

解析：

• LeNet 模型：适用于 Fashion-MNIST 的 28x28 灰度图像分类，包含两层卷积+池化和三层全连接层。
• 损失函数：交叉熵损失，适合多分类任务。
• 数据加载：批量大小为 256，输入维度为 [batch_size, 1, 28, 28]，标签维度为 [batch_size]。

2.2. 训练函数

训练函数支持多种学习率调度器，负责模型训练、评估和可视化。

def train(net, train_iter, test_iter, num_epochs, loss, trainer, device, scheduler=None):"""训练模型函数参数:net: 神经网络模型train_iter: 训练数据迭代器, 维度: [batch_size, 1, 28, 28], [batch_size]test_iter: 测试数据迭代器, 维度: [batch_size, 1, 28, 28], [batch_size]num_epochs: 训练轮数, 标量loss: 损失函数trainer: 优化器device: 计算设备(GPU/CPU)scheduler: 学习率调度器, 默认为None"""net.to(device)animator = utils_for_huitu.Animator(xlabel='epoch', xlim=[0, num_epochs],legend=['train loss', 'train acc', 'test acc'])for epoch in range(num_epochs):metric = utils_for_train.Accumulator(3)  # [总损失, 准确预测数, 样本总数]for i, (X, y) in enumerate(train_iter):net.train()trainer.zero_grad()X, y = X.to(device), y.