【深度强化学习 DRL 快速实践】近端策略优化 (PPO)

PPO（2017，OpenAI）核心改进点

Proximal Policy Optimization (PPO)：一种基于信赖域优化的强化学习算法，旨在克服传统策略梯度方法在更新时不稳定的问题，采用简单易实现的目标函数来保证学习过程的稳定性

• 解决问题：在强化学习中，直接优化策略会导致不稳定的训练，模型可能因为过大的参数更新而崩溃
• model-free，off-policy，actor-critic

核心改进点	说明
剪切目标函数	使用剪切函数 clip 限制策略更新的幅度，避免策略大幅更新导致性能崩溃
off-policy	每个采样数据可用于多轮更新，提升样本利用率，提高学习效率

---

PPO 网络更新

策略网络

PPO 使用旧策略和新策略的比值来定义目标函数，在保持改进的同时防止策略变化过大：

$$L^{CLIP}(\theta )={\mathbb{E}}_t\left[\min \left(r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t\right)\right],\text{where }{r}_t=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}$$

• Advantage 优势函数 $A_t$：如 $Q(s_t,a_t)-V(s_t)$
• 剪切系数 $ϵ$：如 0.2

价值网络

$$L^{VF}({\theta }^{\mu })={\mathbb{E}}_t\left[(V_{{\theta }^{\mu }}(s_t)-R_t{)}^2\right]$$

• 真实或估算的回报 $R_t$：如 ${\sum }_{k=0}^n={\gamma }^k{r}_{t+k}$

总损失函数

PPO 的总损失是策略损失、值函数损失和熵正则项 (鼓励探索) 的加权和：

$$L(\theta )=L^{CLIP}(\theta )-c_1{L}^{VF}({\theta }^{\mu })+c_{2}H(\pi (s_t))$$

• $c_1,c_2$：权重系数，常用 $c_1=0.5$, $c_2=0.01$

---

基于 stable_baselines3 的快速代码示例

import gymnasium as gym
from stable_baselines3 import PPO# 创建环境
env = gym.make("CartPole-v1")
env.reset(seed=0)# 初始化模型
model = PPO("MlpPolicy", env, verbose=1)# 训练模型
model.learn(total_timesteps=100_000)
model.save("ppo_cartpole_v1")# 测试模型
obs, _ = env.reset()
total_reward = 0
for _ in range(200):action, _ = model.predict(obs, deterministic=True) obs, reward, terminated, truncated, _ = env.step(action)total_reward += rewardif terminated or truncated:breakprint("Test total reward:", total_reward)

---

参考资料：PPO 详解