LSTM(长短期记忆网络)详解
一、原理
LSTM(Long Short-Term Memory)是RNN的改进版本,通过引入门控机制(输入门、遗忘门、输出门)和细胞状态(Cell State),有效解决传统RNN的梯度消失/爆炸问题,擅长捕捉长距离依赖关系。
核心思想:
- 细胞状态(C_t):贯穿整个时间步的“记忆通道”,选择性保留或遗忘信息。
- 门控机制:
- 遗忘门:决定从细胞状态中丢弃哪些信息。
- 输入门:决定将哪些新信息存入细胞状态。
- 输出门:决定当前时间步的输出。
二、公式
LSTM单元的计算公式如下:
- 遗忘门