神经网络笔记 - 神经网络

一.神经网络基础知识

1.神经网络解决了什么问题

• 将人类眼中的数据（如图像、文本）转换成计算机能理解的特征矩阵。
• 适用于分类、回归等多种任务，本质上是进行特征提取与决策映射。

2.神经网络基本结构

• 输入层（Input Layer）：接收原始数据，如图像的像素矩阵。
• 隐藏层（Hidden Layers）：进行特征提取和变换，可以是多层叠加。
• 输出层（Output Layer）：给出最终预测结果，如分类概率。

每一层通常包括：

• 权重（Weights）
• 偏置（Bias）
• 激活函数（Activation Function）

三.神经网络与传统算法的关系

线性函数：简单的单层映射。
$$f(W,x)=Ｗx+b$$
神经网络：可以理解为多层线性变换 + 非线性变换的组合，更强大且更灵活。

相比传统机器学习，神经网络：

• 可扩展性强（像堆积木一样堆叠）
• 容易DIY和创新
• 更适合处理复杂数据（如图像、文本）

举个例子

假设现在有一张图片，规格为: 32 * 32 * 3
这张图片就有 3072 个特征

$$10分类权重矩阵：\mathbf{W}=\left[\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1\ast 3072}\\ w_{21}& w_{22}& \cdots & w_{2\ast 3072}\\ ⋮& ⋮& \ddots & ⋮\\ w_{10\ast 1}& w_{10\ast 2}& \cdots & w_{10\ast 3072}\end{array}\right]$$

$$特征矩阵(n=3072)：\mathbf{X}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right]$$

$$W\ast X=\left[\begin{array}{c}f(1)\\ f(2)\\ ⋮\\ f(3072)\end{array}\right]$$

通过W*X 的出本轮训练的分数，这就是多层线性变化

五. 损失函数（Loss Function）

作用：衡量模型预测和真实标签之间的差异。

• 损失值越小，说明模型预测越准确。
• 设计灵活，可针对不同任务自定义。

损失函数 = 数据损失计算 + 正则化惩罚

例子

顺着上面的例子，我们的到了X* W的分数
那么，我们如何知道分数有多对，或则这个分数的准确率有多少，这里需要用到损失函数
我们可以拿到正确标签对应的分数，得到矩阵y
$$y_i=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_{10}\end{array}\right]$$
拿到 y 之后就可以分别带入到损失函数中，得到最终的结果：这个答案有多准确

正则化惩罚

损失函数得出的结果一样，也不认为这两个模型是一样的，我们还得考虑具体的权重参数
假设我们有两个W矩阵,假设这两个矩阵计算的结果相同 都为1 ,输入数据X
$${\mathbf{W}}_1=\left[\begin{array}{cccc}1& 0& 0& 0\end{array}\right],{\mathbf{W}}_2=\left[\begin{array}{cccc}0.25& 0.25& 0.25& 0.25\end{array}\right]$$
$$\mathbf{X}=\left[\begin{array}{cccc}1& 1& 1& 1\end{array}\right],$$
W1 W2 经过损失函数计算都为 1
显然W2 的数据更加平稳，这样的数据说明再计算的过程中，神经网络最大程度上使不同数据的信息，而不是单独通过某一条数据进行判断

六反向传播（Backpropagation）

在训练神经网络时，计算每个参数（权重）应该怎么调整，才能让模型的输出变得更好（比如分类更准）的一种算法。

它是一层一层往回推，算出每个参数对最终误差（loss）的影响，然后用这些信息来更新参数。

简单说：

• 正向传播（forward）是：输入 -> 层层计算 -> 得到输出 -> 算loss。
• 反向传播（backward）是：根据loss -> 反推每一层 -> 算出每个参数的“改正方向”。

比如：
你有一张猫的图片，告诉神经网络“这是猫”。
神经网络一开始可能猜错，比如猜成了狗。
通过反向传播，它知道了：“啊，我哪一部分参数错了，应该怎么调整”。
下次再遇到类似图片，它就能更准确地认出猫了。

每次训练，就是不停地：

• 正向推一遍 ➔ 算误差 ➔ 反向推一遍 ➔ 更新参数 ➔ 下一轮

训练很多轮后，模型就越来越聪明。