深度学习神经网络全连接笔记day1
创建全连接神经网络
创建一个最基本的全连接神经网络（也称为多层感知机，MLP）通常需要以下步骤和方法：
-
定义网络结构
-
输入层：确定输入数据的维度。例如，对于一个简单的图像分类任务，输入层的维度可能是图像的像素数量。
-
隐藏层：定义一个或多个隐藏层，每个隐藏层包含一定数量的神经元。隐藏层的数量和每个隐藏层的神经元数量可以根据任务需求调整。
-
输出层：根据任务目标确定输出层的神经元数量。例如，对于一个二分类问题，输出层通常有一个神经元；对于多分类问题，输出层的神经元数量等于类别数。
-
选择激活函数
-
隐藏层激活函数：常用的激活函数有ReLU（Rectified Linear Unit）、Sigmoid、Tanh等。ReLU是最常用的激活函数，因为它可以有效缓解梯度消失问题。
-
输出层激活函数：根据任务类型选择合适的激活函数。例如，对于二分类任务，输出层通常使用Sigmoid函数；对于多分类任务，输出层使用Softmax函数。
-
初始化权重和偏置
-
权重初始化：权重的初始化方法对网络的训练效果有重要影响。常见的初始化方法包括随机初始化（如Xavier初始化或He初始化）和零初始化（通常不推荐，因为会导致梯度消失）。
-
偏置初始化：偏置通常初始化为0或小的常数。
-
定义损失函数
-
二分类任务：通常使用二元交叉熵损失函数（Binary Cross-Entropy Loss）。
-
多分类任务：通常使用多类交叉熵损失函数（Categorical Cross-Entropy Loss）。
-
回归任务：通常使用均方误差损失函数（Mean Squared Error, MSE）。
-
选择优化器
-
SGD（随机梯度下降）：最简单的优化器，通过计算梯度来更新权重。
-
Adam：一种自适应学习率的优化器，结合了RMSprop和Momentum的优点，通常在训练深度神经网络时表现良好。
-
其他优化器：如RMSprop、Adagrad等。
-
前向传播
-
在前向传播过程中，输入数据通过每一层的线性变换（权重乘法和偏置加法）和非线性激活函数，最终得到输出结果。
-
计算损失
-
使用定义的损失函数计算模型的输出与真实标签之间的差异。
-
反向传播
-
通过计算损失函数对每个权重和偏置的梯度，利用链式法则反向传播这些梯度，更新网络的权重和偏置。
-
训练模型
-
迭代地执行前向传播、计算损失和反向传播，直到模型的性能不再提升或达到预定的训练轮数。
示例：创建一个全连接神经网络，主要步骤包括：
-
定义模型结构。
-
初始化模型、损失函数和优化器。
-
准备数据。
-
训练模型。
-
（可选）评估模型。
你可以根据实际任务调整网络结构、损失函数和优化器等。
import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as Ftorch.manual_seed(1)# 定义全连接神经网络类
# nn.Module神经网络父类
class Net(nn.Module):def __init__(self, input_size):# super，调用父类的构造函数，保证基类正确初始化super(Net, self).__init__()# 定义线性层1self.fc1 = nn.Linear(input_size, 10)# 初始化权重,何凯明均匀初始化，加快计算速度，适用于relu，有效环节梯度消失或爆炸问题nn.init.kaiming_uniform_(self.fc1.weight)# 初始化偏置nn.init.zeros_(self.fc1.bias)# 初始化线性层2self.fc2 = nn.Linear(10, 4)nn.init.kaiming_uniform_(self.fc2.weight)nn.init.zeros_(self.fc2.bias)# 初始化线性层3self.fc3 = nn.Linear(4, 1)# xavier 适用于sigmoid,tanh等激活函数nn.init.xavier_uniform_(self.fc3.weight)nn.init.zeros_(self.fc3.bias)# 定义类方法，前向传播def forward(self, x):x = F.relu(self.fc1(x))x = F.relu(self.fc2(x))# 二分类sigmoid激活函数x = F.sigmoid(self.fc3(x))return x# 初始化模型
input_size = 10
# 基于父类的功能，放入参数，自动执行前向传播的方法，计算前向传播的最终值
model = Net(input_size)
print(model)
# 定义损失函数,BCELoss二元交叉熵损失，适用于二分类，概率在0-1之间，sigmoid正好在0-1之间
criterion = nn.BCELoss()
# 优化器,自适应矩估计
optimizer = optim.Adam(model.parameters(), lr=0.01)# 训练模型def train(epochs):# 打开训练模式model.train()# 数据准备x = torch.randn(100, input_size)y = torch.randint(0, 2, (100, 1)).float()for epoch in range(epochs):# 前向传播预测值y_pred = model(x)# 计算损失loss = criterion(y_pred, y)# 梯度清零optimizer.zero_grad()# 反向传播计算梯度loss.backward()# 更新梯度optimizer.step()# 打印训练效果print(f'Epoch: {epoch}, Loss: {loss.item():.4f}')# 测试模型def test():# 打开测试模式model.eval()x = torch.randn(100, input_size)y = torch.randint(0, 2, (100, 1)).float()# 预测值with torch.no_grad():y_pred = model(x)# 将二分类大于0.5，变为1类，float（）把false变为0.0，把true变为1.0y_pred = (y_pred > 0.5).float()score = (y_pred == y).float().mean().item()print(f'Score: {score:.4f}')if __name__ == '__main__':epochs = 10train(epochs)test()# 测试结果可能0.5左右是正常的因为所有的是随机的也就是0.5左右激活函数的作用是在隐藏层引入非线性，使得神经网络能够学习和表示复杂的函数关系，使网络具备非线性能力，增强其表达能力。
激活函数通过引入非线性来增强神经网络的表达能力，对于解决线性模型的局限性至关重要。由于反向传播算法(BP)用于更新网络参数，因此激活函数必须是可微的，也就是说能够求导的。