在Pytorch中使用Tensorboard可视化训练过程
【在Pytorch中使用Tensorboard可视化训练过程】 https://www.bilibili.com/video/BV1Qf4y1C7kz/?share_source=copy_web&vd_source=f00bfb41b3b450c3767070ed82f30ac8
主要功能：
1.保存网络结构图
2.保存训练集的损失Loss，验证集的正确性Accuracy以及学习率变化等
3.保存训练的权重
4.保存预测图片的相关信息
使用方法：
①summarywriter来自于torch.utils.tensorboard模块中导入
from torch.utils.tensorboard import SummaryWriter②首先需要实例化summarywriter对象，需要定义一个将tensorboard文件保存路径
在实例化后会自动创建文件
# 实例化SummaryWriter对象
tb_writer = SummaryWriter(log_dir="runs/flower_experiment")③想要看到模型结构图需要在实例化模型后，创建init_img，使图形进行正向传播；通过模型的正向传播得到结构图
# 实例化模型
model = resnet34(num_classes=args.num_classes).to(device)# 将模型写入tensorboard
init_img = torch.zeros((1, 3, 224, 224), device=device)
tb_writer.add_graph(model, init_img)通过实例化模型add_graph函数将模型和初始图片传入
④在每个训练的epoch之后，在验证完模型后，会保存当前轮数的训练集平均损失Loss和验证集的Accuracy以及learning rate
# add loss, acc and lr into tensorboard
print("[epoch {}] accuracy: {}".format(epoch, round(acc, 3)))
tags = ["train_loss", "accuracy", "learning_rate"]
tb_writer.add_scalar(tags[0], mean_loss, epoch)
tb_writer.add_scalar(tags[1], acc, epoch)
tb_writer.add_scalar(tags[2], optimizer.param_groups[0]["lr"], epoch)⑤添加预测图片，使用add_figure将结果保存为图片存储
if fig is not None:tb_writer.add_figure("predictions vs. actuals",figure=fig,global_step=epoch)⑥添加直方图，使用add_histogram
tb_writer.add_histogram(tag="conv1",values=model.conv1.weight,global_step=epoch)效果：
展示的网络架构图，按层显示
values可以传入很多格式，包括torch.tensor，numpy.array，string，blockname
打开方式：
结果保存于事先设定的路径
在终端进入路径，或在文件夹按住shift和鼠标右键打开终端
在终端输入命令，需要加一个后面的参数打开指定数目的图片，否则会显示默认值
tensorboard.exe --logdir=./ --samples_per_plugin=images=50
显示信息：
scalars中的显示信息
images中的显示信息
可以看到随着训练预测的结果越来越精准
graphs中保存每一个网络层结构中的信息
histogram中保存的为直方图
横坐标数值，纵坐标对应出现的次数，在中间分布最密集，随着不断迭代次数会变
点击左侧overlay切换
在distributions中展示权重变换
