当前位置：首页 > news >正文

小样本学习和元学习

news 来源：原创 2025/4/20 12:14:17

一、小样本学习

1、小样本学习介绍

小样本学习（Few-Shot Learning, FSL）是机器学习的一个分支，旨在解决模型在极少量标注样本（甚至单样本）下快速学习和泛化的问题。其核心目标是让模型具备类似人类的“举一反三”能力，通过少量示例就能识别或处理新任务。

传统深度学习需要大量标注数据，但在现实场景中（如医疗、罕见物体识别），标注数据可能极其稀缺。

2、小样本学习的的关键方法

小样本学习的实现通常依赖以下技术：

元学习（Meta-Learning）：训练模型掌握“如何学习”，而非直接学习特定任务。

数据增强与生成：利用生成对抗网络（GAN）或变分自编码器（VAE）生成合成样本，扩充训练数据。

度量学习（Metric Learning）学习一个嵌入空间，使得相似样本靠近、不相似样本远离。

迁移学习（Transfer Learning）在大规模数据集（如ImageNet）上预训练模型，再微调少量新数据。例如：冻结底层特征提取层，仅调整分类头。

3、学习框架

首先使用一个较大的数据集作为训练集training set，这个训练集是有标签的，每个标签下有充足的样本，使用合适的网络模型进行训练，使模型学会区分每一类数据的差别，即训练出一个相似度函数。训练后，给模型一个query，这个query没有出现在原始训练集中，同时提供一个支持集supprot set，支持集中有小样本数据，这些数据也有标签。通过对比query和support set中照片的相似度，找到与query最相似的照片，进而得到query的标注数据。

对于support set中的一些概念：给出k个类别就是k-way，每个类别有n个样本就是one-shot，下图所示的支持集是six-way one-shot。不难理解，如果支持集中分类的类别数越多，则模型想要挑选出最合适的类别会更难，accuracy会下降；如果支持集中每个类别提供的样本数越多，则越容易捕捉到共同特征，找到正确分类，accuracy会更高。如下图所示。

小样本学习与传统监督学习的区别：传统的监督学习要求模型学习训练数据，并将其泛化到测试数据，而few-shot learning或者meta learning是让模型自己学会学习。

二、训练相似度函数的方法：孪生神经网络（siamese network）

1、对比损失优化

①数据标记：从原始数据集中生成正负样本对。正样本对是从同一类别中随机选取两个样本（例如同一人的不同人脸图像），负样本对是从不同类别中各选一个样本（例如不同人的图像），形成如下图所示的样本对。

②模型构建：使用同一个卷积神经网络提取图片特征，得到表征图片的特征向量。使用 $z=|h_1-h_2|$ 度量两个特征向量之间的差异，后接全连接层得到一个标量，使用sigmoid函数将标量值映射到-1~1之间，输出值越接近target说明分类越准确。损失函数是target和output的差异，通过反向传播更新模型参数，使输出更接近target。

③模型应用：给定一个query和一组支持集，将query和支持集中的每个样本组队输入到模型中，得到一个相似度输出，输出值最大的pair的支持集中样本标注即是该query的标注。

2、三元组损失优化（triplet loss）

三元组损失（Triplet Loss） 是深度学习中的一种损失函数，专门用于训练模型学习区分性特征表示（即让相似样本在特征空间中靠近，不相似样本远离）。

①数据标记：三元组损失通过同时比较一个锚点样本（Anchor）、一个正样本（Positive）和一个负样本（Negative）。

Anchor（A）：选定的基准样本。

Positive（P）：与 Anchor 同类的另一个样本。

Negative（N）：与 Anchor 不同类的样本。

②模型构建：同样可以使用同一个卷积神经网络得到图片的特征向量，优化模型使得：锚点与正样本的距离 d(A,P) 尽可能小（同类更接近）。锚点与负样本的距离 d(A,N) 尽可能大（异类更远离）。并且要求 d(A,P)d(A,P) 至少比 d(A,N) 小一个边际值（Margin）α。

loss的数学表达式： $L(A,P,N)=max(d(A,P)+\alpha -d(A,N),0)$