【PVR】《Adaptive Palm Vein Recognition Method》

[1]程良彬.自适应的手掌静脉识别方法研究[D].桂林电子科技大学,2023.DOI:10.27049/d.cnki.ggldc.2023.000681.

---

---

1、Background and Motivation

• 指纹识别的缺点
  容易被仿造，容易在采集设备上留下痕迹，对环境的要求高，皮肤上的杂质、液体都会影响识别的效率
• 人脸识别
• 声纹识别
• 虹膜识别

人体手掌的血管纹路错综复杂，一到成年就不会再改变，且两只手掌的掌静脉也不相同，因此掌静脉特征具有特异性和唯一性。

掌静脉识别技术因其高安全性和非接触性，在生物特征识别领域受到广泛关注。

现有掌静脉识别方法存在图像利用率低、图像放缩导致失真、用户信息易泄露等问题。

2、Related Work

接触式和非接触式掌静脉识别

特征录入、特征识别

图像预处理中包含图像增强（对比度调节、通道压缩、直方图均衡化等）和图像感兴趣区域（ROI, Region of Interest）提取

根据 ROI 提取的思路，可以将 ROI 提取方法分为定位手指谷底点的方法和定位图像质心的方法

特征提取算法大致可以分为两类，即基于图像处理的方法（基于图像结构特征的方法、基于纹理特征的方法、基于局部不变性特征的方法、基于子空间投影的方法。）和基于深度学习的方法。

3、Advantages / Contributions

• 提出了一种基于最大化手掌内切圆的掌静脉图像感兴趣区域提取方法
• 提出了一种自适应的掌静脉特征提取模型（resnet + SPP layer + FRN + loss）
• 提出了一种基于特征值的掌纹掌静脉特征融合算法
• 设计开发了一种基于掌纹掌静脉特征融合的身份认证系统

4、Method

4.1、Datasets and Metrics

香港理工大学多光谱掌纹数据库（PolyU MultiSpectral Palmprint）

同济大学非接触式掌纹掌静脉数据库（Tongji Contactless Palmprint & Palm vein Database）

两个数据集联合使用

4.2、基于最大化手掌内切圆的感兴趣区域提取方法

（1）图像预处理

二值化

---

进行二值化前，可以先对图像进行归一化，归一化指将图像的灰度限制在一定的范围内

OTSU 求轮廓（OTSU算法的核心思想是通过遍历所有可能的阈值，将图像分割为前景（目标）和背景两部分，使得这两部分之间的类内方差（intra-class variance）最小，或者说使得这两部分之间的类间方差（inter-class variance）最大，也称为最大类间方差算法。）

本文通过选取多个轮廓中最长的一个，来修正多峰现象。

---

图像高斯滤波

随着高斯滤波核尺寸的增大，二值图像内部的锯齿减少，但前景部分，即手掌面积也会相对减少

作者选用的核的大小为 51

---

基于定位手指谷底点的感兴趣区域提取方法

手腕中心点 $P_{wrist}$，取的是轮廓线与图像水平中分线在右侧相交的点

计算手腕中心点与轮廓点的距离，就可以得到辐射距离函数（RDF，Radial Distance Function）。而 RDF 函数中的极小值点，对应的就是手指的谷底点

为了排除大拇指谷底点 $P_{fake}$干扰，引入辅助点 $P_{start}$ 和 $P_{end}$

$P_{start}$ 和 $P_{end}$ 的取值是轮廓线与图像竖直中分线相交的点

---

基于最大化手掌内切圆的感兴趣区域提取方法（本文的方法）

先腐蚀

再求质心

腐蚀后的图像质心更加接近手掌区域的正中心

使用腐蚀后图像的质心位置作为坐标系原点，可以得到 ROI 坐标系。

---

确定感兴趣区域半径

先增大半径找到内切圆与轮廓的交点 $P_c$，记录好 $\theta$ 方便后续旋转

得到与轮廓点相交的圆后，显然该圆还有扩大的空间，因此沿相交的轮廓点$P_c$ 反方向扩大圆，可以将该内切圆扩至最大。

---

确定感兴趣区域形状

作者选取的式圆形 ROI 区域

由于图像处理中一般使用矩阵处理图像，为了使圆形 ROI 的背景部分不影响计算，在具体实现中使用固定的负常数值填充背景区域的像素点。

4.3、自适应手掌的掌静脉特征提取模型

数据增强

本文中所使用的数据增强方法包括随机旋转、属性变化（图像的亮度、对比度、饱和度、色调）和标准化

---

基于残差网络的手掌静脉特征提取模型

三种基于 ResNet 的掌静脉特征提取模型的 EER 值

ResNet50 模型在掌静脉特征提取上拥有最低的 EER，即示意图 3-3（b）中类间与类内距离曲线的交叉面积最小

---

自适应手掌的掌静脉特征提取模型

（1）多尺度输入：引入特征金字塔池化 SPP Layer 结构

spatial pyramid pooling

（2）归一化：FRN 替换 BN

Filter response normalization

使用 FRN 优化模型在 batch_size 较小时的性能

（3）loss：将交叉熵损失和中心损失联合使用

---

特征匹配策略

本文使用欧式距离作为特征之间距离的度量

---

掌静脉特征提取模型实验结果与对比

图 3-6（d） 效果最好

---

不同属性变换范围下的自适应掌静脉特征提取模型的 EER 值

---

不同旋转角度范围下的自适应掌静脉特征提取模型的 EER 值

---

不同中心损失比重的自适应掌静脉特征提取模型的 EER 值

---

与其他文献中的方法对比

4.4、基于掌纹掌静脉特征融合的身份认证系统

---

特征融合模型实验结果

掌纹、掌静脉 37 开效果更强

5、Conclusion（own） / Future work

• 最大内切圆找 RoI，先找一个交点，再以此不断外扩
• 行文排版有点不习惯，没有把别人的方法和自己的方法分开，全部揉在一起了
• 实验部分一招鲜，吃遍天，多次使用了 EER 示意图
• 数据集融合、loss 融合、多模态输入（掌纹掌静脉）、多模态输出结果融合
• 圆形 roi + padding 输入

---

更多论文解读，请参考 【Paper Reading】