人脸识别算法调研
调研最新的人脸识别算法
基本概念
- Detection is the ability to detect if there is ‘so mething’ vs nothing. 即判断存在性
- Recognition is the ability to recognize what type of thing it is (person, animal, car, etc.). 识别类型。但是facial recognition一般还是指能够通过比较和分析基于人的面部轮廓的模式来独特地识别或验证一个人。
Identification is the ability to identify a specific individual from other people. 识别具体的个例（人）
Authentication：Facial Authentication（面部认证），即验证一个人是否是他/她声称的那个人
人脸识别算法
经典算法
2014【Facebook】DeepFace: Closing the Gap to Human-Level Performance in Face Verification
2014【港中大】Deep Learning Face Representation from Predicting 10,000 Classes
2014【港中大】Deep Learning Face Representation by Joint Identification-Verification
2014 【港中大】Deeply learned face representations are sparse, selective, and robust
2015【Google】FaceNet: A Unified Embedding for Face Recognition and Clustering（Tripled Loss）
2015【港中大】DeepID3: Face Recognition with Very Deep Neural Networks
2015【牛津】VGG
==2017【佐治亚理工】SphereFace: Deep Hypersphere Embedding for Face Recognition==
==2018【腾讯】CosFace: Large Margin Cosine Loss for Deep Face Recognition==
==2018【伦敦帝国理工】ArcFace: Additive Angular Margin Loss for Deep Face Recognition== pdf、code
“目前最为主流的，在学术界达到SOTA，在工业界也广泛使用”。
使用angular margin based losses：
其中，$\theta_{j}$是$f_i$和第$j$个类的中心$w_j$之间的角度，
$m$是 additive angular margin，$s$是缩放参数。
上大&京东AI研究院综述
发表于2021年
https://arxiv.org/pdf/2009.13290.pdf
端到端人脸识别系统的流程，分为人脸检测(Face Detection)，面部对齐(Face Alignment)，人脸表示(Face Representation)，最后就是计算出相似度来判断是否是同一人。
Face Detection
有以下几类：multi-stage, single-stage, anchor-based, anchor-free, multi-task learning, CPU real-time和 problem-oriented methods
性能的测试如下：
Face Representation
感觉这些就是比较流行的人脸识别算法
最新研究
现在比较主流的人脸识别算法有ArcFace、Sphereface、CosFace(Additive Margin Softmax)用基于Margin的softmax损失函数，CurricularFace等是用基于mining的softmax。主流的模型有FaceNet、ImageNet
AAAI 2020
CVPR2020
==CurricularFace: adaptive curriculum learning loss for deep face recognition== pdf、code
提出了Adaptive Curriculum Learning loss (CurricularFace)，在训练的不同阶段给不同困难程度的问题不同的重要性。
损失函数为：
其中，
算法如下所示：
这个算法对模型也没有提出要求，实验中主要使用ResNet100和ResNet50
ICCV 2021
SynFace: Face Recognition with Synthetic Data pdf、code
提出了用合成的人脸图像来进行模型训练的方法。 模型首先使用DiscoFaceGAN组成混合人脸生成器，可以混合两张生成图像。之后，生成的图象与一部分真实图象混合。然后，特征提取器以混合人脸图像作为输入，提取相应的特征。提取的特征要么用于计算模型训练的基于边际的softmax损失(其中W1、W2是两个不同类别的中心权重向量，x是特征向量)，要么作为人脸表示来执行人脸识别和验证任务。
NeurIPS 2021
Fair SA: Sensitivity Analysis for Fairness in Face Recognition pdf、
以扩展 VPSA 的通用框架的形式提出了一种基于鲁棒性的新公平性评估
CVPR 2021
When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework pdf、code
首先，提出了一个统一的多任务学习框架来联合处理AIFR和FAS，该框架可以学习年龄不变的身份相关表征，同时实现效果好的人脸合成。其次，提出了一种基于注意力的特征分解方法在高级特征maps上分离与年龄相关和身份相关的特征，与之前对特征向量的无约束分解相比，该方法可以约束分解过程。结合年龄估计和人脸识别任务，同时结合连续域自适应来监督分解过程。第三，与之前实现年龄group-level人脸转换的one-hot编码相比，提出了一种新的身份条件模块来实现identity-level人脸转换，并通过权重共享策略提高合成人脸的年龄平滑度。
==MagFace: A Universal Representation for Face Recognition and Quality Assessment==pdf、code
在ArcFace的基础上，提出了MagFace（一种改进的损失函数），它在类间间隔之外，充分利用方向(direction)和模长(magnitude)两个维度的信息来衡量人脸质量问题，有更好的类内分布，也有利于聚类问题。这可以防止模型在嘈杂的低质量样本上过度拟合，并改善野外的人脸识别。是对识别loss进行优化，不需要额外的标注或者网络结构调整，即插即用。
MagFace对ArcFace的改进就是将additive angular margin $m$替换成了基于特征模长的函数$m(a_i)$，并且加入了一个基于特征模长的惩罚项$\lambda_gg(a_i)$，这是分类损失和归一化损失之间的tradeoff。
WebFace260M: A Benchmark Unveiling the Power of Million-Scale Deep Face Recognition pdf
一个新的百万级人脸基准
ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis pdf
目前公开最大的深度人脸伪造数据集
==Spherical Confidence Learning for Face Recognition== pdf、code
19年ICCV，PFE首先将不确定性引入了人脸识别中，假设特征为多元独立高斯分布。但是由于人脸特征归一化破坏了多元独立高斯分布的假设，导致训练不稳定。SCF的改进主要就是更换了分布，从多元独立高斯分布变为超球面上的vMF分布。提出了在spherical space上进行人脸确定性学习的框架：将von Mises Fisher密度扩展到r-半径，并推导了优化目标的闭式解，可解释性更强。
CRFace: Confidence Ranker for Model-Agnostic Face Detection Refinement pdf
【Face Detection】propose a confidence ranking network by taking the bounding box and confidence prediction from a face detector to output new refined confidences.
Cross-Domain Similarity Learning for Face Recognition in Unseen Domains pdf
【跨域小样本学习】引入了一种新的跨域度量学习损失：Cross-Domain Triplet (CDT)损失，以提高未知区域的人脸识别
Dynamic Class Queue for Large Scale Face Recognition In the Wild pdf、code
（注：CSIG FAT-AI 2021 masked face recognition challenge冠军）
作者提出 dynamic class queue（DCQ）来解决计算资源成本和长尾分类问题。
Consistent Instance False Positive Improves Fairness in Face Recognition pdf、code
基于softmax损失，提出了一种新的损失函数：假阳性率惩罚损失，该损失函数通过提高实例 False Positive Rate（FPR）的一致性来减轻人脸识别的偏差。该方法不需要人口统计学标注，可以减轻由各种属性划分的人口群体之间的偏差，而且这些属性不需要在训练中预定义。
Mitigating Face Recognition Bias via Group Adaptive Classifier pdf、code
本文设计一个特殊的卷积操作，允许这个卷积操作可以根据输入样本的人种属性进行自适应调整，最终做到为不同的人种设计不同的特征提取计算。把人脸上能提取出来的特征划分成两类：所有人脸巩共有的通用特征，和与人种相关的特有特征。使用各个人种对应的独有模式来提取特征，并且使用通用模式来提升模型泛化性。基于这个思想提出模型group adaptive classifier（GAC）。它包含适应层adaptive layer和自动化模块automation module。适应层中包含适应卷积核和通道注意力两部分。
首先，使用一个人口统计学属性分类器Demographic Attribute Classifier来获得输入图片的人种标签。然后就是2个模块适应模块adaptation module和自动化模块automation module（先不继续深入研读了）
Variational prototype learning for deep face recognition pdf、code
建立memory bank存储历史人脸特征，在计算softmax-based loss时，将历史人脸特征与分类权重加权融合，得到动态可变的分类权重(Variational Prototype)，等于用一个分类层完成了pair-based比对和class-based优化。
CVPR 2022
DeepFace-EMD: Re-ranking Using Patch-wise Earth Mover’s Distance Improves Out-Of-Distribution Face Identification pdf、code
Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin pdf、code
【表情识别】
An Efficient Training Approach for Very Large Scale Face Recognition pdf、code
本文提出的方法在一定层度上缓解大数据量情况下，dataloader和FC层（全连接层）参数量的限制。本文提出的方法为 Faster Face Classification($F^2C$)，运用Dynamic Class Pool（动态类池，DCP）来动态地保存和更新特征，可以将DCP视为FC层的替代。
==AdaFace: Quality Adaptive Margin for Face Recognition== pdf、code
提出了一种新的损失函数来通过图像质量强调不同的困难样本的重要性。本文的方法通过用feature norms来近似图像质量，这里是以自适应边缘函数的形式来实现这一点。
本文提出的损失函数和基于Margin的Softmax损失函数之间的区别如下所示。
图像质量的指标：
，是将图像的feature norm进行了正则化，其中$\mu_z$和$\sigma_z$分别是一个batch中$||z_i||$的平均值和标准差。$\left \lfloor · \right \rceil_{-1}^1$在-1和1之间截断数值，并停止梯度的流动。Adaptive Margin Function：
这个方法对模型的结构其实没有要求，实验中使用的是ResNet50、ResNet100等模型
p.s.文中这张表还挺好的，基本上总结了现在比较流行的人脸识别算法的损失函数
Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC pdf、code
提出了PFC(一种FC的变体)，来解决类间冲突和长尾分布问题。该方法在每次迭代中，都会选择正类中心和一个随机的负类中心子集来计算基于margin的softmax损失。在整个训练过程中，所有的类中心仍然保持不变，但在每次迭代中只选择和更新一个子集。因此，计算要求、类间冲突的概率以及对尾部类中心的被动更新频率都大大降低。
Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing pdf、code
【人脸防伪】 提出了Shuffled Style Assembly Network (SSAN) ，提取并重新组合不同的内容和风格特征，形成一个风格化的特征空间。content information主要记录一些全局语义特征和物理属性。style information保留了一些有利于加强区分活体和欺骗的鉴别性信息。总体结构如下所示：
内容特征的提取：
使用梯度反转层(GRL)来优化内容特征生成器和领域判别器(content feature generator and domain discriminator)
风格特征的提取：
接着，使用style assembly layers (SAL)来将内容特征和风格特征结合起来。SAL的建立使用AdaIN layers和卷积运算：
其中，
ECCV 2020