2020TIFSReID:BiDirectionalCenterConstrainedTopRankingforVisibleThermalPersonReIdentific

Bi-Directional Center-Constrained Top-Ranking for Visible Thermal Person Re-Identification
本文发表于2020 TIPS&＃xff0c;是Visible thermal person re-identification via dual-constrained top-ranking的改进版本。

当前的问题及概述&＃xff1a;
Motivation与Visible thermal person re-identification via dual-constrained top-ranking基本相似&＃xff0c;指出除了由于相机规格的不同而造成的跨模态差异外&＃xff0c;由于不同的相机环境和人体姿态等原因&＃xff0c;使得VT-REID还存在着较大的跨模态和模内变化。
本文提出了一种新的具有双向双重约束网络来学习判别特征。它的特点有两个方面:1)端到端学习没有额外的度量学习步骤2)双约束同时处理跨模态和模态内的变化&＃xff0c;保证特征的可识别性。3)提出了一种基于双向中心约束的top-ranking (eBDTR)算法&＃xff0c;该算法将前两个约束条件转化为一个公式&＃xff0c;同时保留了处理跨模态和模态内变化的特性。
模型及loss&＃xff1a;

1.文章的框架同Visible thermal person re-identification via dual-constrained top-ranking一致&＃xff0c;具体不过多赘述。Loss部分&＃xff1a;
1)Ranking Loss Revisit&＃xff1a;

bi_rank loss中&＃xff0c;目的是使得D&＃xff08;xi,zj&＃xff09; 2)Cross-Modality Top-Ranking Constraint&＃xff08;双向双约束度量损失&＃xff09;

使得不同模态的同一ID小于不同模态的不同ID。
3)Intra-Modality Top-Ranking Constraint&＃xff08;同一模态内部损失&＃xff09;

使得不同ID在同一模态的距离增大。
4)Identity Loss

以上的内容都是与Visible thermal person re-identification via dual-constrained top-ranking一致&＃xff0c;下面是本文改进的部分&＃xff1a;
2 Bi-Directional Center-Constrained Top-Ranking&＃xff08;双向中心一致性top-ranking&＃xff09;

从图中可以看到&＃xff0c;本文将样本与中心相似度进行比较&＃xff0c;而不是将样本与样本相似度进行比较。思路与Hetero-Center Loss for Cross-Modality Person Re-Identification一文的设计思路相似&＃xff0c;可以看到&＃xff1a;

其中Cyi表示yi类别中心的向量C&＃xff0c;xi为可见光特征&＃xff0c;K为batch size。本文还假设在两种异质模态中&＃xff0c;每个带有标签yi的人的身份也应靠近中心cyi。所以&＃xff0c;bi-directional center-constrained top- ranking loss&＃xff1a;

使得同一ID的RGB和IR feature map与该类别&＃xff08;即同一ID&＃xff09;中心的向量的距离小于不同类别&＃xff08;即不同ID&＃xff09;的中心向量的距离。也就是说&＃xff0c;该公式将anchor和sample的距离改为anchor与center的距离&＃xff0c;有两个优点&＃xff1a;1&＃xff0c;减少计算量&＃xff0c;若k张RGB图像与K张IR图像进行输入&＃xff0c;那么原来的计算量为2Kk次模态间计算和2Kk次模态内计算&＃xff0c;而本文的idea仅有2K*k次与中心的对比计算2&＃xff0c;保留了处理跨通道和通道内变化的属性。一方面&＃xff0c;center-constrained top- ranking loss确保了来自不同模式的人的身份是可区分的。另一方面&＃xff0c;中心本身限制了样品的同质性&＃xff0c;无论是从可见模态还是热模态都是集中的&＃xff0c;这同时解决了模态内的变化。
总loss&＃xff1a;

实验&＃xff1a;
数据集&＃xff1a;RegDB and SYSU-MM01
消融实验&＃xff1a;

和其他框架进行比较&＃xff1a;