细粒度级领域对齐和知识迁移的领域自适应

      无监督领域自适应的目标是将知识从具有丰富标注的源域迁移至相关但没有标注的目标域中，源域和目标域共享相同的标签空间但数据分布存在差异。现有的方法大多通过对齐源域和目标域的整体分布来实现知识的迁移，往往忽略了更细粒度级如类别和样本级的对齐，导致了错误的知识迁移。研究团队从小样本学习中的样本级的交互中得到启发，创新性地将无监督领域自适应问题构建成小样本学习问题，从而实现了细粒度级的领域对齐，提高了知识迁移的准确性。

图 1 跨注意力图正则的无监督领域自适应训练过程示意图

       为了实现上述目标，研究团队提出两个关键技术，分别是高置信度样本选择和跨注意力图正则约束。对于高置信度样本选择，研究团队通过对无监督领域自适应和小样本学习两个问题的构建范式的分析，利用该策略获取目标域可靠的伪标签，并获得标签集合相同的源域和目标域样本，从而弥合了和小样本学习之间的差异，使得细粒度级的领域对齐成为可能。对于跨注意路图正则约束，研究团队通过对构建出的跨注意力图的模式进行分析，提出了跨注意力图正则项，构建鼓励正确匹配和抑制错误匹配的约束函数，提高源域和目标域之间的匹配准确度，保证知识迁移的有效性和合理性。

       综上所述，本研究针对无监督领域自适应中细粒度级领域对齐和知识迁移问题，借助小样本学习的思想，提出一个即插即用的方法，可以简单高效地利用源域和目标域之间的样本级匹配信息。研究成果已发表于国际期刊Neural Networks，论文第一作者为工程实验室博士研究生李经纬。该研究是领域偏移场景下跨域图像识别的基础，为无监督领域自适应和后续更具挑战性的相关任务的研究提供了一种新思路。

相关论文：

1. Jingwei Li, Huanjie Wang, Ke Wu, Chengbao Liu, Jie Tan*. Cross-attention-map-based regularization for adversarial domain adaptation[J]. Neural Networks, 2022, 145: 128-138. [DOI]

（2023年2月6日）