无监督域适应任务是将源域中现有的定义良好的任务知识转移到目标域标签未知的任务上。在实际应用中，域差异通常是不可控的，对于多模态数据相关的任务更是如此。因此，研究基于多模态数据的域适应任务具有非常重要的意义。由于标签在目标域中未知，如何学习多模态语义表示并成功地将分类器从源域泛化到目标域仍然是多模态域适应任务中有待解决的问题。为了解决这些问题，我们提出了一种多模态对抗网络(MMAN)，该网络将堆叠注意力机制应用于语义多模态表示学习，并通过对抗训练来减少域间差异，如图1所示。以前的域适应方法不能够充分利用源域的类别信息，我们使用多通道约束来捕获细粒度的知识类别知识，增强目标域样本的识别能力，提高目标域在单模态和多模态域适应问题上的性能。我们将该模型应用于两个不同的应用场景，包括跨域物体识别和跨域社会事件识别。大量的实验结果证明了该模型的有效性。研究成果发表在国际会议IEEE T-MM 2019上。

图1. 基于多模态对抗网络的信息融合方法