面向隐私保护的无数据量化方法

      模型量化是压缩和加速深度神经网络的关键技术，对推动深度学习算法落地起到至关重要的作用。然而，几乎所有现有的量化方法都严重依赖原始训练数据集进行微调，而由于隐私和安全问题，这些数据集在许多实际场景中无法获取。为了解决这个问题，基于模型中的先验信息生成样本的无数据量化方法成为新兴的研究领域。然而，现有的方法未能充分地利用先验信息，因此不能完全恢复真实数据的特征，也不能对量化后的模型提供有效的监督，导致性能不佳。为此，高速视觉研究部团队提出一种新型的具有对抗性学习风格的无数据量化框架，如图1所示，其中两个鉴别器分别促进BN层分布的匹配和最大化全精度模型和量化模型之间的差异，能够有效地生成样本并学习量化模型。

 图1 双鉴别器对抗学习的无数据量化框架（左）  基于Patch相似度的ViT无数据量化框架（右）

       基于无数据量化的基本思路，研究团队进一步在vision transformer（ViT）上尝试数据解耦的模型量化方法，提出一个用于ViT的基于Patch相似性的无数据量化框架，以便能够根据视觉变换器的独特属性生成“逼真的”样本来校准量化参数，如图2所示。我们分析了自我注意模块的属性，揭示了其在处理高斯噪声和真实图像时的一般差异（Patch相似性），并据此设计了一个相对值指标，以优化高斯噪声来接近真实图像，然后利用它来校准量化参数。我们在各种基准上进行了广泛的实验和消融研究，甚至可以优于真实数据驱动的方法。

      上述系列研究成果相继发表于国际会议European Conference on Computer Vision和国际期刊NeuroComputing。这一系列研究工作将模型部署过程与真实数据解耦，极大地提高量化的效率和便捷性，解决模型量化中的数据隐私和安全问题，推动人工智能算法在实际场景中安全地落地应用

相关论文：

1. Zhikai Li, Liping Ma, Mengjuan Chen, Junrui Xiao, and Qingyi Gu. Patch Similarity Aware Data-Free Quantization for Vision Transformers, European Conference on Computer Vision, 154-170, 2022. [DOI]
2. Zhikai Li, Liping Ma, Xianlei Long, Junrui Xiao, and Qingyi Gu, Dual-Discriminator Adversarial Framework for Data-Free Quantization, Neurocomputing, 511: 67-77, 2022. [DOI]
3. Junrui Xiao, He Jiang, Zhikai Li, and Qingyi Gu*, Rethinking Prediction Alignment in One-stage Object Detection, Neurocomputing, 2022, 541: 58-69. [DOI]

（2023年2月7日）