infoPatch：利用局部对比学习突破小样本识别的性能瓶颈

TL;DR

在小样本学习（FSL）中，如何学习一个泛化性极强的“特征提取器”是核心。本文提出的 infoPatch 放弃了传统的全局匹配逻辑，转而挖掘图像**局部块（Patch）**之间的对比关系。通过监督对比学习、硬样本构造和一种新型的 PatchMix 增强方法，infoPatch 在 miniImageNet 和 tieredImageNet 等基准上刷新了记录，证明了“局部更比全局强”的直觉。

1. 痛点深挖：被“误导”的归纳偏置

在 FSL 的 Meta-learning 框架中，模型通常在源类上通过 Episode 训练。然而，模型往往会学到一些“投机取巧”的特征。例如，如果源类中的“马”总是出现在“草地”上，模型可能会把草地的绿色作为识别马的关键（Inductive Bias）。当目标类中出现绿色背景的其他物体时，模型就会失效。

此外，传统方法往往关注整张图的全局向量。但在样本极少的情况下，全局特征容易受到噪声干扰。人类可以通过局部（如 rhinoceros 的犀角）快速识别物体，AI 是否也能通过局部对比增强鲁棒性？

2. 核心方法论：infoPatch 的结构艺术

作者提出了一个优雅的框架，从对比学习的角度重塑了小样本嵌入模型。

2.1 Episodic 监督对比学习

不同于无监督对比学习，作者在每个 Episode 内利用类别标签构造正负对。对于任意 Query 图像，同类别的 Support 图像为正样本，异类别为负样本。公式上，它将 infoNCE 引入了 FSL 任务。

2.2 局部特征对比（Patch-wise Relation）

这是 infoPatch 的核心。模型不再是拿一个 $f_q$ 去匹配 $f_s$，而是将 Query 图像切分为 $WimesH$ 的网格。每一个 Patch 对应的特征向量都要独立地与 Support 图像进行对比。这种细粒度的匹配强迫网络学习到物体各部分与类别之间的本质联系。

图 1：infoPatch 架构。左侧展示了 Query Patch 与 Support 之间的对比逻辑，右侧展示了 PatchMix 增强流程。

2.3 PatchMix：精准降噪

为了进一步消除归纳偏置，作者提出了 PatchMix。在训练 Episode 时，随机将一张 Query 图的某个区域替换为另一张图的 Patch。不同于 CutMix 需要混合标签，PatchMix 在对比学习框架下依然保持 Patch 的原始标签，其目的是破坏图像内部简单的空间关联，迫使模型关注更具判别性的局部细节。

3. 实验结果：全线提升

在多个标准数据集上，infoPatch 表现出了极强的竞争力。

3.1 SOTA 对比

在 miniImageNet 上，infoPatch 在 1-shot 任务中达到了 67.67%，超过了传统的 ProtoNet 和较新的 FEAT。这证明了即使不引入复杂的 Attention 模块（如 CAN），仅靠优化嵌入空间的对比特性也能取得巨大成功。

表 1：在 miniImageNet 和 tieredImageNet 上的精度对比。

3.2 可是化证据：模型在看哪里？

通过热力图（Heatmap）分析发现，相比于 Baseline 方法，infoPatch 能更精准地锁定物体的核心区域（Foreground），且覆盖更完整。t-SNE 聚类图也显示，infoPatch 产生的特征簇更加紧凑，类间距离更大。

图 2：空间对应热力图。infoPatch 能够更准确地定位目标物体。

4. 深度洞察与总结

infoPatch 的成功可以归结为两点：“拆解”与“对抗”。

• 拆解：通过 Patch-wise 的对比，将复杂的图像匹配分解为简单的局部判别，降低了学习难度。
• 对抗：通过 Random Block 和 PatchMix 制造“困难”的学习环境，逼迫模型放弃肤浅的统计相关性，寻找本质的判别特征。

局限性：该方法对于网格大小（Grid Size）较为敏感。若 Patch 划分过细（如 $11imes11$ 以上），局部信息可能包含过多的背景噪声，反而干扰匹配效果。

总结：infoPatch 为小样本学习提供了一个简洁且强力的 Baseline，再次证明了在深度学习中，如何精细化地设计对比任务（Task Self-supervision）往往比追求复杂的网络架构更为关键。