什么是 AI 中的少样本学习？使用最少示例快速适应

少样本学习是一种机器学习方法，它训练 AI 模型仅使用少量标注示例来执行新任务。该技术无需数千或数百万个训练样本，而大多数监督模型都需要这些样本。当数据稀缺、收集成本高或变化迅速时，它非常有用。

使用少样本学习的模型已出现在图像分类、文本分类和推荐系统中。该方法让团队能够更快地测试想法，并降低将模型适应专业领域的成本。

关键要点

• 少样本学习使模型能够从少量示例中泛化，而非依赖海量数据集。

• 该方法结合支持集、查询示例和学习到的相似性度量来进行预测。

• 它不同于零样本学习（不使用示例）和完全监督学习（需要大量标注集合）。

• 实际部署已在医学影像、客户支持路由和快速产品分类中展现价值。

• 上下文感知代理可以通过从个人知识库中检索相关历史示例来借鉴相同原理，而无需重新训练。

少样本学习定义

少样本学习指任何训练机制，其中模型针对每个新类别接收 1 到大约 20 个标注示例。目标是学习一个函数，将这些示例映射到未见查询项的正确标签。

三个核心属性定义了该设置。首先，支持集包含有限的标注示例。其次，查询集包含模型必须在无需进一步训练的情况下分类的项目。第三，模型必须通过相似性或元学习机制将先前的训练知识迁移到当前任务。

该方法不同于标准监督学习，因为训练分布和测试分布包含不同的类别。因此，成功取决于模型学习可泛化的比较策略，而非记忆固定的类别表示。

少样本学习的工作原理

该过程从嵌入步骤开始，将每个输入映射到共享向量空间。第二步将每个查询向量与支持向量进行比较，以识别最接近的匹配。

情景构建

训练以短情景进行。每个情景从模型之前未见过的类别中采样一个小支持集和一个查询集。模型在支持集上更新参数，并立即在查询集上进行评估。

度量学习

许多实现学习距离函数而非类别边界。原型网络计算每个类别的支持示例的平均嵌入，并将查询分配给最近的原型。关系网络学习一个显式的比较模块，对示例对进行评分。

元优化

另一类方法优化一个初始化，使其能快速适应新任务。模型无关元学习在支持集上执行几次梯度步骤，并在查询集上衡量性能，然后相应地调整初始参数。

该方法仍面临限制。当支持示例包含噪声或类别存在细微差异时，准确率会急剧下降。当前研究重点在于更好的正则化和混合方法，将少样本模块与更大的预训练主干相结合。

少样本学习与零样本学习对比

[示例数量]

• 少样本学习：依赖每个类别 1 到 20 个标注示例。

• 零样本学习：使用零示例，完全依赖辅助信息（如文本描述）。

[知识迁移]

• 少样本学习：通过对真实实例的显式比较来迁移知识。

• 零样本学习：通过语义嵌入或属性向量来迁移知识。

[典型准确率]

• 少样本学习：当有少量干净示例可用时，通常超过零样本性能。

• 零样本学习：当根本无法收集标注数据时仍然有用。

当可以快速获得少量示例时，选择少样本学习。当标注不可能或新类别出现速度快于任何标注过程时，选择零样本学习。

实际应用

医学影像团队应用少样本学习，仅从几十张扫描中识别罕见病症。模型在预训练期间从大量常见病例中学习，然后在无需收集数千张新图像的情况下适应罕见病症。

电子商务平台在每个类别仅看到少量过去工单后，将客户消息路由到正确部门。支持团队无需重新训练整个系统即可添加新问题类型。

内容审核系统使用少量已确认示例，对社交媒体帖子中的新兴主题进行分类。这种快速适应减少了新趋势隔夜出现时的响应延迟。

少样本学习的实践应用

少样本技术目前对大多数个人 AI 代理而言仍处于边缘地位。remio 则维护一个五级记忆系统，长期存储会议、文档和决策。当用户提出新问题时，代理会检索相关的历史项目，并在无需显式重新训练的情况下综合答案。

这种基于检索的方法通过提供用户自身历史中的具体示例，实现了与少样本学习类似的结果。这些示例保持私密，并随着新数据到达自动更新。

关于少样本学习的常见问题

Q: 少样本学习需要特殊硬件吗？

A: 大多数当前实现运行在与标准训练相同的 GPU 上。较小的支持集在适应期间减少了内存使用。

Q: 少样本学习与迁移学习有何不同？

A: 迁移学习重用来自大型源任务的权重。少样本学习添加了一个显式阶段，学习比较小型支持集，而不改变基础模型权重。

Q: 少样本学习能否处理文本数据？

A: 可以。将句子嵌入然后与少量标注示例进行比较的模型现已支持意图检测和实体提取等任务。

Q: 当支持示例有噪声时会发生什么？

A: 准确率会迅速下降。因此，研究将少样本模块与过滤步骤配对，在比较前移除低质量的支持项目。

Q: 少样本学习今天是否已准备好用于生产？

A: 多个生产系统已为分类和检索提供少样本组件。性能仍因领域而异，需要对每个新任务进行仔细评估。