超越 GPT：新兴基础模型及其细分应用

多家公司现在推出针对狭窄领域而非通用对话构建的基础模型。

这些系统使用较小的数据集和特定任务层。它们以比GPT规模训练运行更少的计算达到目标性能。

这一转变改变了团队评估模型是否适合其工作的方式。

领域特定训练改变了成本曲线

专注于法律文件或临床笔记的模型在经过整理的语料库上进行训练，而不是网络抓取。这种方法将令牌数量减少了几个数量级，同时在这些任务上保持高准确性。

团队报告称推理费用降低，因为模型针对预期输出需要更少的参数。 The Verge

以这种方式训练的基础模型避免了未使用知识的开销。

行业示例显示出清晰的任务边界

一个模型仅处理合同审查和条款提取。另一个生成通过监管检查的合成医学成像数据。

第三个系统将设计草图转换为单个架构内的制造就绪CAD文件。

每个示例都停留在其数据范围内，不尝试开放式对话。 9to5Google

范围缩小时会出现权衡

狭窄训练会在目标领域之外留下空白。用户必须为其他需求维护单独的模型或路由层。

因此，团队会同时跟踪利基领域内的准确性以及模型之间上下文切换的成本。

监管和采购信号值得关注

关注FDA关于合成医疗数据的指导以及州律师协会关于AI生成合同的规则。任一文件都可能在十二个月内改变采用速度。 NYTimes

大型企业的采购团队也将发布更新的供应商问卷，引用这些更窄的模型。

这些更新将显示哪些组织将利基基础模型视为生产工具而非实验。