基础模型是在广泛数据上进行大规模训练、能够适配多种下游任务的机器学习模型。它并非专为某一应用开发，而是提供可复用的能力或表征，供开发者在此基础上构建专用系统。基础模型可以处理文本、图像、音频，或这些模态的组合。这一术语描述的是模型作为共同技术基础的作用，并不指某种特定架构，也不意味着模型的可靠性有保证。(arxiv.org)
起源与范围
“基础模型”这一术语由斯坦福大学牵头撰写的2021年报告《基础模型的机遇与风险》提出。报告将此前在深度学习、迁移学习和大规模预训练等领域讨论的进展归纳到这一概念之下，既强调模型能力的复用，也指出单个模型的缺陷可能扩散到众多应用中。(arxiv.org)
大语言模型是基础模型的一种重要类型，但两者的范畴并不相同：基础模型还包括面向视觉和其他模态的模型。同样，基础模型与生成式人工智能存在交集，但不能互换使用。一些可广泛复用的模型主要为分类或检索生成表征，而非生成内容。仅凭参数数量或生成能力，都不能认定一个模型是基础模型；在广泛数据上训练以及能够适配下游任务，才是其核心特征。(arxiv.org)
预训练与表征
预训练是在模型适配特定应用之前培养其能力的过程。许多基础模型采用自监督学习，其训练目标从数据本身构造，而非由人工另行标注。语言模型可以预测序列中的下一个词元，而掩码语言训练则要求模型还原文本中被遮蔽的部分。这些训练目标使模型能够从大量原本没有标注的材料中学习。(arxiv.org)
2018年推出的BERT 语言模型展示了一种可复用的语言理解方法。它通过双向预训练，利用被遮蔽词元两侧的信息学习上下文表征。随后，预训练模型可以针对问答、语言推理等任务进行微调，而只需对架构做相对有限的任务特定调整。这说明了表征学习如何通过一个共享模型支持多种应用。(arxiv.org)
许多语言基础模型采用Transformer架构，但基础模型这一概念并不限定使用该架构。实证研究总结出的神经网络缩放定律描述了预测损失函数值、模型规模、数据集规模与训练计算量之间的关系。这些关系有助于刻画预训练的表现，但预测损失的改善并不等于模型在每种应用中都能可靠地遵循指令或保证事实准确。(arxiv.org)
适配与后训练
适配既可以改变模型参数，也可以只改变推理时提供给模型的信息。全量微调利用特定任务或领域的样例来更新预训练模型。参数高效微调则减少需要训练的参数数量。例如，低秩适应（LoRA）保持预训练权重不变，同时学习对选定权重矩阵的低秩更新。相较于为不同任务分别保存经过全量微调的模型副本，这种方法降低了适配所需的资源和存储需求。(arxiv.org)
基于提示的适配则通过指令或示例来指定任务。2020年发表的GPT-3研究表明，在不进行梯度更新的情况下，仅利用输入中提供的示例，模型就能在多种语言任务上取得较好的表现。这一区别十分重要：提示中的少样本示例可以影响当前回答，却不构成对模型的永久性重新训练。提示工程关注的正是这些输入的设计。(arxiv.org)
后训练可以进一步塑造模型的交互行为。一种已有研究记录的方法，将基于示例的监督学习与基于人类反馈的强化学习相结合，利用人类对输出的排序来指导后续优化。InstructGPT研究表明，与规模更大的预训练模型相比，这一过程能够使模型的回答更符合人类偏好，但错误和局限仍然存在。(arxiv.org)
检索增强生成将预训练的生成模型与从外部资料集合中检索到的信息相结合。它提供了一种利用可访问文档的方法，使模型不必完全依赖编码在参数中的信息。最初的RAG研究报告了该方法在知识密集型语言任务上的改进，其中包括在实验中生成比仅依赖模型参数的基线系统更符合事实的内容。(arxiv.org)
模态与应用
基础模型的方法并不限于文本。2021年发表的CLIP利用图像—文本配对数据进行对比学习，将视觉内容与自然语言描述关联起来。它学到的表征支持使用文本形式的类别描述进行分类，无需特定任务的训练样例。这是通过多模态学习将计算机视觉与基于语言的监督相连接的一个实例。(arxiv.org)
语言模型可以通过统一的文本接口支持问答、摘要生成和机器翻译。不过，模型在不同任务和数据集上的表现各不相同；在一种情境下成功迁移，并不能证明它在其他情境下具备同等能力。因此，基础模型提供的是可复用的组件，而非完整且在所有场景下都可靠的应用系统。(arxiv.org)
评估与局限
评估并不只是考察单一的准确率分数。HELM研究框架使用准确性、校准度、鲁棒性、公平性、偏见、毒性和效率等指标，评估语言模型在不同场景中的表现。它还记录了评估覆盖范围中的空白，明确指出：基准测试的选择决定了哪些能力与局限能够被观察到。(arxiv.org)
生成式模型可能产生人工智能幻觉，即看似可信却虚假或不一致的输出。其他已有记录的风险还包括隐私泄露、有害偏见、信息安全漏洞和环境成本。这些风险取决于训练、部署和交互条件，而不仅仅取决于模型规模。美国国家标准与技术研究院（NIST）2024年发布的《生成式人工智能概况》将这些风险视为贯穿生命周期、涉及系统整体的问题，其中也包括模型与其他组件集成时产生的风险。(nvlpubs.nist.gov)