奎因效应：理解为什么生成式人工智能（如法学硕士）有时会偏离轨道

2023 年人工智能的快速发展是无与伦比的，所有这些宣传的中心（请鼓点）是生成式 AI 模型，一个典型的例子是大型语言模型 (LLM)，如 ChatGPT。 这些法学硕士因其通过提供响应、生成内容和协助完成各种任务来生成类人文本的能力而受到广泛关注。 然而，就像每一个技术奇迹一样，法学硕士也并非没有缺陷。 有时，这些模型会表现出看似无意义或与上下文无关的行为。 在实验室中，我们将这种现象称为“奎因效应”。

生成式人工智能拟人化的奎因效应

定义奎因效应

奎因效应可以理解为生成人工智能明显偏离其预期轨迹，导致输出要么不相关、令人困惑，甚至完全怪异。 它可能表现为一个简单的反应错误或一连串不恰当的想法。

奎因效应背后的原因

为了充分理解奎因效应发生的原因，我们必须进入生成式人工智能架构和训练数据的世界。 奎因效应可能是由多种失误造成的，包括：

• 输入的歧义： 法学硕士的目标是根据大量数据的模式来预测序列中的下一个单词。 如果查询不明确或不清楚，模型可能会产生无意义的答案。
• 过拟合： 当任何人工智能模型与其训练数据过于紧密地定制时就会发生这种情况。 在这种情况下，模型可能会产生与其训练集中的微小细节一致的结果，但通常不符合逻辑或适用。
• 缺乏背景： 与人类不同，法学硕士对更广泛的背景没有持续的记忆或理解。 如果对话突然发生变化，模型可能会失去线索，导致输出看起来脱轨。
• 数据偏差： 法学硕士（包括 GPT 架构）从海量数据集中学习。 如果这些数据集包含偏差或无意义的数据，人工智能可以复制这些模式。
• 语言复杂性： 自然语言是复杂且充满细微差别的。 有时，模型可能会处理同音异义词、习语或具有多种解释的短语，从而导致意想不到的结果。

减轻奎因效应

虽然完全消除奎因效应是一项艰巨的任务，但可以采取措施来减轻其发生，包括：

• 定期更新和完善： 在多样化和更新的数据集上持续训练和完善模型可以减少不准确性。
• 反馈回路： 实施一个系统，用户反馈有助于识别和纠正模型偏离轨道的情况，这可能是有益的。
• 提高情境意识： 模型的未来迭代可能会受益于在对话轮流中更好地保​​留上下文的机制。
• 多样化的数据源： 确保训练数据全面，涵盖广泛的主题、语气和细微差别，有助于增强模型的稳健性。

猜测已经够多了，模型“想”什么

我们决定询问 ChatGPT-4 对所发生事件的看法。

下一步是什么

奎因效应揭示了即使是最先进的人工智能模型也固有的缺陷。 认识到这些限制是理解、减轻和潜在地利用这些缺陷的第一步。 随着人工智能领域的持续快速发展，对用户和开发人员来说，对此类现象的认识变得至关重要，这有助于弥合生成人工智能领域的期望与现实之间的差距。

随着我们不断提高变压器的复杂性和参数数量，毫无疑问，还会有诸如此类的额外挑战需要克服。 然而，还需要注意的是，NVIDIA 拥有 SDK 来处理这个问题。 在下一篇文章中，我们将研究微调模型，然后在伪生产环境中对其应用护栏。