摘要
一项基于PV-RNN框架的新型AI模型通过整合视觉、本体感觉和语言指令，以类似幼儿的方式学习语言和行为的泛化能力。与依赖海量数据集的大型语言模型（LLMs）不同，该系统通过具身交互实现组合性，同时需要更少的数据和计算资源。研究人员发现，这种模块化、透明的设计有助于研究人类如何获得语言和行为结合的认知技能。该模型为发展神经科学提供了新见解，并通过将学习与行为和透明决策过程结合，可能推动更安全、更符合伦理的AI发展。

关键事实

• 幼儿式学习：AI通过整合感官输入、语言和行为学习组合性。

• 透明设计：其架构允许研究人员研究内部决策路径。

• 实际优势：比LLMs需要更少的数据，并突出伦理和具身AI的发展。

• 来源：冲绳科学技术研究所（OIST）

人类泛化能力的奥秘

人类在泛化能力方面表现出色。例如，如果你通过展示红球、红卡车和红玫瑰教会幼儿识别红色，她很可能会正确识别番茄的颜色，即使这是她第一次见到番茄。学习泛化的一个重要里程碑是组合性，即将整体分解为可重复使用的部分的能力，比如物体的红色。我们如何获得这种能力是发展神经科学和AI研究中的一个关键问题。

早期的神经网络（后来演变为改变社会的大型语言模型）最初是为了研究信息在大脑中如何处理而开发的。然而，随着这些模型变得越来越复杂，其内部信息处理路径也变得越来越不透明，一些模型如今拥有数万亿可调参数。

如今，冲绳科学技术研究所（OIST）认知神经机器人研究单元的成员开发了一种具身智能模型，其新颖的架构使研究人员能够访问神经网络的各种内部状态，并且该模型似乎以与幼儿相同的方式学习泛化能力。他们的研究成果已发表在《科学机器人》杂志上。

模型的核心设计

该模型基于PV-RNN（预测编码启发的变分循环神经网络）框架，通过具身交互进行训练，整合了三种与不同感官相关的输入：

1. 视觉：机器人手臂移动彩色积木的视频。

2. 本体感觉：机器人手臂移动时的关节角度。

3. 语言指令：例如“将红色放在蓝色上”。

模型的任务是根据语言指令生成视觉预测和相应的关节角度，或根据感官输入生成语言指令。该模型受到自由能原理的启发，该原理认为我们的大脑会基于过去的经验持续预测感官输入，并采取行动以最小化预测与观察之间的差异。

透明性与认知约束

与LLMs不同，该模型具有有限的记忆和注意力范围，这迫使它按顺序处理输入并更新预测，而不是像LLMs那样一次性处理所有信息。通过研究模型内部的信息流动，研究人员可以深入了解其如何整合各种输入以生成模拟行为。

这种模块化架构使研究人员能够更好地理解婴儿如何发展组合性。正如研究第一作者Prasanna Vijayaraghavan博士所说：“我们发现，模型在不同情境下接触同一单词的次数越多，它对该单词的学习效果越好。这反映了现实生活，幼儿如果以不同方式与各种红色物体互动，会比仅仅多次推动红色卡车更快地学习红色的概念。”

实际应用与未来展望

该模型需要显著更少的训练数据和计算资源来实现组合性。虽然它比LLMs犯更多错误，但这些错误与人类错误类似。这一特性使其对认知科学家和AI研究人员非常有用，帮助他们绘制模型的决策过程。

此外，该模型还解决了“刺激贫乏问题”，即儿童可用的语言输入不足以解释其快速语言习得的现象。尽管数据集非常有限，但该模型仍实现了组合性，这表明将语言与行为结合可能是儿童语言学习能力的重要催化剂。

这种具身学习还可能为未来更安全、更符合伦理的AI指明方向，既通过提高透明度，也通过更好地理解其行为的影响。例如，PV-RNN通过具身体验学习“痛苦”一词的含义，会比仅从语言角度学习的LLMs更具情感分量。

未来研究方向

研究团队正在继续增强该模型的能力，并利用它探索发展神经科学的各个领域。研究单元负责人、论文资深作者Jun Tani教授表示：“我们期待未来在认知发展和语言学习过程中能够揭示更多见解。”

Vijayaraghavan博士总结道：“通过观察模型如何学习结合语言和行为，我们深入了解了人类认知的基本过程。它已经在语言习得的组合性方面教会了我们很多，并展示了更高效、透明和安全模型的潜力。”

关于这项AI与学习研究的新闻

• 作者：Jun Tani

• 来源：冲绳科学技术研究所（OIST）

• 联系人：Jun Tani – OIST

• 原始研究：封闭访问。“Development of compositionality through interactive learning of language and action of robots” by Prasanna Vijayaraghavan et al. Science Robotics