伦敦大学学院 (UCL) 研究人员领导的一项研究发现，大型语言模型（一种分析文本的人工智能）可以比人类专家更准确地预测拟议的神经科学研究的结果。

该研究结果发表在《自然人类行为》杂志上，表明在海量文本数据集上训练的大型语言模型 (LLM) 可以从科学文献中提取模式，从而使其能够以超人的准确度预测科学结果。

研究人员表示，这凸显了它们作为加速研究的有力工具的潜力，远远超出了知识检索的范围。

主要作者 Ken Luo 博士（伦敦大学学院心理学与语言科学系）表示：“自从 ChatGPT 等生成式人工智能问世以来，许多研究都集中在 LLM 的问答能力上，展示了它们从大量训练数据中总结知识的卓越技能。然而，我们并没有强调它们回顾过去检索信息的能力，而是探索了 LLM 是否可以综合知识来预测未来的结果。

“科学进步往往依赖于反复试验，但每次细致的实验都需要时间和资源。即使是最熟练的研究人员也可能会忽略文献中的关键见解。我们的工作是研究法学硕士是否能够识别大量科学文本中的模式并预测实验结果。”

该国际研究团队通过开发 BrainBench 开始了他们的研究，BrainBench 是一种用于评估大型语言模型(LLM) 预测神经科学结果的能力的工具。

BrainBench 包含多对神经科学研究摘要。在每一对中，一个版本是真实的研究摘要，简要描述了研究背景、所用方法和研究结果。在另一个版本中，背景和方法相同，但结果已被相关神经科学领域的专家修改为合理但不正确的结果。

研究人员测试了 15 位不同的通用法学硕士和 171 位人类神经科学专家（他们都通过了筛选测试以确认他们的专业知识），以查看人工智能或人类是否能够正确判断两对摘要中的哪一个是具有实际研究结果的真实摘要。

所有法学硕士的表现都优于神经科学家，法学硕士的平均准确率为 81%，人类的平均准确率为 63%。即使研究小组将人类的回答限制为神经科学特定领域专业程度最高的人（基于自我报告的专业知识），神经科学家的准确率仍然低于法学硕士，为 66%。

此外，研究人员还发现，当 LLM 对自己的决定更有信心时，他们做出的决策更有可能是正确的。研究人员表示，这一发现为未来人类专家与经过良好校准的模型合作铺平了道路。

研究人员随后对现有的法学硕士（开源法学硕士 Mistral 的一个版本）进行了调整，专门针对神经科学文献进行训练。他们称之为 BrainGPT 的神经科学专业法学硕士在预测研究结果方面表现得更好，准确率达到 86%（比通用版 Mistral 的准确率（83%）有所提高）。

资深作者布拉德利·洛夫教授（伦敦大学学院心理学和语言科学系）表示：“根据我们的研究结果，我们推测不久之后，科学家们就会使用人工智能工具来设计最有效的实验来解决他们的问题。虽然我们的研究重点是神经科学，但我们的方法是通用的，应该可以成功应用于所有科学领域。

“令人惊奇的是法学硕士能够如此准确地预测神经科学文献。这一成功表明，大量科学并非真正新颖，而是符合文献中现有的结果模式。我们想知道科学家是否具有足够的创新性和探索性。”

罗博士补充道：“基于我们的研究成果，我们正在开发人工智能工具来协助研究人员。我们设想未来研究人员可以输入他们提出的实验设计和预期结果，人工智能将预测各种结果的可能性。这将使实验设计能够更快地进行迭代并做出更明智的决策。”

该研究涉及伦敦大学学院、剑桥大学、牛津大学、马克斯普朗克行为神经生物学研究所（德国）、比尔肯特大学（土耳其）以及英国、美国、瑞士、俄罗斯、德国、比利时、丹麦、加拿大、西班牙和澳大利亚的其他机构的研究人员。