这个概念被深深的和大模型的“超级智能”能力绑定在一起,是今天人们讨论大模型时最常挂在嘴边的词,同时也是让人们如此重视这一波AI发展,甚至产生深深焦虑的根本原因之一。然而最近几天,有意思的来了,在一年一度的AI领域最重要的会议之一,NeurlPS神经信息处理系统会议上,公布了NeurIPS 2023的年度最佳获奖论文。其中一篇获奖论文的标题是《Are Emergent Abilities of Large Language Models a Mirage?》——“大语言模型中的涌现是海市蜃楼吗?”文章主要是通过数学方法,构建了一种关于大型语言模型涌现能力的替代解释。而文章指出,所谓的涌现能力是由于研究者选择的度量标准而产生的,而不是模型行为在规模扩展中发生了根本变化。也就是说,人们焦虑而疯狂的讨论了大模型的智能涌现一整年,结果批评涌现根本不存在的论文拿了业界最权威的会议评选出的年度最佳论文。先有一个无法解释的现象,甚至让你毛骨悚然。然后经过科学家解释,变成了一个非常普通的事情。这集我看过!这不《走近科学》吗!
如何证明涌现是“幻觉”
涌现是个又有具体指向,又十分玄幻的概念。当我们在输入给定任务(例如问答或翻译)的语言数据时,大型语言模型不仅可以“记住”数据,还可以“理解”和“推理”这些数据。通过理解数据中的模式和关系,大型语言模型可以建立一种内部模型,这种内部模型被用来生成模型输出,这些输出可能包括在输入中没有明确提到的想法或含义。这些想法和含义就是模型的涌现行为。也就是涌现根本来说就是AI研究者们给模型的行为里让人无法解释的那部分,起的一个名字。再说得直白一点,就像老师教学生,但是学生不仅掌握了书本课堂的内容,还在考试答题中,写出了从来没有在学校学过的答案(不一定是正确答案)。总的来说,大型语言模型的涌现能力是指它能够根据大量语言数据生成出新的、出乎意料的、与任务有关的信息。这种能力是深度学习的关键特征之一,也是大型语言模型在自然语言处理领域中越来越受欢迎的原因之一。涌现这个概念也是AI界“借来”的。它最初是由诺贝尔奖得主物理学家P.W.安德森在其著作《More Is Different》里提出的。他认为,随着一个系统的复杂性增加,新的性质可能会出现,即使从系统微观细节的精确定量理解都无法预测这些性质。大语言模型的复杂性也是日渐增加的,那么根据这个理论,发生涌现是必然的。