南非威特沃特斯兰德大学的一项新研究，为理解人类语言如何发展以及大型人工智能语言模型的行为提供了重要线索。

研究指出，文化因素至关重要，但要真正理解语言的演变，还必须结合“迭代学习”理论：语言在一代又一代的学习与传递中——无论是在人类还是在计算机系统中——会逐步演化得更加有结构性，从而更易被掌握。

研究团队表示：“我们构建了一个具有类似儿童特征的计算机‘大脑’，并将其行为与真实儿童的大脑进行对比。随后，我们向这个计算机大脑输入具有类人语言特征的数据，观察其在不同‘代’（不同版本）中是如何学习的。”

结果显示，这个计算机大脑会以与儿童相似的方式，在数据中发现结构：它偏好某些语言属性，并据此进行学习。研究还发现，随着代际传递，数据集（即语言本身）会变得更加有结构性，因为这种结构化有助于后续学习。

该研究第一作者、威特沃特斯兰德大学计算机科学与应用数学学院讲师、威特机器智能与神经发现研究所（MIND）研究员德文·贾维斯（Devin Jarvis）博士指出：“我们看到，语言在代际演变中会朝着更易学习的方向发展，结构性因此不断增强。”

相关成果发表在《美国国家科学院院刊》（PNAS）上，论文题为《深度线性网络中迭代学习中组合性与系统性的出现》（Emergence of compositionality and systematicity in iterated learning in deep linear networks）。

一切从童年开始

贾维斯解释，儿童在早期发展阶段具备惊人的语言快速学习能力。他们以一种层级化的方式理解世界：先掌握最基本的概念，再逐步过渡到更复杂的类别和关系。

“比如，孩子首先会区分植物和动物。接着，他们会学到动物还有不同种类。但在某个阶段，他们对世界的理解还不够深入。”贾维斯说。

以企鹅为例：孩子学到“鸟有翅膀，所以会飞”。于是他们自然推断所有鸟都会飞。当遇到企鹅时，这一推断就出错了——企鹅不会飞，却会游泳。通过这种“过度推断—发现错误—修正理解”的过程，儿童逐渐建立起更精确、更有结构的世界观。

贾维斯指出，本研究关注的是这种学习方式在“代际”层面上的影响：

孩子从父母那里学到一部分语言，长大后再传给自己的孩子。由于语言本身很复杂，这种代际传递不可避免会引入错误。

这些错误并非完全随机，而往往源自对已有知识的过度泛化。最终，那些更容易学习、结构更清晰的语言部分更容易被保留和重复使用，而结构薄弱、难以掌握的部分则更容易在传递中被遗忘。

“个体本身非常擅长学习，但只有在交流和传递的压力下，我们才能真正看到这种智能如何塑造语言本身。”贾维斯补充道。

并非所有神经网络都一样

为了探究这一过程背后的神经机制，研究团队采用了深度线性神经网络——这是一类用来模拟大脑信息处理方式的数学模型。

研究发现，迭代学习只有在网络足够“深”、具有多层处理结构，并且所学习的语言足够复杂时，才会有效发挥作用。对于层数较少的浅层网络而言，它们无法捕捉到使语言变得可学、可泛化的关键结构规律。

这表明，无论是生物大脑还是人工神经网络，系统的内部结构（架构）以及所处环境的丰富程度，都会深刻影响语言结构的吸收与传递。这一点也与近年来生成式人工智能模型的发展趋势相呼应：许多“涌现能力”在很大程度上依赖于模型规模和深度的提升。

贾维斯指出：“这些研究元素在不同领域其实早已存在。深度线性网络在儿童发展研究中是一个成熟的建模工具，而迭代学习也为语言学界所熟知。”

“真正有启发意义的是，把这两种视角结合起来后，我们似乎看到一个清晰的图景：语言会朝着‘可学’的方向演变，而这种演变方式与儿童分阶段学习、偏好重复利用已有信息而非不断学习全新内容的特点密切相关。”

他补充说，这一结论在支撑当今人工智能热潮的技术的一个极其简化版本中也得到了验证，这令人鼓舞：

在多个学科交汇的地方，我们正在逐步触及一些关于认知和智能的基本原理。