麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员发现，即便是长期被认为“不可训练”的神经网络，只要得到适当的引导，也能显著提升学习效果。他们提出了一种称为“引导”的方法，通过短暂的网络对齐，极大改善了此前被认为不适合现代任务的网络架构的表现。

研究表明，许多所谓“无效”的网络可能只是起点不理想，而短期的引导能将它们置于更有利于学习的位置。

该引导方法通过鼓励目标网络在训练过程中匹配引导网络的内部表征来实现。与传统的知识蒸馏方法不同，知识蒸馏侧重于模仿教师网络的输出，而引导则是直接传递结构性知识。换言之，目标网络学习的是引导网络如何在各层组织信息，而不仅仅是复制其行为。令人惊讶的是，即使是未训练的网络也包含可转移的架构偏置，而经过训练的引导网络则还能传递学习到的模式。

“我们对这些结果感到非常惊讶，”MIT电气工程与计算机科学系博士生、CSAIL研究员、该研究的主要作者Vighnesh Subramaniam说。“利用表征相似性让这些传统上被认为‘表现差’的网络真正发挥作用，令人印象深刻。”

引导如同守护天使

研究的核心问题之一是引导是否需要持续整个训练过程，还是其主要作用是提供更好的初始化。为此，团队对深度全连接网络（FCN）进行了实验。在正式训练前，目标网络通过与另一个网络在随机噪声上的短暂练习，类似于运动前的热身。结果显示，通常容易过拟合的网络在引导后表现稳定，训练损失降低，避免了标准FCN常见的性能下降。这表明即使是短暂的引导也能带来持久的正面影响，无需持续引导。

研究还将引导与知识蒸馏进行了对比。知识蒸馏要求学生网络模仿教师网络的输出，当教师网络未训练时，蒸馏完全失败，因为输出没有有效信号。而引导方法依赖内部表征，依然带来了显著提升。这一结果强调了一个关键观点：未训练的网络已编码了有价值的架构偏置，能够引导其他网络更有效地学习。

深远的理论意义

除了实验结果，该研究对神经网络架构的理解也有重要启示。研究人员认为，网络的成功或失败往往与其在参数空间中的位置关系更大，而非仅仅依赖于特定任务的数据。通过与引导网络对齐，可以区分架构偏置和学习知识的贡献，帮助科学家识别哪些设计特征支持有效学习，哪些问题仅源于初始化不佳。

引导方法还为研究不同架构间的关系提供了新途径。通过测量一个网络引导另一个网络的难易程度，研究者可以探究功能设计之间的距离，重新审视神经网络优化的理论。由于该方法依赖表征相似性，可能揭示网络设计中此前未被发现的结构，帮助识别哪些组件对学习贡献最大。

挽救“无望”的网络

最终，这项工作表明所谓“不可训练”的网络并非注定失败。通过引导，可以消除失败模式，避免过拟合，使此前无效的架构达到现代性能标准。CSAIL团队计划进一步研究哪些架构元素最关键，以及如何利用这些洞见指导未来网络设计。引导方法揭示了即使是最顽固网络的潜力，为理解和塑造机器学习基础提供了强大工具。

约翰霍普金斯大学认知科学助理教授Leyla Isik评价道：“人们普遍认为不同神经网络架构各有优劣。这项令人振奋的研究表明，一种网络可以继承另一种架构的优势，同时保留自身特性。令人惊讶的是，作者展示了如何利用小型未训练的‘引导’网络实现这一点。该论文提出了一种新颖且具体的方法，将不同的归纳偏置注入神经网络，这对开发更高效、更符合人类认知的人工智能至关重要。”

Subramaniam与CSAIL同事共同撰写了这篇论文，团队成员包括研究科学家Brian Cheung、博士生David Mayo、研究助理Colin Conwell、首席研究员Boris Katz、脑与认知科学教授Tomaso Poggio，以及前CSAIL研究科学家Andrei Barbu。该研究部分由大脑、心智与机器中心、美国国家科学基金会、MIT CSAIL机器学习应用计划、MIT-IBM Watson AI实验室、美国国防高级研究计划局（DARPA）、美国空军人工智能加速器及美国空军科学研究办公室资助。

该成果近期在神经信息处理系统大会（NeurIPS）上发布。