麻省理工学院的神经科学家发现，深度神经网络虽然擅长识别图像和声音的各种呈现，但经常错误地将无意义的刺激识别为熟悉的物体或单词，这表明这些模型发展出与人类感知不同的独特的、特殊的“不变性”。 该研究还表明，对抗性训练可以稍微改善模型的识别模式，这提出了一种评估和增强感官知觉计算模型的新方法。

该研究的资深作者麦克德莫特说：“这篇论文表明，你可以使用这些模型来导出非自然信号，这些信号最终可以对模型中的表征进行诊断。这项测试将成为我们这个领域用来评估模型的一系列测试的一部分。”

Jenelle Feather 博士 22 岁，现任 Flatiron 研究所计算神经科学研究中心研究员，是这篇开放获取论文的主要作者，该论文今天发表在《自然神经科学》杂志上。 麻省理工学院研究生 Guillaume Leclerc 和麻省理工学院 Cadence 设计系统计算教授 Aleksander Mądry 也是该论文的作者。

近年来，研究人员训练了深度神经网络，可以分析数百万个输入（声音或图像）并学习共同特征，使他们能够像人类一样准确地对目标单词或物体进行分类。 这些模型目前被认为是生物感觉系统的领先模型。

人们相信，当人类感觉系统执行这种分类时，它会学会忽略与物体核心身份无关的特征，例如照射在物体上的光线数量或从什么角度观看物体。 这被称为不变性，意味着即使对象在那些不太重要的特征上表现出差异，也会被认为是相同的。

“传统上，我们对感觉系统的思考方式是，它们为同一事物的不同示例可能具有的所有变异来源建立了不变性，”Feather说。 “有机体必须认识到它们是同一件事，即使它们表现为非常不同的感官信号。”

研究人员想知道，经过训练来执行分类任务的深度神经网络是否可能会产生类似的不变性。 为了尝试回答这个问题，他们使用这些模型来生成刺激，这些刺激在模型内产生与研究人员给予模型的示例刺激相同的反应。

当这些神经网络被要求生成图像或单词并将其与特定输入（例如熊的图片）归为同一类别时，它们生成的大部分内容对于人类观察者来说是无法识别的。 右侧是模型分类为“熊”的示例。 图片来源：麻省理工学院研究人员

他们将这些刺激称为“模型同色异体”，复兴了经典感知研究中的一个想法，即系统无法区分的刺激可以用来诊断其不变性。 同色异谱的概念最初是在人类感知研究中发展起来的，用于描述看起来相同的颜色，即使它们是由不同波长的光组成的。

令他们惊讶的是，研究人员发现，以这种方式产生的大多数图像和声音看起来和听起来都与模型最初给出的例子完全不同。 大多数图像都是一堆看起来随机的像素，声音类似于难以理解的噪音。 当研究人员向人类观察者展示图像时，在大多数情况下，人类不会将模型合成的图像分类为与原始目标示例相同的类别。

“人类根本无法识别它们。 它们看起来或听起来都不自然，而且不具有人们可以用来对物体或单词进行分类的可解释特征，”Feather 说。

研究结果表明，这些模型以某种方式发展出了自己的不变性，与人类感知系统中发现的不变性不同。 这导致模型将成对的刺激视为相同，尽管它们与人类截然不同。

研究人员在许多不同的视觉和听觉模型中发现了相同的效果。 然而，这些模型中的每一个似乎都发展出了自己独特的不变性。 当一个模型的同色异谱显示给另一个模型时，第二个模型和人类观察者一样无法识别同色异谱。

“从中得出的关键推论是，这些模型似乎具有我们所说的特殊不变性，他们已经学会了对刺激空间中的这些特定维度保持不变，并且它是特定于模型的，因此其他模型不具有相同的不变性。”

研究人员还发现，他们可以通过使用一种称为对抗性训练的方法，使模型的同色异聚体更容易被人类识别。 这种方法最初是为了克服对象识别模型的另一个限制而开发的，即对图像引入微小的、几乎难以察觉的变化可能会导致模型误识别它。

研究人员发现，对抗性训练涉及在训练数据中包含一些稍微改变的图像，产生的模型的同色异体更容易被人类识别，尽管它们仍然不如原始刺激那么容易识别。 研究人员表示，这种改进似乎与训练对模型抵抗对抗性攻击的能力的影响无关。

“这种特殊形式的训练有很大的效果，但我们真的不知道为什么会产生这种效果，”Feather说。 “这是未来研究的一个领域。”

研究人员表示，分析计算模型产生的同色异体可能是一个有用的工具，可以帮助评估计算模型对人类感官知觉系统底层组织的模仿程度。

“这是一个行为测试，你可以在给定的模型上运行，看看模型和人类观察者之间是否共享不变性，它还可以用来评估给定模型中不变性的特殊性，这可以帮助发现未来改进我们模型的潜在方法。”