Issa, Liu, Ballé & Klindt · bioRxiv 预印本(2026-09-11 发布,未经同行评审) · 2026 · DOI: 10.64898/2026.09.05.748439
该研究将“可解释视觉特征”的分析视角从单个神经元拓展至高维群体活动方向:通过无监督模板匹配(UTM)、稀疏自编码器(SAE)与主成分分析(PCA)对公开的 V4 与 IT 皮层神经数据进行分解,并借助 DreamSim 度量偏好图像的一致性与组间区隔度。结果显示 UTM 在所测数据集上分离出了更多兼具可解释性与低冗余度的群体特征;不过研究所展示的“消融效应”基于人工模型或静态神经响应上的线性分类器读出,并不等同于对清醒动物知觉行为的直接因果干预。
研究背景
视觉表征的解释传统上围绕单个神经元展开:找出它最偏好的图像,再概括共同的形状、颜色或类别属性。这种方法建立了许多重要认识,却受到混合选择性的限制。同一个细胞可以响应多种看似无关的属性,而某个清晰特征也可能需要多个细胞共同表达。扩大记录规模之后,逐细胞命名既可能遗漏分布式信息,也可能把许多重复偏好算成不同发现。因而,问题从“哪个细胞喜欢什么”延伸为“群体活动中有哪些可解释的方向,以及这些方向是否提供彼此不同的信息”。
群体分解为这一转向提供了工具,但不同工具携带不同假设。主成分分析优先解释方差并要求方向正交,未必适合提取自然存在的非正交特征;稀疏自编码器和无监督模板匹配允许更灵活的表示,却也可能产生更多碎片或冗余。评价环节同样困难:人工查看偏好图像难以扩展到大量候选方向,单看组内图像相似又会忽略组间重复。真正需要补上的,是把特征内部的一致性、特征之间的差异性及发现数量放在同一框架中,区分增加神经元、增加群体码和增加图像多样性各自带来的收益。
这篇预印本据此比较公开 V4、IT、AM 数据与人工网络中的单神经元和多种群体分解,借助 DreamSim 构造组内一致性与跨组区分指标,再筛出较少冗余的候选特征。复制高可解释单元并加噪声的对照,用来检验优势是否仅来自重复采样;针对特定群体码的消融,则检验下游分类是否发生选择性变化。其回应首先是一套特征发现和评价方法,结论必须受所用图像集与相似度模型约束:指标可能偏向某类知觉特征,也可能低估原子式组合表示。尤其需要保留的是,消融发生在人工网络或静态神经响应的分类映射中,并未直接操纵清醒动物知觉;候选群体特征的可解释性与行为因果性仍是两个不同层次的问题。
研究思路
作者先对比三类群体特征分解方法与单神经元基线,进而借助 Odd-One-Out 指标评估单个单元偏好图像的组内一致性,利用 Cross Odd-One-Out 评估不同单元间偏好特征的互斥区分度。随后采用贪心筛选策略,系统量化特征检出数量随神经元记录规模、群体码维度及输入图像类别多样性的演变关系;最后通过消融特定群体码,检测下游分类输出是否发生选择性性能下降。
方法
公开神经数据包括:Vinken 等的 449 个中央 IT 单元对 1,379 张图像的响应(6 只猴),Majaj 等的 168 个 IT、88 个 V4 神经元对 3,200 张图像的响应(2 只猴),以及 Chang 等的 159 个 AM 面孔区神经元对 2,100 张面孔的响应(2 只猴)。主文每个数据集/脑区展示代表性个体,其余个体放在扩展数据;并非把所有动物合并为一个超群体。
UTM 对图像对应的 N 维群体响应做 K-means,以图像到各模板中心的负欧氏距离形成 Z 个群体码;SAE 以稀疏与重构损失学习潜码;PCA 取正交主方向。模型数据来自 ResNet-50、CLIP、DINOv2 对 CIFAR-100 的响应。DreamSim 以人类知觉判断训练的图像相似度评价 MEIs。特征清单要求 Odd-One-Out ≥0.8,且与已入选单元的 Cross Odd-One-Out ≥0.8。
主要结果
- 群体码比单神经元更可解释、更多样,但方法并不等价。 PCA 在生物和人工网络上整体低于单神经元;SAE 随数据集变化;UTM 在所测数据上最稳定地提高两项分数。结果依赖图像集与 DreamSim,不能把 UTM 的分数当作与数据集无关的绝对语义数量。
- 发现数量随采样规模增加。 除 ResNet-50 layer 4 外,UTM 在多数数据上发现更多独特特征,增加 UTM 码数 Z 通常进一步提高发现量。一个 Vinken 示例中,30 个 IT 单元配合 Z=8N 得到 29 个群体特征、单神经元得到 4 个;29:4 是示例而非通用倍率。增加图像类别比单纯增加同类图像更能扩展发现。
- 冗余控制支持群体协同解释。 复制最可解释神经元并加独立噪声构造的空群体,不能重现原数据的可解释性和多样性组合,说明结果不是简单复制单个高语义单元即可获得。
- 消融改变的是下游分类,不是实测动物行为。 在 DINOv2 中消融向日葵相关 UTM 码,向日葵分类最受影响;在 IT 数据中,先用生物神经响应预测 DINOv2 UTM 码(保留 R²≥0.6 的映射),再消融相应预测成分,相关类别的线性分类下降。单神经元消融效应较弱,但脑到模型映射是瓶颈,且没有光遗传或行为实验验证知觉因果性。
图注解读
图 1 · 群体码的构造与评价对象
(a) 两个混合选择性神经元张成的平面中,不同方向可对应更一致的图像属性;(b–d) 分别展示 PCA、SAE、UTM 如何从神经元×图像矩阵生成群体×图像矩阵。图的关键不是“群体一定低维”,而是允许群体码数超过神经元数,并用偏好图像评价其意义。

图 2 · Odd-One-Out 可解释性
上方给出 MEIs 与其余图像的比较规则和示例,下方在 IT、V4 与人工网络中比较神经元、PCA、SAE、UTM。UTM 曲线整体更高;不同数据集使用不同图像,不应横向比较绝对分数。

图 3 · Cross Odd-One-Out 多样性
该任务检查一个单元的 MEIs 是否容易与另一个单元区分。UTM 不仅偏好图像更一致,也更少冗余;两个指标合起来才支持“更多不同特征”,而非同一面孔特征的多次复制。

图 4 · 特征发现的缩放
贪心算法先过可解释性阈值,再去重。生物数据中随神经元数增加、人工网络中随采样单元和 Z 增加,UTM 发现量总体上升;示例图集显示群体码可覆盖物体、身份和防护装备等类别。曲线尚未显示明确渐近上限,不等于无限增加数据就必然无限产生新语义。

图 5 · DINOv2 分类的定向消融
向日葵 UTM 码的偏好图像和强激活 patch 具有可解释外观,消融后目标类别混淆变化最强,其他类别平均变化较小。这里被测“行为”是网络分类输出,不能直接称为动物视觉知觉被控制。

图 6 · IT 映射群体的定向消融
猴鼻样 UTM 特征经脑到模型映射后被消融,猕猴类别分类下降,其他类别变化较小。该结果连接了可解释群体方向与静态神经数据上的读出,但映射筛选、数据集和分类器共同决定结论。

讨论
这项工作提供了一套可扩展的发现流程,特别适合重新审视“记录很多神经元却仍只找到少数熟悉特征”的问题。它同时把图像多样性提升为与神经元数量同等重要的实验设计变量。
限制主要有三层。第一,MEIs 总会存在,即使数据集中没有真正的触发类别;DreamSim 偏好也会影响哪些特征被称为“可解释”。第二,UTM 优于 SAE 不是普遍定理,作者明确指出 SAE 可能更偏原子、组合特征,指标可能低估它们。第三,消融是在人工网络或静态神经响应的分类读出中完成,尚未证明活体中操纵这些群体会改变知觉。把结果称为“群体方向的候选功能证据”比“已证明群体码控制行为”更准确。
一句话总结
UTM 为 V4/IT 提供了一种从混合活动中发现多样、可解释群体特征的可扩展方法;其最大价值是扩大候选特征清单并提出可检验的消融预测,而不是已经裁决这些群体方向就是知觉的基本单元。