本计算建模研究提出了拓扑非负矩阵分解(TNMF)算法,将灵长类下颞叶(IT)皮层物体表征的两个核心特性——基于局部部件的表征(parts-based representation)与皮层局部拓扑组织(topographic organization)——统一整合至单一无监督学习计算框架。研究进一步构建了结合初级视皮层至 IT 皮层的多层级前馈视觉模型,并利用猕猴电生理真实记录数据进行基准验证。模拟实验表明,TNMF 模型不仅能够学习到具有局部平滑过渡的部件字典,并在未见视角插值重建与抗噪表征中表现出显著计算优势,为解释腹侧通路功能柱状架构的自组织形成提供了计算神经科学理论模型。
研究背景
解析下颞叶(IT)皮层的物体知觉表征,需同时协调两类经典的神经电生理与光学成像观察。一方面,单细胞记录表明,大量 IT 神经元对复杂三维物体的特定局部几何部件具有选择性调谐;内源信号光学成像亦揭示,单个完整物体在皮层表面激活若干彼此分离的分散斑块,符合由离散的部件反应集群协同表征整体的构型假设。另一方面,相近的特征调谐在局部皮层微区内表现出连续而平滑的空间拓扑组织:当物体在三维空间中连续旋转视角时,皮层光学成像记录到的激活斑块在皮层表面呈现连续位移,提示表征空间在物理皮层表面保留了拓扑邻域约束。
在计算神经科学领域,如何通过统一的数学原理自组织涌现出上述双重特性长期存在理论分歧。经典的自组织特征映射(SOM)等模型擅长模拟拓扑连续图谱的形成,但往往将各单元视为相互竞争的整体模板,缺乏非负相加的部件组合能力;非负矩阵分解(NMF,Lee & Seung, 1999)能够利用非负性约束自发学习出局部“部件式”基向量,但其基函数在空间排列上是离散、无序且相互独立的,无法自组织生成连续的皮层功能柱拓扑结构。如何在维持非负局部部件分解特性的同时,引入侧向拓扑平滑先验,成为建立生物视觉计算模型的关键瓶颈。
本研究据此在标准 NMF 的生成目标中引入空间邻域滤波矩阵,构建出具备拓扑连续性的非负分解算法(TNMF),并将其嵌入模拟腹侧通路的层级前馈网络 S3 层中。研究通过参数化连续视角的物体图像库进行训练,系统检验模型在视角拓扑保持、缺损视角插值以及匹配真实 IT 神经元反应选择性方面的性能表现。需指出的是,本模型属于简化前馈计算模型,网络结构中未包含长程生物反馈连接与脉冲发放动力学;模型中的二维格点是对皮层柱架构的离散化抽象;模拟结果对超参数(如高斯邻域半径 σ 及基函数总数)存在一定敏感性,仍属于概念验证与表征假说的计算建模研究。
研究思路
研究的推进路线包含算法构建、层级视觉网络嵌入与生理数据对标三部分: 第一步,算法层面结合自组织映射(SOM)的拓扑邻域概念与 NMF 的非负约束机制。在二维方形格点地图上排布 r 个基函数,引入非负的 r×r 邻域核矩阵 M(空间上呈可调半径 σ 的二维高斯分布;当 M 为单位矩阵时退化为经典 NMF),将数据重建方程由传统 NMF 的 v ≈ Wh 拓展为 v ≈ WMh。在非负约束下,邻域卷积操作使得在网格上物理相邻的基函数必须协同分担重构误差,从而在权重矩阵中自发诱导出生理平滑的拓扑梯度。
第二步,将 TNMF 算法嵌入多层级前馈视觉计算架构(类似 HMAX 模型)。网络自下而上交替包含提取特征特异性的 S 层与实现局部空间平移不变性的 C 层(S1 → C1 → S2 → C2 → S3),将 TNMF 作为 S3 层的无监督特征学习机制,以 C2 层的多维空间特征图作为输入,训练学习高阶部件字典。
第三步,多维度验证模型性能:通过一维高斯玩具数据直观检验模型的缺损数据插值与稀疏表征能力;使用连续深度旋转视角物体集训练多层级网络,量化评估 S3 层的连续位移响应图谱;最后引入独立的 64 张复杂测试图形刺激,将模型神经元与猕猴 IT 皮层单细胞实测生理调谐数据开展量化重构与跨层级对比。
方法
计算架构由多层级前馈模型构成: - 输入层:128×128 像素灰度图像,外加处理低分辨率黑白图像的旁路亮度通道; - S1 层:4 个尺度、4 个方向的 Gabor 滤波器(模拟 V1 简单细胞); - C1 层:局部最大值池化(MAX 操作,步长对应空间下采样); - S2 层:局部特征组合操作(通过模板匹配提取复杂形状边缘); - C2 层:大范围最大值池化,输出 5×5 空间维度的特征激活图(维数 2000); - S3 层:由 16×16 的二维格点组成(共 256 个单元),采用基于 multiplicative update 准则推导的 TNMF 学习规则训练权重矩阵 W,高斯邻域核半径 σ 设为 1.0–2.0。
训练刺激集由 50 个复杂人造三维物体构成,每个物体在三维空间中按 0° 至 60° 连续步进旋转生成 5 个视角的连续图像序列。独立生理验证刺激集采用 Tamura 等人(2004, 2005)在猕猴 IT 皮层电生理记录中使用的 64 张几何图形库(该测试图集在模型训练期完全不可见)。生理数据源自 38 个经组织学定位确认的下颞叶单神经元,记录其对 64 张测试刺激的尖峰发放序列。分析指标包括:残差平方和相关系数、输出表征稀疏度(Toyer 测度)、视角命中率(hit rate)以及基于线性回归的单细胞神经反应重构决定系数 R²。
主要结果
- 简化数值实验验证 TNMF 的插值优势与高稀疏性(图 5):在缺失区间插值任务中,训练集仅包含位置在 0–0.4 与 0.6–1.0 的高斯激活向量,测试集为未曾见过的 0.45–0.55 缺失区间;结果显示,在中等基函数尺寸下,TNMF 的重建精度显著优于传统 NMF,能够平滑恢复潜在的高斯成分分布,且输出向量的表征稀疏度始终高于 NMF。
- 多视角训练自发涌现连续视角拓扑特征图谱(图 6–9):在层级视觉模型中,经连续多视角图像训练后,S3 层的 256 个单元自发组织成平滑的空间拓扑图;当测试物体绕垂直轴连续旋转时,S3 二维格点上的高激活兴奋峰呈现连续的空间位移轨迹(位移距离与视角变化幅度严格单调线性相关,图 8、9);定量视角命中率分析表明,在引入背景噪声干扰时,TNMF 保持了高达 90% 以上的视角拓扑辨别精度,显著优于传统 NMF(图 7)。
- 部件式表征特性在拓扑约束下得以完整保留(图 8、10):空间权重矩阵分析表明,邻近的 S3 模型单元自发收敛至重叠度高但存在微小位移的局部几何部件,其基向量空间连接呈现出清晰的短程侧向兴奋相关性,未出现退化为全景模板的现象,证实拓扑平滑与部件解构在非负约束下实现了共存。
- 层级模型神经元精准复现猕猴 IT 皮层的视觉调谐选择性(图 11、12):针对猕猴单细胞实测记录的 38 个 IT 神经元对 64 种复杂刺激的选择性轮廓,将各模型层特征进行多元线性回归重构。结果显示,S3 层的模型单元对 IT 细胞调谐模式的重建拟合度(决定系数 R² 均值达到 0.72)系统性显著优于初级 S1、C1、S2 及 C2 层(图 12);在同等模型维度下,TNMF 训练的 S3 层对 IT 生理选择性的复现精度与无序 NMF 相当,证实引入空间拓扑约束并未牺牲物体表征的高维表达能力。
图注解读
图 1 · TNMF 模型结构
原文图注:Figure 1: A diagram of the proposed TNMF model where v indicates an input vector, W indicates basis functions, M indicates neighborhood functions, and h indicates a coefficient vector. Shading of nodes represents magnitudes of input and coefficient entries. All the entries are restricted to be non-negative. If M is the identity matrix, this model reduces to the original NMF. ……
读图要点:本图系统展示 TNMF 模型的计算架构:输入向量 v、基函数矩阵 W、拓扑邻域核矩阵 M 以及系数向量 h,节点明暗对应变量数值幅度,所有元素均满足非负约束。理解该架构的关键在于邻域矩阵 M 的作用机制:M 作用于系数向量 h 形成空间加权模糊后再与基矩阵 W 进行线性组合(v ≈ WMh),迫使网格上相邻的基函数在学习过程中产生协同依赖;当 M 为单位矩阵时模型完全退化为经典 NMF。该图奠定了模型的数学基础,支撑结果 1 中关于邻域协同实现平滑插值的机制推论。

图 2 · 层级视觉模型架构
原文图注:Figure 2: Architecture of the hierarchical model. In the form path, S and C layers are alternately structured. This feature increases specificity and invariance of input representations, respectively. The proposed TNMF was used for training the S3 layer. An additional luminance layer processes white and black images of lower-resolution. …
读图要点:前馈层级视觉网络结构沿形状通路自下而上延伸:灰度输入 → S1(多尺度 Gabor 边缘检测)→ C1(局部空间最大值池化)→ S2(中间复合特征组合)→ C2(大范围不变性池化)→ S3(经 TNMF 训练的高阶拓扑特征层),并附带处理低频黑白信息的旁路亮度通道。网络交替递增特征选择性(S 层)与空间平移不变性(C 层)。需注意两点核心:S3 层的输入基于 C2 层的 5×5 空间特征激活图而非底层像素,表明 TNMF 提取的是高阶形状拓扑字典;亮度通道用于对标 IT 皮层中对亮暗对比敏感的特定神经元。该图支撑方法部分与跨层级对比分析。

图 3 · 训练用物体连续视角图例
原文图注:Figure 3: Examples of object images for consecutive views used to train the S3 layer.
读图要点:本图展示用于训练 S3 层的高维自然物体图像序列样本,呈现同一物体在 0° 至 60° 深度旋转视角下的 5 个连续步进切片。该参数化序列构成了模型训练的关键输入维度,确保物体外观在时间/空间序列中具备连续变换特性,为图 8 和图 9 中 S3 层自发形成视角依赖性连续位移峰提供了环境物理输入基础。

图 4 · IT 神经元测试刺激集
原文图注:Figure 4: A set of 64 stimulus images used to examine responses of IT neurons (Tamura et al., 2004, 2005).
读图要点:本图展示用于生理学对标评估的 64 张复杂二维几何轮廓刺激集(涵盖星形、同心几何图案及复合非对称形状等)。该测试图集完全独立于模型的视角训练集,从未在无监督学习阶段输入网络;因此在图 11 与图 12 中展现的模型单元与 IT 神经元选择性调谐的一致性,严格反映了模型的跨刺激表征泛化能力而非对训练样本的机械记忆,支撑结果 4。

图 5 · 玩具实验:插值与稀疏优势
原文图注:Figure 5: A toy experiment to illustrate the computational advantage of TNMF over NMF. (A) The left graph shows an example of input data. The input neurons are arrayed in a line and activated by a Gaussian component on the input array with Poisson noise. The position of the Gaussian component ranged in 0-0.4 and 0.6-1.0 for training data, and ranged in 0.45-0.55 for test data. The map architecture of the TNMF was one dimensional as in the right diagram. ……
读图要点:A 图展示一维输入向量形态(线阵上的高斯活动分布)及数据区间划分,测试集(0.45–0.55 区间)对应训练分布中人为剔除的缺失空洞;B 图量化对比了 TNMF 与标准 NMF 在测试数据重建(1)及潜在底层高斯成分恢复(2)上的拟合表现随基函数维度的变化曲线,TNMF 在中等参数规模下表现出显著优越性,且对底层潜变量的恢复优于带噪输入本身,证实其具备平滑插值能力;C 图显示 TNMF 的输出编码稀疏度系统性高于 NMF;D 图展示 32 个一维基函数的权重轮廓,中继基函数在缺失中心(0.5)自发隆起。该图支撑结果 1。

图 6 · 旋转视角的重建对比
原文图注:Figure 6: (A) A PCA visualization for C2 outputs responding to successive views of an object, and their reconstructions obtained by TNMF and NMF analyses for test data. The views in the 0-to-80 and 105-to-180 degrees were the training images. The views in the 85-to-100 degrees were the test images. The map of TNMF was constructed to form a circular ring. In the PC space, the C2 output vectors are represented by circular points connected with black thin lines where lines indicate view changes. ……
A 在主成分空间里画物体旋转的数据流形:细线圆点为输入(环形分布,对应视角连续变化),方块(TNMF)与三角(NMF)为测试视角的重建。读图要点:NMF 的重建点落在 80° 与 105° 两端点连线的直线上(纯线性插值),TNMF 的重建点则沿训练流形两端的切线方向弯出去、贴着真实测试点的走向——非线性的"顺着流形走"。B 画平均相关随基函数数目变化的曲线,基函数 ≥15 时黑(TNMF)始终高于灰(NMF)。此图支撑结果 2。

图 7 · 视角拓扑保持的命中率
原文图注:Figure 7: View angle topological preservation of the TNMF and the NMF models when inputs of the model are affected by noise. The map topology of the TNMF was set to be circular as in Figure 6. (A) Object images for training and testing the models (train: 0 to 80 and 105 to 180 degrees with an interval of 5 degrees; test: 90 to 95 degrees with an interval of 1 degree). (B) The hit rate indicated by the vertical axes is a measure for a consistency between the order of view angles of input images and the spatial relations of final output vectors. …
A 给出三个测试物体的训练/测试视角划分(测试为 90–95°、每 1° 一张,更密集也更难);B 三行分别为三个物体,横轴基函数数、纵轴命中率(最近邻输出向量的视角恰好与该输出相邻记一次"命中")。读图要点:每条曲线都有一个峰,TNMF 的峰值命中率显著高于 NMF,而未经学习的带噪 C2 输出本身命中率仅 0.42/0.38/0.52——两个模型都有提升,但拓扑约束的提升更大。此图支撑结果 3。

图 8 · S3 层的部件式拓扑反应图
原文图注:Figure 8: Object representations (H) in the S3 layer trained with the TNMF. Active neurons defined by a common threshold are colored for a corresponding trigger image, but only for the highest activation. If the presented image is changed along the arrow in the top of A or B, some active spots (e.g., regions indicated by arrows) continuously shift their position along the arrows in the map. These results reflect the parts-based and topographic properties of the map.
这是全文最直观的一张图:32×32 的 S3 地图上,每张触发图像(顶部照片,杯子、鸭子、汽车、动物等的连续旋转视角)引起的有活动神经元按最高激活着色。读图抓三个现象:单个物体诱发多个空间分离的活动峰(部件性);同一物体相邻视角的峰相互毗邻、成簇分布;许多簇内的峰随旋转连续移位(箭头所指,拓扑性)——例如杯子诱发两个渐移的斑块、鸭子诱发一个大范围移动的斑块。正文还用区域 1(表面纹理)与区域 2(把手)的消融证据说明每个峰确实对应部件特征。此图支撑结果 4,也是"TNMF 重现 IT 光成像现象"的核心证据。

图 9 · 活动峰数量与峰移位统计
原文图注:Figure 9: (A) The histogram of the number of peaks for each map response (each row of H). (B) The distributions of the minimum peak distance for each set of stimulus pairs whose view angle distance is dș, and for other random stimulus pairs. The minimum peak distance is defined for each stimulus pair as a minimum distance between each peak responding to one view and peaks responding to another view.
A 是每行 H(每次地图反应)的峰数直方图:平均约 3 个峰、呈 Poisson 样分布——把图 8 的"多峰"观察定量化。B 是峰间最小距离的分布随视角差(15°、30°、45°、60° 对应实线、虚线、点划线、点线)逐渐右移,说明相当一部分活动峰确实随物体旋转连续移位;随机刺激对的分布也偏向较短距离,作者归因于刺激集本身由相似物体构成。此图支撑结果 4 的定量部分。

图 10 · 相邻 S3 神经元的连接权重
原文图注:Figure 10: Connection weights of example adjacent S3 neurons to C2 layer (columns of WM). For each S3 neuron, each of 5×10 arrays represents connection weights to C2 neurons that code each of 50 feature types. The coordinate within each array corresponds to the retinotopy of receptive fields of C2 neurons. Brighter entries indicate stronger magnitudes of the connection weights.
展示相邻 S3 神经元(图中上下两行)到 C2 层的连接权重:每个 S3 神经元对应一排 5×10 阵列,阵列坐标即 C2 神经元感受野的视网膜位置拓扑,亮度代表权重大小。读图要点:相邻神经元的阵列模式高度相似(定量为相邻对 r=0.89±0.04 对全体对 0.15±0.15,即连续编码);每个阵列内权重空间局域化(编码局部特征而非整体);权重又铺开在阵列较宽的范围(比 C2 特征更复杂)。此图从"权重结构"侧面支撑结果 4 的部件性与拓扑性。

图 11 · IT 神经元与模型神经元的选择性对比
原文图注:Figure 11: Examples of selected model neurons of each layer (A-D: from the C1, C2 and S3 layers; E-F: from the Luminance layer) displaying the most similar stimulus selectivity to the IT neurons. Each image sequence indicates the selectivity pattern of each neuron where image size indicates the response magnitude normalized by the maximum and ordered descending.
每个例子一行:最左侧为真实 IT 神经元对 64 张图形的选择性谱(图像尺寸编码归一化反应、按降序排列),右边依次为 C1、C2、S3 层中最相似模型神经元的谱。读图要点:A、B 两例中 S3 的谱比 C1、C2 更贴近 IT 神经元(对星形、同心圆的更特异选择);C 例中 S3 与 C2 都好;D 例说明高层在感受野变大的同时仍保留特征分辨率;E、F 是亮暗对比选择性 IT 神经元,只有亮度层的谱能匹配。此图为结果 5 提供单神经元水平的直观样例。

图 12 · 各层对 IT 神经元反应的重建计数
原文图注:Figure 12: The number of neurons among 497 IT neurons that are well-reconstructed by each model layer with criteria of strict and moderate thresholds of a probabilistic index that measures the degree of the reconstruction for each IT neuron. The gray and white bars are the number of well-reconstructed neurons assessed with strict and moderate thresholds, respectively. Error bars indicate the standard deviation based on population proportion. Double-headed arrows indicate significant difference between the pointed values (p < 0.05; binomial test).
纵轴为 497 个 IT 神经元中被各模型层"重建良好"(概率指标低于阈值)的个数,灰柱为严格阈值(0.1)、白柱为中等阈值(0.2),双向箭头标出二项检验显著的比较。读图顺序即论证顺序:随机层垫底 → 亮度层好于随机但不及形状层 → C2 显著高于 C1(严格阈值)→ TNMF 训练的 S3 显著高于 C2(中等阈值)→ 同为 S3,SOM 显著低于 TNMF 与 NMF,而 TNMF 与 NMF 相当。此图是结果 5 的汇总,也是"部件式表征对生物学合理性是必需的、而拓扑性带来的是表征组织方式的差异"这一结论的出处。

讨论
作者从计算机制与神经生物学对应两个层面对 TNMF 模型进行深入阐述: 在计算原理层面,TNMF 属于生成式自组织模型:其乘法更新规则中输入与预测的比值项 V/(WMH) 在概念上等同于前向输入与反馈重建之间的预测误差,这与 Rao 与 Ballard(1999)提出的预测编码(predictive coding)计算框架内在相通;非负性约束是产生局部稀疏“部件式”基向量的关键数学约束,而邻域核 M 则作为结构正则化先验,迫使相邻基函数协同分担重建负担,从而使原本彼此孤立的部件特征在二维皮层流形上平滑铺展。
在神经回路对应层面,模拟揭示的连续视角位移图谱直接印证了光学成像在猕猴 IT 皮层观察到的激活斑块连续迁移现象(Wang et al., 1996, 1998),并赋予其明确的计算生态意义:连续拓扑组织并非单纯的发育副产物,而是为视觉系统赋予了强大的缺损视角插值能力与抗噪鲁棒性。
作者诚恳指出了模型的局限性:当前模型采用确定性连续值节点,尚未结合泊松脉冲发放机制;网络结构仍以层级前馈为主,缺少真实皮层中密集的跨区长程反馈调节;此外,模型对 IT 神经元反应的拟合度与无约束 NMF 基本持平,表明拓扑先验的主要价值体现在流形平滑与插值泛化,而非单纯提升对离散静态刺激的拟合上限。后续研究可进一步探索该自组织机制向三维双眼立体视觉与类别学习的拓展。
一句话总结
本研究提出拓扑非负矩阵分解(TNMF)算法,通过将空间高斯邻域核先验引入非负矩阵分解,成功在多层级视觉计算模型中实现了部件式表征与皮层连续空间拓扑图谱的自组织统合,揭示了拓扑组织在支持未见视角平滑插值与提高表征抗噪鲁棒性方面的计算神经科学机制。