A model for learning topographically organized parts-based representations of objects in visual cortex: topographic nonnegative matrix factorization

这篇计算建模论文提出拓扑非负矩阵分解（topographic non-negative matrix factorization, TNMF），把猕猴下颞叶（inferior temporal cortex, IT）物体表征的两个标志性性质——部件式表征（parts-based representation）与局部拓扑组织——统一进一个学习模型，并用层级视觉模型加真实 IT 神经元数据检验其生物学合理性。它值得读，是因为它回答了一个具体的问题：SOM 这类拓扑模型只能给"单峰、整体式"的表征，NMF 能给"部件式"却无拓扑，而 IT 两者都要——TNMF 给出了兼得的方案，并且用插值能力这个可量化的指标证明了拓扑约束带来的额外好处。

研究背景

IT 物体表征的两个性质在当时都有扎实的实验证据。其一是部件式表征：物体由柱状神经元集群（columnar clusters）的组合活动来表征，每个集群编码物体成分特征或部件——Tanaka 等的单元记录显示 IT 神经元响应的是局部特征而非整体图像，光成像（optical imaging）则显示单个物体在 IT 皮层诱发多个分散的活动斑（Tsunoda 等 2001）。其二是局部拓扑组织：参数上相关的特征沿每个柱状集群的切向连续排列——当物体（如面孔）在深度上连续旋转时，活动斑在皮层表面逐渐移位（Wang、Tanifuji 与 Tanaka 1998）。但这两个性质是如何"学出来"的，当时没有定论。

模型方面，自组织映射（self-organizing map, SOM）是刻画皮层拓扑组织的标准工具，但它把高维输入映射为低维网络上的单点、单峰活动，每个映射点反映输入的整体侧面，天然给不出部件式表征；而非负矩阵分解（non-negative matrix factorization, NMF，Lee 与 Seung 1999）用非负基函数的加性组合逼近输入，能得到部件式表征，却没有任何拓扑结构。介于两者之间的老方法也各有问题：主成分分析（principal component analysis, PCA）给出全分布表征，向量量化（vector quantization, VQ）则每个输入只由一个基函数负责（赢家通吃）。缺口清楚：需要一个既保持 NMF 部件性、又引入基函数间拓扑邻域关系的学习模型。

研究思路

作者的逻辑分三步走。第一步是把 SOM 的"邻域合作"思想移植进 NMF：在二维方形格点地图上排列 r 个基函数，加入一个非负的 r×r 邻域矩阵 M（图上呈高斯分布、半径 σ 可调；M 取单位阵即退化为普通 NMF），重构式由 v≈Wh 变为 v≈WMh。非负约束下的邻域求和会迫使相邻基函数彼此重叠，从而"免费"获得拓扑组织而不丢失部件性。统计上这等价于一个先验假设——输入中潜藏的特征是平滑分布的——由此带来的红利是插值能力：模型能学出训练数据里没有直接出现的潜在特征。第二步，把这个"玩具层面"的优势放到真实语境里检验：用 Wersing 与 Körner（2003）的层级视觉模型（S/C 层交替、特异性与不变性递进，思想同新认知 neocognitron 与 HMAX），把 TNMF 放在最高层 S3 学高层物体特征。第三步，用作者自己实验室 previously 记录的 IT 神经元数据做单神经元水平的对比，评估模型的生物学合理性，并与 SOM、原始 NMF 训练的同层模型对标。

方法

模型本身：TNMF 以 Poisson 噪声生成模型的对数似然为目标函数（Lee 与 Seung 1999, 2001 的框架），用乘法更新规则交替更新基函数 W 与系数 H，并对 H 做归一化以消除 W、H 缩放不定性；由于目标函数只有局部极大，作者从多个随机初始条件做穷举挑选，并像 SOM 算法那样对邻域半径 σ 退火（训练中 M 固定、W 与 H 更新）。（注：该 PDF 文本层的公式提取受损，以上按正文文字描述整理。）层级模型自下而上为：S1 层用 4 朝向 Gabor 滤波抽边缘（赢家占多数竞争加阈值整流）→ C1 层用归一化高斯核加 tanh 饱和非线性做空间 OR 池化（类似 V1 简单/复杂细胞）→ S2 层编码 50 类局部特征（角点、细长边缘等，由稀疏不变基分解学得）→ C2 层再 OR 池化（分辨率 64×64 像素输入降到 C1 的 14×14、C2 的 5×5）→ S3 层由 TNMF 训练，其输出即基系数 H。另加一个低分辨率的亮度极性层（白/黑），用于容纳那些对形状不选择、只响应亮暗对比的 IT 神经元，以免它们污染形状加工的评估。

S3 层训练集为 50 个物体各 5 个视角（0°、15°、30°、45°、60°）共 250 张灰度照片，基函数 32×32 个，邻域半径 σ=1（地图尺寸的 1/32）。对比用的神经数据来自作者此前的实验（Tamura 等 2004, 2005）：多探头电极在 4 只麻醉日本猴右半球前 IT 背侧（细胞构筑区 TE）记录 497 个神经元的胞外锋电位，刺激为 64 张复杂图形（每张在感受野中心呈现 1 秒、重复 10 次），反应率取呈现期平均放电率减自发放电、负值截断——只取兴奋性反应以便与全为非负值的模型输出比较。SOM 对照用同款高斯邻域与退火的批量学习算法（H 由赢家通吃决定、W 无非负约束），训练后再用邻域函数卷积把 0/1 输出模糊化。稀疏性用 Hoyer（2004）的定义（0=均匀、1=单点非零）。

主要结果

1. 玩具数据证明插值能力（图 5）。输入是 32 个神经元排成一线、由带 Poisson 噪声的高斯峰（群体编码）激活的向量；训练峰位在 0–0.4 与 0.6–1.0，测试峰位在 0.45–0.55（训练数据中的"缺失区"）。结果：在最优模型尺寸下 TNMF 重建优于 NMF；更重要的是 TNMF 对潜在高斯成分本身的重建相关性甚至高于对测试输入本身的相关性（NMF 无此泛化能力，且易陷入局部最优、重建不稳定）；在几乎所有测试的基函数数量条件下，TNMF输出均比NMF更稀疏；学到的基函数呈高斯丘、峰位沿地图平滑推移，地图中部的基函数恰在缺失区 0.5 处隆起。
2. 旋转视角下的非线性插值（图 6）。以物体 0–80° 与 105–180°（间隔 5°）的 C2 输出训练、85–100° 测试，TNMF 地图设为环形。38 个基函数时测试重建与输入的平均 Pearson 相关：TNMF 0.893 对 NMF 0.866；PCA 可视化显示 NMF 把测试点线性插值在 80° 与 105° 两个端点之间的直线上，而 TNMF 的重建点沿训练数据两端的切线方向走——捕捉到图像背后的非线性连续结构。基函数数 ≥15 时 TNMF 均占优，<15 时 NMF 反而更好（自由度更大）。
3. 拓扑保持的抗噪优势（图 7）。测试视角 90–95°（间隔 1°），C2 输出叠加均值为 1 的乘性 Poisson 噪声；以"每个测试输出向量的最近邻是否对应相邻视角"计命中率（100 次测试重复 × 20 次训练重复）。三个示例物体的原始 C2 输出命中率仅 0.42、0.38、0.52，而 TNMF 的峰值命中率显著超过 NMF（物体 1、2、3）——拓扑约束使表征对噪声更稳健。
4. S3 表征兼具部件性与局部拓扑（图 8、9、10）。每个刺激在 32×32 地图上诱发平均约 3 个活动峰（近 Poisson 分布，图 9A）；相邻视角的活动峰相互毗邻且随物体旋转连续移位（峰间最小距离分布随视角差 15°/30°/45°/60° 逐渐右移，图 9B）。部件性的直接证据来自杯子刺激的消融分析：区域 1 对复杂表面花纹杯子的三个视角有反应、换成同形简面杯子即消失（纹理特征）；掩掉左半图像即消除区域 2 的活动，且把手被遮挡的旋转视角下区域 2 也不响应（把手特征）。相邻 S3 神经元对 C2 层的连接权重高度相似（相邻对 r=0.89±0.04，全体对仅 0.15±0.15），权重在 5×10 阵列内空间局域化——编码局部特征而非整体模式，但比 C2 特征更复杂、覆盖更广。稀疏度 H 列 0.84±0.07、WM 行 0.68±0.07，达到文献中显式稀疏约束的水平，无需再加约束。
5. 单神经元水平对上真实 IT（图 11、12）。对 497 个 IT 神经元（测试刺激训练时未见过）在 C1、C2、S3 各层选 64 刺激反应模式最相似的模型神经元，用"层水平刺激置换"的代理分布构造概率指标（越小越好，取 0.1 严格 / 0.2 中等两档阈值计数）。结果：C2 显著优于 C1（严格阈值，二项检验 p<0.05）；TNMF 训练的 S3 显著优于 C2（中等阈值，p<0.05）——层次越高越像 IT；同为 S3，SOM 训练的模型在两档阈值下都显著差于 TNMF 与 NMF（p<0.01），而 TNMF 与 NMF 之间无显著差异；随机置换层最差，亮度层好于随机但不及各形状层。

图注解读

图 1 · TNMF 模型结构

原文图注：Figure 1: A diagram of the proposed TNMF model where v indicates an input vector, W indicates basis functions, M indicates neighborhood functions, and h indicates a coefficient vector. Shading of nodes represents magnitudes of input and coefficient entries. All the entries are restricted to be non-negative. If M is the identity matrix, this model reduces to the original NMF. ……

这张结构图给出模型的全部要素：输入向量 v、基函数 W、邻域函数 M、系数向量 h，节点灰度表示各分量的量值，所有量非负。读图关键是 M 的位置——它不是作用在输入上，而是把系数 h 先经 M 混叠再与 W 组合（v≈WMh），这正是"相邻基函数互相借用"的拓扑来源；M 为单位阵时整个图退化回原始 NMF。此图是理解方法部分的基础，也支撑结果 1 中"邻域合作带来插值"的论证。

图 2 · 层级视觉模型架构

原文图注：Figure 2: Architecture of the hierarchical model. In the form path, S and C layers are alternately structured. This feature increases specificity and invariance of input representations, respectively. The proposed TNMF was used for training the S3 layer. An additional luminance layer processes white and black images of lower-resolution. …

形状通路自下而上：亮度输入 → S1（边缘检测）→ C1（空间池化）→ S2（局部组合）→ C2（空间池化）→ S3（TNMF 训练的最高层），另有旁路的亮度层。S 层增特异性、C 层增不变性的交替结构沿袭 Fukushima 的新认知与 HMAX 的设计。读此图要抓住两点：其一，S3 的输入是 C2 的 5×5 特征图而非原始像素，TNMF 学的是"高层特征字典"；其二，亮度层是专为对比 IT 中亮暗选择性神经元而设的对照通道。此图支撑方法部分与结果 5 的分层比较逻辑。

图 3 · 训练用物体连续视角图例

原文图注：Figure 3: Examples of object images for consecutive views used to train the S3 layer.

展示训练 S3 层的物体图像示例——50 个物体各 5 个深度旋转视角（0°–60°）中的一组样例。单句图注，本身信息少，但它是结果 2、3、4 中"连续视角变化"这一刺激维度的实体：S3 地图上活动峰随视角连续移位（图 8、9），根源就是训练集里这种参数化的视角序列。

图 4 · IT 神经元测试刺激集

原文图注：Figure 4: A set of 64 stimulus images used to examine responses of IT neurons (Tamura et al., 2004, 2005).

与模型对比所用的 64 张复杂图形刺激（星星、同心圆、带突起的形状等）。要点在正文的一句话：这些测试图形从未在模型训练时出现过——所以图 11、12 中"模型神经元能匹配 IT 神经元的选择性模式"是对模型泛化能力而非记忆的检验。此图服务于结果 5。

图 5 · 玩具实验：插值与稀疏优势

原文图注：Figure 5: A toy experiment to illustrate the computational advantage of TNMF over NMF. (A) The left graph shows an example of input data. The input neurons are arrayed in a line and activated by a Gaussian component on the input array with Poisson noise. The position of the Gaussian component ranged in 0-0.4 and 0.6-1.0 for training data, and ranged in 0.45-0.55 for test data. The map architecture of the TNMF was one dimensional as in the right diagram. ……

A 给出输入形态（线阵上的高斯活动丘）与训练/测试峰位的划分——测试段 0.45–0.55 恰是训练分布中间的空洞；B 是核心结果图，两组曲线分别对"测试输入的重建"（1）与"潜在高斯成分的重建"（2）画 TNMF/NMF 相关随基函数数目的变化，TNMF 在中等模型尺寸下明显占优，且其对潜在成分的重建比对输入本身还好——这正是插值能力的直接体现；C 显示 TNMF 输出稀疏度始终高于 NMF；D 排出 32 个基函数沿一维地图的权重轮廓，中部基函数在 0.5（缺失区）隆起。此图支撑结果 1。

图 6 · 旋转视角的重建对比

原文图注：Figure 6: (A) A PCA visualization for C2 outputs responding to successive views of an object, and their reconstructions obtained by TNMF and NMF analyses for test data. The views in the 0-to-80 and 105-to-180 degrees were the training images. The views in the 85-to-100 degrees were the test images. The map of TNMF was constructed to form a circular ring. In the PC space, the C2 output vectors are represented by circular points connected with black thin lines where lines indicate view changes. ……

A 在主成分空间里画物体旋转的数据流形：细线圆点为输入（环形分布，对应视角连续变化），方块（TNMF）与三角（NMF）为测试视角的重建。读图要点：NMF 的重建点落在 80° 与 105° 两端点连线的直线上（纯线性插值），TNMF 的重建点则沿训练流形两端的切线方向弯出去、贴着真实测试点的走向——非线性的"顺着流形走"。B 画平均相关随基函数数目变化的曲线，基函数 ≥15 时黑（TNMF）始终高于灰（NMF）。此图支撑结果 2。

图 7 · 视角拓扑保持的命中率

原文图注：Figure 7: View angle topological preservation of the TNMF and the NMF models when inputs of the model are affected by noise. The map topology of the TNMF was set to be circular as in Figure 6. (A) Object images for training and testing the models (train: 0 to 80 and 105 to 180 degrees with an interval of 5 degrees; test: 90 to 95 degrees with an interval of 1 degree). (B) The hit rate indicated by the vertical axes is a measure for a consistency between the order of view angles of input images and the spatial relations of final output vectors. …

A 给出三个测试物体的训练/测试视角划分（测试为 90–95°、每 1° 一张，更密集也更难）；B 三行分别为三个物体，横轴基函数数、纵轴命中率（最近邻输出向量的视角恰好与该输出相邻记一次"命中"）。读图要点：每条曲线都有一个峰，TNMF 的峰值命中率显著高于 NMF，而未经学习的带噪 C2 输出本身命中率仅 0.42/0.38/0.52——两个模型都有提升，但拓扑约束的提升更大。此图支撑结果 3。

图 8 · S3 层的部件式拓扑反应图

原文图注：Figure 8: Object representations (H) in the S3 layer trained with the TNMF. Active neurons defined by a common threshold are colored for a corresponding trigger image, but only for the highest activation. If the presented image is changed along the arrow in the top of A or B, some active spots (e.g., regions indicated by arrows) continuously shift their position along the arrows in the map. These results reflect the parts-based and topographic properties of the map.

这是全文最直观的一张图：32×32 的 S3 地图上，每张触发图像（顶部照片，杯子、鸭子、汽车、动物等的连续旋转视角）引起的有活动神经元按最高激活着色。读图抓三个现象：单个物体诱发多个空间分离的活动峰（部件性）；同一物体相邻视角的峰相互毗邻、成簇分布；许多簇内的峰随旋转连续移位（箭头所指，拓扑性）——例如杯子诱发两个渐移的斑块、鸭子诱发一个大范围移动的斑块。正文还用区域 1（表面纹理）与区域 2（把手）的消融证据说明每个峰确实对应部件特征。此图支撑结果 4，也是"TNMF 重现 IT 光成像现象"的核心证据。

图 9 · 活动峰数量与峰移位统计

原文图注：Figure 9: (A) The histogram of the number of peaks for each map response (each row of H). (B) The distributions of the minimum peak distance for each set of stimulus pairs whose view angle distance is dș, and for other random stimulus pairs. The minimum peak distance is defined for each stimulus pair as a minimum distance between each peak responding to one view and peaks responding to another view.

A 是每行 H（每次地图反应）的峰数直方图：平均约 3 个峰、呈 Poisson 样分布——把图 8 的"多峰"观察定量化。B 是峰间最小距离的分布随视角差（15°、30°、45°、60° 对应实线、虚线、点划线、点线）逐渐右移，说明相当一部分活动峰确实随物体旋转连续移位；随机刺激对的分布也偏向较短距离，作者归因于刺激集本身由相似物体构成。此图支撑结果 4 的定量部分。

图 10 · 相邻 S3 神经元的连接权重

原文图注：Figure 10: Connection weights of example adjacent S3 neurons to C2 layer (columns of WM). For each S3 neuron, each of 5×10 arrays represents connection weights to C2 neurons that code each of 50 feature types. The coordinate within each array corresponds to the retinotopy of receptive fields of C2 neurons. Brighter entries indicate stronger magnitudes of the connection weights.

展示相邻 S3 神经元（图中上下两行）到 C2 层的连接权重：每个 S3 神经元对应一排 5×10 阵列，阵列坐标即 C2 神经元感受野的视网膜位置拓扑，亮度代表权重大小。读图要点：相邻神经元的阵列模式高度相似（定量为相邻对 r=0.89±0.04 对全体对 0.15±0.15，即连续编码）；每个阵列内权重空间局域化（编码局部特征而非整体）；权重又铺开在阵列较宽的范围（比 C2 特征更复杂）。此图从"权重结构"侧面支撑结果 4 的部件性与拓扑性。

图 11 · IT 神经元与模型神经元的选择性对比

原文图注：Figure 11: Examples of selected model neurons of each layer (A-D: from the C1, C2 and S3 layers; E-F: from the Luminance layer) displaying the most similar stimulus selectivity to the IT neurons. Each image sequence indicates the selectivity pattern of each neuron where image size indicates the response magnitude normalized by the maximum and ordered descending.

每个例子一行：最左侧为真实 IT 神经元对 64 张图形的选择性谱（图像尺寸编码归一化反应、按降序排列），右边依次为 C1、C2、S3 层中最相似模型神经元的谱。读图要点：A、B 两例中 S3 的谱比 C1、C2 更贴近 IT 神经元（对星形、同心圆的更特异选择）；C 例中 S3 与 C2 都好；D 例说明高层在感受野变大的同时仍保留特征分辨率；E、F 是亮暗对比选择性 IT 神经元，只有亮度层的谱能匹配。此图为结果 5 提供单神经元水平的直观样例。

图 12 · 各层对 IT 神经元反应的重建计数

原文图注：Figure 12: The number of neurons among 497 IT neurons that are well-reconstructed by each model layer with criteria of strict and moderate thresholds of a probabilistic index that measures the degree of the reconstruction for each IT neuron. The gray and white bars are the number of well-reconstructed neurons assessed with strict and moderate thresholds, respectively. Error bars indicate the standard deviation based on population proportion. Double-headed arrows indicate significant difference between the pointed values (p < 0.05; binomial test).

纵轴为 497 个 IT 神经元中被各模型层"重建良好"（概率指标低于阈值）的个数，灰柱为严格阈值（0.1）、白柱为中等阈值（0.2），双向箭头标出二项检验显著的比较。读图顺序即论证顺序：随机层垫底 → 亮度层好于随机但不及形状层 → C2 显著高于 C1（严格阈值）→ TNMF 训练的 S3 显著高于 C2（中等阈值）→ 同为 S3，SOM 显著低于 TNMF 与 NMF，而 TNMF 与 NMF 相当。此图是结果 5 的汇总，也是"部件式表征对生物学合理性是必需的、而拓扑性带来的是表征组织方式的差异"这一结论的出处。

讨论

作者从四个角度收拢论证。结构上，TNMF 是一个生成模型：学习规则里 V/(WMH) 的比值运算相当于计算输入与重建之间的残差，这与 Rao 与 Ballard（1999）的预测编码思路相通——若大脑使用类似规则，输入神经元的活动可被输出神经元经内部网络以乘法方式抑制来算误差；非负约束则是关键中的关键，因为一旦放开符号限制，TNMF 目标函数的最优解会退化为 W'M⁻¹，等于让 W 抵消邻域矩阵 M 的学习效应——即"拓扑性会被完全绕开"。邻域函数 M 在脑内的对应物被作者定为皮层内水平连接（horizontal connections）：IT 的局部回返轴突呈放射对称的晕环状分布，与模型里的圆形邻域函数形态吻合，且 IT 局部回返轴突的范围大于 V1——作者据此猜测各皮层区域邻域范围可能与提取潜在连续结构的内在难度相关。与其他拓扑模型的对话也很明确：拓扑 ICA 假设成分间无一阶相关，与 IT 相邻神经元存在低度一阶相关的事实不符；多赢家 SOM 的峰数恒定，与"活动斑数量随刺激复杂度增加"的光成像观察冲突；Wada 等（2004）的模型激活被限制在单一柱状区内，同样丢掉了部件性。

功能上，作者为拓扑组织给出了超越"省线"（wiring economy）的两个计算角色：沿地图做群体解码（用插值估峰位，比单神经元可靠），以及沿地图做 OR 池化以获得不变性（S3 之上可以自然延伸出一个视角不变性更强的"C3"层）。局限作者自己也点破了：图 12 的对比中 TNMF 与 NMF 没有显著差异，说明在"单神经元选择性匹配"这个口径下，拓扑插值的优势还没有被灵敏地测出来——TNMF 相对 NMF 的增量主要在拓扑组织与群体编码层面（结果 2、3 已显示），需要更有针对性的检验。SOM 的失败则被归因于其特征是专属于单张训练图的整体模式，而绝大多数 IT 神经元响应的是局部特征（Tanaka 等 1991）。

一句话总结

在我看来这篇论文最聪明的一步是把"拓扑组织"从一种待解释的现象改写成一个带来可测收益的先验：加上高斯邻域后，NMF 不但没丢掉部件性，还白赚了插值能力（缺失视角的重建、抗噪下的拓扑保持）。图 12 里 TNMF 与 NMF 打平这一点作者处理得很诚实——他们没有吹"全面胜出"，而是把 TNMF 的增量明确限定在表征的组织形式上。对做视觉表征建模的读者，这是一篇把 NMF"皮层化"的干净范本；对实验读者，图 8 与光成像现象的对应是最值得细看的部分。