从“光谱指纹"到空间—光谱建模，再到可部署分拣闭环

前言：多材质同步分拣的核心矛盾，是物体外观与材料组成并不等价。高光谱成像同时记录空间位置与连续波段响应，使每个像素拥有可用于材质判断的光谱信息。

本文梳理从化学计量学、卷积神经网络到空间—光谱Transformer的发展路径，并结合真实设备、实测光谱、特征空间、注意力热图和像素级分类图，说明模型怎样把光谱差异转化为可执行的分拣决策。

文章同时强调污染、传感器迁移、黑色材料、数据泄漏和实时性等工程约束。所谓“通用识别"应理解为可迁移、可扩展的建模能力，而不是脱离波段、样本和工况的一次训练、处处适用。

一、问题定义：机器为何必须“理解材料"？

在传送带上，颜色、纹理与形状只能回答“它看起来像什么"。透明PET与PVC、外观近似的PE与PP、带标签或污染的包装，以及混合与重叠物料，都可能让RGB视觉产生歧义。工业系统真正需要回答的是“它由什么组成、在哪里、是否应该被分离"。

近红外和高光谱分选并非新概念。早期工业研究已证明，可利用材料在连续波段上的反射差异进行在线识别。随后，PET—PLA、PET—PVC和多类废塑料研究逐步把光谱测量、化学计量学与自动分选连接起来。

深度学习改变的是特征获取方式：模型不再完全依赖人工选择少数波段，而是从空间—光谱数据中学习多尺度表示。Transformer进一步提供跨波段、跨像素的长距离建模能力，但仍必须服从真实传感器和产线工况。

二、高光谱成像：从数据立方体到材料证据

2.1 采集系统不是“一台相机"

推扫式高光谱系统通常由相机、光谱仪、稳定光源、移动平台或输送带、白板/暗场标定和同步控制组成。系统逐行扫描目标，最终形成宽度×长度×波段数的数据立方体；每个像素对应一条光谱曲线。

图1给出一套400—1000nm推扫式近红外高光谱装置的真实实验场景。强光源、固定相机与可控移动平台共同决定光谱是否可重复；这也解释了为何算法精度无法脱离采集几何和标定流程单独讨论。

图1  推扫式可见光高光谱实验系统实景

2.2 光谱指纹会被污染和工况改变

聚合物的分子振动会在近红外形成特征吸收带，因此不同材料的光谱曲线并不相同。但“指纹"不是静态条形码：表面污染、含水率、颜色、厚度、老化与温度都会改变响应。公开研究已直接观察到食品污染造成的谱形偏移。

图2同时展示PP、PET、LDPE、HDPE、PLA、PBAT与PHA的原始吸收光谱、污染后的光谱以及预处理结果。它说明预处理能够压制部分基线和幅值差异，却不会自动消除所有域偏移。

图2  多类塑料在洁净、食品污染与预处理条件下的实测吸收光谱

转载自Taneepanichskul等，原文Figure 4。 

DOI：10.14324/111.444/ucloe.3237；许可：CC BY 4.0

2.3 高维不等于有效信息更多

相邻波段往往高度相关，数百个变量中既有材料信息，也有冗余和噪声。主成分分析、连续谱去除、导数变换、标准正态变量变换与波段选择，都是把原始光谱转化为更稳定特征空间的常用手段。

图3展示五类塑料光谱的PCA得分分布。类别簇在主成分空间中出现分离，说明材料差异确实存在于多波段联合变化中；簇间重叠也提醒我们，单次测量或单一阈值不足以代表所有来源和状态。

图3  五类塑料实测近红外光谱的PCA得分图

转载自Rani等，原文Figure 3。 DOI：10.3390/ma12172740；许可：CC BY 4.0

三、算法演进：从化学计量学到Transformer

3.1 化学计量学：小样本、强解释

PCA、PLS-DA、SVM与基于光谱指数的判别方法，适合样本较少且变量含义明确的场景。它们便于查看载荷、关键波段和分类边界，也更容易做校准迁移；不足是空间结构利用有限，复杂污染和遮挡下的表达能力受限。

3.2 CNN：联合学习局部空间—光谱特征

1D-CNN可沿光谱轴学习局部吸收模式，2D-CNN提取纹理与形态，3D-CNN则在空间和波段方向同时卷积。HybridSN等模型把3D与2D卷积结合，成为高光谱分类的重要基线。

CNN并非只能看到局部：堆叠层、空洞卷积和多尺度结构都能扩大感受野。其限制更准确地说，是长距离关系通常需要通过多层逐步传递，而不同波段或远距离像素之间的直接关联不够显式。

3.3 Transformer：显式建模远距离关系

自注意力把输入表示为Token序列，并计算Token之间的相似度与信息汇聚权重[10]。对高光谱数据，Token可以是一组相邻波段、一个空间Patch，或空间—光谱三维小块。SpectralFormer与SSTN分别展示了光谱序列建模和空间—光谱协同建模的可行性。

Transformer的优势不是“必然更准"，而是建模选择更灵活：它可以跨波段关联吸收带、融合邻域上下文，并通过多头机制学习不同关系。代价是计算、显存和数据需求增加，且注意力权重不能直接等同为物理因果。

3.4 基础模型：迁移能力，而非万能模型

SpectralGPT把大规模自监督预训练引入光谱遥感，证明通用光谱表征可以迁移到分类、分割和变化检测等任务。但它训练于遥感数据，并不是可直接部署到工业分拣线的通用模型。跨传感器、跨波段和跨任务仍需适配与验证。

四、空间—光谱Transformer怎样完成像素级识别？

4.1 Patch化：同时保留“是什么"和“在哪里"

只使用单像素光谱，容易受到噪声、混合像元和表面纹理影响。空间—光谱模型围绕中心像素提取局部立方块，把邻域形状与中心光谱一起输入模型。这样既能判断材料类别，也能保持目标边界与位置。

4.2 光谱嵌入与参数高效编码

图4以公开的空间—光谱Transformer为蓝本：先从7×7×171高光谱块中提取邻域，再用1×1光谱卷积压缩波段维度；随后通过中心查询注意力、二维位置编码和低秩投影完成多层编码，最后融合中心像素表征并分类。

这种设计把计算集中在目标像素及其局部上下文上，避免对整幅图做全局二次复杂度注意力。它体现了工业模型的一条重要原则：不是追求最大的网络，而是在可接受延迟下保留最有用的空间—光谱关系。

图4  参数高效空间—光谱Transformer的像素级分类流程

改绘自Khan等原文Figure 4； DOI：10.3390/s26082459；许可：CC BY 4.0

4.3 注意力热图能解释什么？

多头注意力允许不同头关注不同上下文。图5中，同质肉组织、同质LDPE和材料边界区域呈现不同的权重分布；这说明模型会随局部空间—光谱条件改变信息聚合位置。

但热图只能说明“模型在计算时使用了哪些位置"，不能独立证明这些位置具有特定化学意义。要建立物理解释，还需结合波段响应、遮挡实验、特征归因稳定性和独立样本复现。

图5  不同局部场景下八个注意力头的真实权重分布

转载自Khan等，原文Figure 7。 DOI：10.3390/s26082459；许可：CC BY 4.0

五、多材质同步分拣：从预测图到执行指令

5.1 完整闭环包含六个环节

工程闭环通常包括：连续采集、辐射校正与去噪、空间—光谱编码、像素或目标分类、位置与到达时间计算、执行器触发。气动喷嘴适合高速轻质物料，机械臂适合形状复杂或需要温和抓取的目标。

分类模型输出的类别、置信度和掩膜，还要经过连通域、尺寸过滤、目标跟踪与队列同步，才能转换成喷嘴或机械臂指令。只展示离线准确率，不能证明系统已经具备在线分拣能力。

5.2 像素级预测为什么重要？

当异物很小、与背景接触或颜色接近时，整图分类只能说“画面里有某种材料"，无法给出可执行位置。像素级分类直接生成材料掩膜，既能定位边界，也能估计面积和中心坐标。

图6展示HDPE、LDPE和PP异物的RGB图、伪彩色图、真值与Transformer预测。预测掩膜在公开案例中能够跟随异物轮廓，说明空间上下文与光谱差异可以协同用于定位。

图6  三类聚合物异物的RGB、伪彩色、真值与Transformer预测结果。

转载自Khan等，原文Figure 6。 DOI：10.3390/s26082459；许可：CC BY 4.0

5.3 复杂、重叠与黑色材料

混合或重叠场景会让RGB模型依赖颜色和外形做出错误判断，而高光谱模型仍可利用材料响应恢复类别。黑色塑料因强吸收而更困难，但在合适波段、照明和信噪比条件下，仍可能获得可用的分类结果。

图7来自同一项多材质像素级研究：(a)显示RGB预测与高光谱预测在混合、重叠物料上的差异；(b)展示黑色塑料场景中的高光谱图、RGB图、真值与最终掩膜。它们是公开案例，不代表所有黑色材料均可被稳定识别。

图7  混合、重叠与黑色塑料场景中的像素级材料分类案例。

组合改绘自Sifnaios等， DOI：10.3390/jimaging12060267；许可：CC BY 4.0

六、怎样科学评价一个“通用分拣模型"？

6.1 数据划分必须阻断泄漏

高光谱图像中相邻像素高度相似。若把同一物体的像素随机分到训练集和测试集，模型可能记住样品与背景，而非学会材料规律。更可靠的做法，是按物体、批次、采集日期或设备划分，至少保证测试物体从未出现在训练阶段。

6.2 指标要对应分拣代价

总体准确率可能被大面积背景像素“抬高"。材料分拣应同时报告每类召回率、精确率、F1、交并比、混淆矩阵和无法判定比例。在线系统还应报告单帧延迟、吞吐量、喷吹时序误差与单位时间误分拣量。

6.3 置信度需要校准

高置信度不等于预测正确。对安全敏感或高价值物料，应在独立数据上校准概率，设置“拒识"阈值，并保留人工复核或二次检测出口。比起强制给出类别，可靠地说“无法判断"往往更有工程价值。

6.4 必须做跨域压力测试

通用能力至少要经过跨批次、跨颜色、跨污染、跨厚度、跨速度和跨设备测试。域外样本、未知材料和传感器漂移应单独统计，而不是并入平均准确率。污染塑料研究表明，真实包装状态会显著改变光谱与分类难度。

七、结论

高光谱成像为材料识别提供了普通视觉难以获得的连续波段证据，Transformer则提供了组织这些证据的新方式。二者结合，能够同时利用吸收特征、空间邻域和长距离关系，输出材料类别与像素级位置。