Comput Electron Agr.：Vitis vinifera Vis-NIR光谱中的光谱干扰和基质效应：迈向分析级的“活体”糖和酸定量

Vitis vinifera Vis-NIR光谱中的光谱干扰和基质效应：迈向分析级的“活体”糖和酸定量

期刊：Computers and Electronics in Agriculture（10.3）

发表日期：2022年3月

 

 

研究摘要

 

利用光谱技术实现分析级精度的“活体”植物代谢定量，是推动精准农业发展的关键技术。然而，目前常用的方法（如偏最小二乘法 PLS、人工神经网络 ANN 和最小二乘支持向量机 LS-SVM 等）难以有效破解光谱干扰和基质效应，无法给出与传统分析化学实验室相媲美的结果。为此，本研究提出了一种全新的自学习人工智能（SL-AI）方法，其核心在于搜索“协方差模式（covariance modes）”。该方法能够将光谱数据中不同的干扰模式隔离开来，从而实现稳定、一致的成分定量。文章结合平均绝对标准误差百分比（MASEP）和皮尔逊相关系数（R）两项指标，对当前最先进的方法进行了回顾、比较与讨论。研究选取了5个酿酒葡萄品种和1个鲜食葡萄品种的707个葡萄样本，对葡萄糖、果糖、苹果酸和酒石酸进行了定量分析。以此为基础，将新方法与当前最先进的算法（偏最小二乘法、局部偏最小二乘法、人工神经网络和最小二乘支持向量机）进行了基准测试对比。结果显示，SL-AI 能够提供高度一致的定量结果，而以往的方法则表现出明显的“数据驱动性能依赖”（即性能忽高忽低）。新方法获得了 0.93 至 0.99 的皮尔逊相关系数，以及 3.70% 至 7.33% 的 MASEP。 作为对比，文献中基准表现最好的局部偏最小二乘法（Local-PLS），其相关系数仅为 0.81 至 0.94，MASEP 为 8.00% 至 13.4%。协方差模式能够成功隔离特定的干扰，在光谱推断与成分浓度之间建立起直接的联系，且完全符合比尔-朗伯定律（Beer-Lambert law）。该技术成功实现了对“非主导吸收”成分（如糖和酸）的定量，这是迈向基于“活体”植物生理学的精准农业的重要一步。

 

研究背景

 

基于光谱学的葡萄成熟度评估方法

可见光和近红外（Vis-NIR）光谱技术是用于“活体”量化葡萄成熟度参数的最先进传感工具（Herrera et al., 2003等）。近红外（NIR）被用于监测白利度（可溶性固形物）、总酸度、pH值、还原糖、潜在和可提取的花青素、多酚、苹果酸和钾。“原位”葡萄分析硬件如今已成为现实，目前最先进的是自主机器人辅助光谱技术。图1a展示了搭载Vis-NIR物联网（IoT）光谱仪系统的INESC TEC Metbots机器人系统。在该系统中，光由中心针孔光纤接收并由周围光纤传输，使光能够进入葡萄内部结构，记录果皮、果肉和种子光谱信息的均衡整合，如图1b所示。

 

葡萄光谱学

葡萄果皮发育出大部分色素（叶绿素、酚类和糖苷化合物，与品种的香气前体有关）。外围区域积累类胡萝卜素（降异戊二烯的前体，即葡萄酒香气）和类黄酮（抗氧化剂）。果肉主要由水、糖（如：果糖、葡萄糖、蔗糖）、酸（如：酒石酸、苹果酸）组成，但也可能对单宁和细胞壁解聚有贡献，导致其光学特性发生显著变化。种子颜色在成熟过程中从绿色变为棕褐色并木质化。成熟的种子是葡萄酒中单宁（苦味）含量低的重要指标。

随着葡萄成熟，色素和其他吸收较弱的成分（糖、酸）相互干扰，产生了图1b中看到的连续光谱。图1b展示了葡萄的光谱及其对应的果皮、果肉和种子在可见-短波近红外（Vis-SWNIR，320 nm至850 nm）区域的光谱。每种组织的光谱在三个感兴趣区域（ROI）重叠：(1) 400–550 nm；(2) 550–700 nm；(3) 700–850 nm；一旦组合起来，就构成了观测到的整颗葡萄光谱。果皮和果肉的大部分信息位于ROI (1)和(2)内，而种子信息位于(2)和(3)内。观测到的葡萄光谱是这三种组织的组合，其中ROI (1)的高吸收是由于种子的吸收，而不是果皮色素。果皮、果肉和种子叠加的光谱信息，给从观测到的葡萄光谱中准确解混（unscrambling）不同成分（果皮：叶绿素、花青素、类胡萝卜素等；果肉：糖和酸；种子：单宁）的信息带来了挑战。

光谱信息具有尺度占优性（scale-dominant）。成分信息取决于浓度和消光系数。在Vis-SWNIR区域，高吸收成分（如色素）主导了光谱（即使浓度很低）；而相对于低吸收成分（如糖和酸），尽管它们浓度相对较高。糖和酸是非主导的光谱信息，因此，通过传统化学计量学在该光谱区域对其进行量化更具挑战性。由于这个原因，糖（葡萄糖和果糖）和酸（苹果酸和酒石酸）最好使用NIR（1400-2500 nm）进行量化，因为它们在该区域具有更高的吸收。这意味着，若使用最先进的方法来量化色素、糖和酸，将需要两个独立的探测器（一个在可见光区，一个在近红外区）。

由于糖和酸的信息存在于果肉Vis-SWNIR光谱的微小变化中（图1中的ROI (2)和(3)），因此需要一种新的、更复杂的方法来解混Vis-NIR区域中色素的信息，而不依赖于成熟过程中色素、糖和酸之间的自然相关性。

 

 

材料与方法

 

2.1. 样本与参考方法

硬核数据集：跨年份、跨气候和土壤类型，在葡萄牙两个产区收集了707个葡萄样本，涵盖了5个酿酒葡萄品种（国产多瑞加、西拉等）和1个鲜食品种（红卡迪纳尔）。

真值获取：在田间进行“活体”光谱采集后，将葡萄冷冻带回实验室，精准测定葡萄糖、果糖、苹果酸和酒石酸的含量，作为基准真值。

 

2.2. 基准测试

2.3. 自学习人工智能 SL-AI

颠覆性的理念：传统算法是在找“相似度”，而SL-AI是在找“协方差模式（CovM）”。什么是CovM？ 它是指具有稳定协方差关系的样本群。你可以把它理解为一种特定的“干扰指纹”。SL-AI不去过滤干扰，而是把不同种类的干扰隔离开来。物理意义：它不仅符合比尔-朗伯定律（Beer-Lambert law），还能建立光谱与浓度之间的直接因果关系。它不仅告诉你“结果是什么”，还能告诉你“用了哪些波段，排除了哪些干扰”。

 

结果与讨论

 

3.1. 偏最小二乘法

全局品种PLS模型

作者首先使用所有葡萄品种的数据构建了全局PLS模型（PLSG）。结果显示，葡萄糖、果糖和酒石酸与光谱信息存在一定的相关性（R约为0.85-0.93），但苹果酸与模型的一致性极差（R=0.64）。致命缺陷在于： PLS的结果极不稳定。不同品种的性能差异巨大，例如，葡萄糖在西拉（Syrah）上的相关性竟然是 -0.03，而在卡迪纳尔（Cardinal）上仅为0.49。为了拟合复杂的数据，全局模型被迫使用了10到14个潜变量（LV）。这说明面对不同品种自身的基质效应和干扰，全局模型无能为力。

 

特定品种PLS模型

既然全局模型不行，那“专款专用”建每个品种的专属模型呢？结果依然令人失望。对于国产多瑞加（TN）、西拉（Syr）和卡迪纳尔（Card）等品种，预测相关性极差（R在0.50到0.62之间）。虽然某些品种（如TF、TR）表现稍好，但整体模型依然需要3到8个潜变量。这证明，即使在同一品种内，生物变异性引发的干扰依然极其复杂，PLS算法难以准确解混。

 

局部偏最小二乘法

基准测试结果显示，Local-PLS 在所有品种混合时的整体相关性看起来还不错（R约为0.81-0.94）。然而，一旦拆开看具体品种，结果就“崩盘”了：葡萄糖在TF和TR上相关性尚可，但在其他品种上极差；苹果酸在西拉、TF和TR上的相关性甚至掉到了0.24到0.53。

 

结论： 简单依靠光谱相似度（欧氏距离）并不能解决品种内部和品种间的光谱干扰。相邻的样本未必属于同一个成分梯度，对于被色素掩盖的糖酸这类“非主导吸收成分”，局部模型依然束手无策。

 

 

3.2. 人工神经网络

作者分别测试了结合主成分分析的ANN（PCA-ANN）和结合偏最小二乘的ANN（PLS-ANN）。虽然从全局数据看，它们具有显著的相关性（PCA-ANN的R为0.64-0.80，PLS-ANN的R为0.71-0.93），但在单一品种上的预测结果堪称最差。例如，PCA-ANN竟然无法在任何单一品种上成功量化葡萄糖（R≤0.37）。深层原因： 光谱信息存在高度的卷积和叠加（如散射、荧光、多尺度干扰）。神经网络需要海量数据来构建非线性映射，而在有限的样本量下，面对复杂的生物变异，ANN根本无法提取出糖酸微弱的有效信息，反而容易陷入“死记硬背”。

 

3.3. 最小二乘支持向量机

LS-SVM 利用高斯径向基（RBF）核函数将非线性特征映射到高维空间。在涵盖所有葡萄品种的全数据集上，其相关性系数仅为 0.53 到 0.72。对于TN和Syr品种的葡萄糖、果糖预测出现了重大误差。局限性： 高斯核函数在计算相似度时，极大地压缩了方向信息。这种非最优的映射，使得模型在复杂的生物光谱面前丧失了区分不同成分的能力。

 

3.4. 自学习人工智能 SL-AI预测性能：

SL-AI 展现了极其惊人的定量能力。在整体皮尔逊相关系数（R）高达 0.95-0.99 的情况下，预测标准误（SE）大幅降低。更恐怖的是，完成这一切仅仅使用了 1 个潜变量（LV=1）， 相比之下，传统算法动辄需要十几个潜变量。在局部PLS表现最差的苹果酸预测上，SL-AI 的误差直接降低了50%以上。

葡萄成熟过程中，连续光谱的主要方差是由色素（叶绿素、花青素等）之间的干扰造成的。糖酸属于“非主导信息”，隐藏在巨大的色素吸收带中。SL-AI 并没有像传统算法那样去强行拟合这些混杂的潜变量，而是通过搜索协方差模式（CovM），找到了光谱干扰与成分浓度之间稳定的因果关系。

直接靶向果肉，无视果皮种子：葡萄的光谱是果皮、果肉和种子叠加的（图1b）。SL-AI 就像一个拥有“火眼金睛”的手术刀，它完全避开了果皮（400-500 nm）和种子（700-850 nm）的强烈干扰，精准锁定在了 550-750 nm 的果肉感兴趣区域（ROI 2）（Fig 6）。在这个区域内，糖酸的光谱信息虽然微弱，但因为它排除了其他干扰，从而被精准捕获。

 

 

结论

 

通过在高干扰的光谱信息中寻找一致的协方差（CovM），利用可见光/近红外（Vis-NIR）光谱技术实现分析级质量的精准定量是完全可行的，本文所展示的葡萄成熟过程中糖和酸的定量分析就是一个很好的例证。CovM 搜索通过隔离特定的干扰模式，能够高效地解开光谱干扰的谜团。CovM 表明，光谱中的定量信息具有矢量性，观测到的干扰与样本成分浓度之间存在直接的联系，并且完全符合通用的比尔-朗伯定律（Beer-Lambert law）假设。

这一策略使得研究人员能够确定感兴趣区域（ROIs）的光谱干扰，及其对成分定量的贡献，这与果肉组织所在的 ROI 高度吻合——而果肉正是糖和酸浓度最高的地方。这些结果具有重要意义，因为糖和酸在可见光谱中属于“非主导吸收”成分。研究结果表明，数据驱动方法的性能高度依赖于方法的内部原理。在特定的光谱干扰情况下，基于物理信息的策略（如 SL-AI）比基于相似度度量等一般性假设的方法表现得更好。

随着数据处理方法开始融入物理化学的第一性原理，我们有望开发出更高效的光谱分析方法，将分析化学实验室所具备的高通量和准确度，带入到精准农业的田间应用中。