COMPUT ELECTRON AGR：基于概率图的葡萄检测与计数

基于概率图的葡萄检测与计数

期刊：Computers and Electronics in Agriculture （8.9）

发表日期：2024年07月

将葡萄检测与计数的三项子任务合并在一起的主要挑战在于：如何从单一神经网络的输出中得到这些子任务的检测结果。为解决这一问题，我们提出一种基于概率图的葡萄检测与计数框架。该框架首先通过神经网络检测两类中间概率图，再利用三个后处理阶段依次完成葡萄检测与计数的三项子任务。

本方法在WGISD数据集的训练验证集上进行训练与验证，并结合本团队在成都采集的100张额外图像，最终在WGISD测试集上进行性能验证。所提框架在WGISD测试集上取得如下性能：

葡萄果穗：定位精度平均精确率AP(iou0.5)为0.851，计数指标平均绝对误差MAE为1.845、均方根误差RMSE为2.142；

葡萄果粒：计数指标MAE为23.414、RMSE为31.391；

单穗果粒数：计数指标平均相对偏差MRD为0.142、1-方差解释率1-FVU为0.865。

对于芒果、草莓、苹果、蓝莓等常见非簇生果实，果实检测与计数任务较为明确。然而，由于葡萄属于簇生果实，其表型包含葡萄果穗、葡萄果粒以及单穗果粒数，这给葡萄检测任务带来了更多挑战。因此，如何正确利用这三项表型特征以更全面、准确地描述葡萄表型，并完成特定的葡萄检测任务，是数字葡萄栽培需要解决的关键问题。以往研究将葡萄的检测与计数划分为三项相互独立的任务：(1)葡萄果穗检测任务；(2)葡萄果粒计数任务；(3)单穗果粒数统计任务。并且，相关研究分别提出了多种方法以单独实现这些任务。

我们注意到，由于葡萄果穗由多个葡萄果粒构成，检测每个果穗的包围框过程也等价于检测每个果穗所包含的全部葡萄果粒。此外，在定位一个果穗内的所有果粒后，可利用这些果粒的位置轻松确定该果穗的包围框。另外，在不产生重复检测、漏检和误检的前提下，剔除离散果粒干扰后，整幅图像中葡萄果粒的定位与计数结果，等价于所有葡萄果穗内果粒检测结果的并集。综合这些关联性与现有研究可知，葡萄果粒、葡萄果穗以及每个果穗所包含的果粒，在空间分布、视觉特征乃至神经网络提取的特征层面均具有强相关性。因此，相比于分别完成三项葡萄视觉检测任务，将其视为紧密相关的整体并同时完成应当是更优的选择。

在本研究中，我们将葡萄果穗检测任务、葡萄果粒计数任务以及单穗果粒数统计任务定义为葡萄检测与计数任务的子任务，如图1所示。尽管葡萄果穗检测任务与葡萄果粒计数任务可通过通用神经网络轻松实现，但由于难以同时表示“果穗”和“单穗果粒数”这两个不确定量，单穗果粒数统计任务难以直接抽象为端到端神经网络的输出。因此，为将葡萄检测与计数的三项子任务合并，并提升框架的可解释性，我们将葡萄检测与计数任务解耦为神经网络的三个后处理阶段，进而提出一种名为基于概率图的葡萄检测与计数框架（PMGDC）的综合检测框架。PMGDC首先利用神经网络预测葡萄果穗与葡萄果粒的中间概率图。随后，在三个后处理阶段中，PMGDC采用局部峰值法以及本文新提出的上坡法（Up-Hill）与下坡法（Down-Hill）从概率图中提取葡萄果穗、葡萄果粒以及单穗果粒数的检测结果，仅需一次检测即可完成葡萄检测与计数任务。

本文主要贡献如下：

首次对葡萄检测与计数进行系统性分析，并将葡萄检测与计数任务定义为葡萄果穗检测、葡萄果粒计数以及单穗果粒数统计三项任务的集合。

首次在表示葡萄果穗与葡萄果粒位置的同时，利用概率图表示葡萄果穗与葡萄果粒之间的空间包含关联关系。

提出两种针对葡萄果穗与葡萄果粒概率图的后处理算法，以解决单一神经网络完成多项葡萄检测任务的问题。这些方法通过分析葡萄概率图的梯度，获取每个葡萄果穗所包含的果粒以及葡萄果穗的包围框。

设计一种名为PMGDC的葡萄检测与计数框架，可同时完成葡萄检测与计数的三项子任务。该框架在WGISD测试集上实现：葡萄果穗定位精度AP(iou0.5)为0.851、计数指标MAE为1.845、RMSE为2.142；葡萄果粒计数指标MAE为23.414、RMSE为31.391；单穗果粒数计数指标MRD为0.142、1-FVU为0.865。

葡萄果穗检测任务即检测图像中的葡萄果穗并统计其数量。葡萄果穗检测具有多种应用，例如将计数结果与通过历史抽样调查得到的果穗平均重量相结合，预测指定区域内的葡萄总产量；通过确定果穗位置，可辅助采摘机器人推断每个果穗的采摘点，提升葡萄采摘效率。

葡萄果穗检测始于机器学习方法，这类方法基于果穗与背景之间的光照与颜色差异将果穗与背景区分开。然而，这些检测方法受不同葡萄品种的颜色变化以及不同时段光照条件差异的限制。随着深度学习技术的快速发展，许多研究者将目标检测与实例分割技术迁移至葡萄果穗检测领域，获得了更精准的检测与计数结果。另有研究者将语义分割技术与果穗三维重建相结合，在三维空间中检测葡萄果穗的同时对葡萄园场景进行建模。

2.2葡萄果粒计数任务

葡萄果粒计数任务即检测图像中的葡萄果粒数量。相比于葡萄果穗，葡萄果粒体积更小，属于更密集的目标。由于单个葡萄果粒之间的体积与重量差异通常远小于不同果穗之间的差异，因此将果粒计数结果与通过历史抽样调查得到的果粒平均重量相结合，可实现更精准的葡萄产量估算。此外，部分研究表明，葡萄果粒对产量估算的贡献约为60%，而果穗仅约为30%。

采用机器学习方法检测葡萄果粒的研究利用霍夫圆检测等方法识别果粒的“圆形”形态并对其定位。该类方法的性能受果粒之间遮挡的影响，且无法识别非球形葡萄品种。一方面，采用深度学习方法检测葡萄果粒的研究将果粒视为实例目标，与果穗检测研究类似，采用目标检测与实例分割方法对其识别；另一方面，许多研究也将果粒视为密集目标，忽略其形态，并将人群计数方法迁移至果粒检测与计数中。由于大多数品种的葡萄果粒近似球形，部分研究还将果粒建模为球体，通过三维重建完成果粒计数。

2.3单穗果粒数统计任务

单穗果粒数统计任务即统计图像中每个葡萄果穗所包含的果粒数量，是一个相对新颖的研究课题。在实际葡萄生产过程中，单个果穗上生长的果粒数量过多，不仅会增加产量，还会因果粒间养分竞争导致果粒饱满度与甜度不足等问题，降低葡萄品质。因此，通过检测每个果穗所包含的果粒数量，可为农户修剪果穗提供参考。

以往部分研究先检测葡萄果穗，再裁剪果穗区域，随后在这些区域内检测葡萄果粒，从而完成单穗果粒数统计任务。然而，这类方法的性能在很大程度上受限于葡萄果穗检测的精度。

在本节中，我们首先介绍利用概率图表示葡萄表型特征的方法，随后详细介绍所提基于概率图的葡萄检测框架及其完成葡萄检测与计数三项子任务的流程。最后，介绍实验所用数据集的获取方式。

3.1用于葡萄表型的概率图

3.1.1什么是概率图？

概率图采用取值在0到1之间的二维高斯核表示目标，其中某一点的数值越高，其为目标中心点的概率越大。高斯核内的点服从如下式(1)所示的概率密度函数：

其中，A为高斯核的峰值，取值为1；(μ1,μ2)为中心坐标；σ1和σ2为方差。由于每个目标都会被转换为概率图中的一个高斯核，且高斯核的峰值为目标位置，因此相比于以矩阵元素之和表示目标数量、并模糊目标位置的密度图，概率图能够更好地表达目标的空间特征。因此，在以往研究中，概率图已被广泛用于解决姿态估计、目标检测、密集目标计数等目标定位相关问题。

3.1.2我们如何生成概率图？

生成葡萄果穗概率图。由于数据集中现有的葡萄果穗标注包含果穗形状信息，我们可直接利用这些数据在果穗概率图中生成与葡萄果穗长宽一致的二维高斯核。值得注意的是，由于模型训练中使用了马赛克数据增强，若在训练前预生成果穗概率图，马赛克中的裁剪操作会导致高斯核不完整。为解决这一问题，我们在训练过程中基于数据增强后的果穗包围框动态生成果穗概率图。考虑到生成二维矩形高斯核的过程可能耗时较多，我们采用已有文献提出的策略：先生成边长与矩形果穗包围框长边相等的正方形高斯核，再通过透视变换将其转换为与果穗尺寸一致的形状。

生成葡萄果粒概率图。数据集中现有的点级果粒标注不足以确定二维高斯核的大小。为解决这一问题，我们采用已有文献所述方法，基于点级标注之间的距离确定概率图中高斯核的大小。具体而言，对于每个葡萄果粒，我们搜索距离其最近的3个果粒，并计算它们与该果粒的距离。随后，根据这些距离之和手动设置表示该果粒的高斯核大小。由于数据集中的图像包含数百个葡萄果粒，在训练过程中生成果粒概率图将十分耗时。此外，裁剪操作对果粒高斯核的影响远小于对果穗高斯核的影响。因此，与果穗概率图的生成策略不同，我们在训练前预生成所有果粒概率图。

3.1.3我们如何从概率图中提取葡萄表型特征？

定位葡萄果穗与果粒。概率图以高斯核表示目标。对于神经网络预测的果穗与果粒概率图，通过寻找概率图中由预测高斯核构成的局部峰值，可反向得到葡萄目标的检测位置。每个高斯核中峰值的坐标即为网络对葡萄果穗与果粒的定位结果。对于果粒概率图，这些峰值点直接表示果粒位置。对于果穗概率图，一方面，高斯核的峰值代表果穗中心点；另一方面，高斯核的大小也可反映果穗的尺寸。

确定葡萄果穗与果粒之间的包含关系。概率图在以往研究中已被广泛用于解决目标定位相关问题。我们同样利用神经网络预测的概率图定位葡萄果粒与果穗中心点。但我们认为，概率图在表示目标位置的同时，还能表达更丰富的目标特征。概率图以高斯核表示目标，而高斯核的基本特征是数值从中心向边缘逐渐降低。同时，在为葡萄果穗生成概率图时，我们使用与果穗长宽一致的高斯核。因此，在果穗概率图中，对于位于任意表示果穗的高斯核内的任意一点，我们可检测该点与其周围点的数值差异，寻找给定点周围数值更大的点，以确定该点相对于果穗中心的方向。基于这一思路，我们可利用果穗概率图中的梯度，唯一且无重复地确定所有果粒与果穗之间的包含关系。

检测葡萄果穗的包围框。从葡萄概率图中提取果穗与果粒的位置及包含关系后，我们希望进一步得到果穗的边缘，即果穗的包围框。已有研究利用分水岭算法从目标概率图中获取目标位置。然而，由于高斯核边缘的数值较低，利用分水岭算法确定果穗包围框的精度会受到神经网络对高斯核边界错误预测的严重影响。为解决这一问题，我们提出利用每个果穗所包含的果粒定位果穗包围框。相比于果穗，果粒是尺寸小得多的目标，因此果粒概率图受神经网络错误预测的影响小于果穗概率图。因此，在定位每个果穗所包含的果粒区域后，我们结合果粒概率图为果穗确定更精准的包围框边界。

3.2 PMGDC框架

3.2.1框架概述

所提PMGDC框架结构如图3所示，可分为上游阶段与下游阶段。在上游阶段，将葡萄图像输入神经网络，由网络分别检测果穗与果粒的中间概率图。在下游阶段，应用三个后处理模块从中间概率图中获取葡萄检测与计数三项子任务的检测结果。

在下游阶段，首先将局部峰值法应用于果粒概率图，获取果粒位置以完成果粒计数任务。随后，将上坡法应用于果穗概率图与果粒位置，获取每个果穗所包含的果粒以完成单穗果粒数统计任务。最后，将下坡法应用于每个果穗所包含的果粒与果粒概率图，获取果穗包围框以完成果穗检测任务。

3.2.2利用神经网络生成中间葡萄概率图

用于检测果穗与果粒概率图的神经网络结构如图4所示。与以往研究使用的网络相比，我们采用以Resnet50为骨干的简单高效UNet架构网络，在葡萄图像中检测果穗与果粒。该神经网络首先通过5组卷积模块从葡萄图像中提取特征，再通过5组上采样模块将高维特征恢复至与输入图像相同的尺寸。最后，采用两组相同的并行卷积层作为检测头，分别输出果穗与果粒的中间概率图。

3.2.3从葡萄概率图中获取葡萄检测与计数结果

葡萄果粒计数：为解决果粒计数任务，我们采用局部峰值法从果粒概率图中检测果粒位置，如图5所示。我们采用已有研究中针对概率图的局部峰值后处理方法。首先，对果粒概率图进行步长为1的3×3平均池化操作以降低噪声。随后，对平均池化后的概率图进行步长为1的3×3最大池化操作。最大池化概率图中与平均池化概率图数值相同的点即为局部峰值，也就是葡萄果粒的候选点。每个候选点的数值代表其为果粒的概率。我们保留概率大于0.5的点作为检测到的葡萄果粒。

关于上坡法中搜索范围的选择，我们考虑两方面因素。首先，考虑到神经网络在果穗概率图中可能出现错误预测（如虚假局部峰值、将单个峰值检测为多个峰值），应当适当扩大搜索范围以抵消这些误差带来的影响。其次，在对位于果穗边缘的果粒进行早期搜索迭代时，过大的搜索范围可能覆盖其他果穗区域，导致检测错误。因此，我们选择以较小的搜索范围启动搜索过程，并在后续迭代中逐步扩大。

值得注意的是，尽管上坡法也可由传统的漫水填充法与分水岭算法替代，但它更适用于检测每个果穗所包含的果粒。一方面，当神经网络在果穗概率图中将单个峰值预测为多个峰值时，传统方法无法准确预测果穗，漫水填充算法的错误起点会导致果穗定位偏差；另一方面，预测果穗概率图中单个高斯核不同边缘的梯度不均匀，也使得基于传统阈值的方法难以正确分类位于果穗边缘的果粒。

葡萄果穗检测：最后，为解决果穗检测任务，我们采用下坡法从果粒概率图与每个果穗所包含的果粒中检测果穗包围框，如图8所示。在所提下坡法中，首先对果粒概率图进行步长为1的3×3平均池化操作以降低噪声。随后，对于同一果穗所包含的果粒，找到x坐标与y坐标最大、最小的四个葡萄果粒，即果粒概率图中四个高斯核峰值。记录最上、最下、最左、最右峰值的数值后，分别在果粒概率图中沿y坐标减小、y坐标增大、x坐标减小、x坐标增大的方向对这四个峰值点执行迭代搜索。当找到数值小于峰值0.4倍、或相较上一迭代点数值开始上升的点时，将该点确定为果穗包围框的边界。

值得注意的是，相比于以果粒高斯核峰值的0.4倍作为阈值确定果穗包围框，另一种可行策略是使用固定阈值停止搜索迭代。但我们在实验中发现，尽管果粒概率图中高斯核的峰值仅应表示该高斯核为果粒的概率，但使用固定阈值确定包围框边界时，峰值较低的果粒会较早停止搜索迭代，导致检测边界出现偏差。由于以果粒峰值倍数作为阈值确定果穗包围框边界能够更好地避免这一问题，因此我们在所提下坡法中采用该策略。

3.3数据集

3.3.1数据集获取

我们使用三种不同的数据集训练与验证所提PMGDC框架，包括WGISD、成都数据集与BpGC数据集，如图9所示。

WGISD。WGISD数据集于2017至2018年在巴西Guaspari酒庄的葡萄园中采集，共包含5个不同葡萄品种的300张RGB图像。所有图像均带有葡萄果穗包围框标注，其中137张图像额外提供了果穗实例级掩码标注。对于该数据集，我们在前期研究中为所有图像补充了共计187306个葡萄果粒的点级位置标注。

成都数据集。成都数据集由我们于2023年7月在中国成都龙泉驿区的葡萄园中采集，共包含阳光玫瑰与夏黑两个葡萄品种的100张RGB图像。我们为这些图像添加了772个葡萄果穗的包围框标注与30601个葡萄果粒的点级位置标注。我们将该数据集与WGISD的训练验证集一同用于训练神经网络，以弥补WGISD数据量不足的问题。

BpGC数据集（单穗果粒数数据集）。为验证与测试PMGDC在单穗果粒数统计任务上的性能，我们将WGISD中的果穗掩码标注与我们补充的果粒位置标注融合，得到BpGC数据集。对于WGISD中137张图像（110张训练验证、27张测试）的果穗标注，我们找到每个果穗掩码所覆盖的果粒标注，即每个果穗所包含的果粒，并将这些果粒与该果穗视为一组完整的单穗果粒数标注。我们使用WGISD训练验证集中的110张图像作为训练中单穗果粒数统计任务的验证数据，使用WGISD测试集中的27张图像测试训练后PMGDC的性能。

3.3.2数据增强

在模型训练中，我们采用YOLOv4提出的马赛克数据增强方法，通过拼接四张图像实现训练数据增强，并将该数据增强方法迁移至概率图。我们还使用随机翻转、模糊与HSV增强提升训练数据质量，如图10所示。

另外，为解决马赛克数据增强中裁剪操作导致的边缘偏差问题，我们提出一种基于葡萄果粒标注的果穗包围框调整策略。即对于每个被裁剪的果穗，找到裁剪后仍包含在该果穗内的剩余果粒，并确定这些果粒的x、y坐标最大与最小值(xmax,xmin,ymax,ymin)。我们根据这些坐标分别重置果穗包围框的最右、最左、最下、最上边界。

实验中，除非另有说明，所有输入图像在测试前以及训练中数据增强前均缩放至1280×960。

本研究所有实验均在同一台服务器上完成，配置如下：80核Intel Xeon处理器（Skylake,IBRS）3.0 GHz CPU、单张NVIDIA Tesla V100 PCIe 32 GB GPU、Ubuntu 20.04操作系统、CUDA 11.3。所有网络模型均在Python 3.8环境下使用PyTorch 1.10编译。

在PMGDC训练中，批次大小设为1，工作线程数设为8。使用AdamW作为优化器，eps为1e−8，权重衰减为1e−2；采用余弦退火策略调整学习率，初始学习率为2e−4，终止学习率为1e−6。使用MSE损失计算预测概率图与真实标签之间的损失。

本研究提出的框架与所有对比方法在每次训练过程中均训练200轮；并且，这些方法在训练集上每训练一轮后，均在验证集上评估性能，保存所有训练轮次中性能最优的模型权重文件。训练完成后，所有模型均在测试集上测试，得到最终的葡萄检测与计数性能。

值得注意的是，难以为本研究提出的PMGDC框架所完成的三项葡萄检测与计数子任务定义统一的评价指标。因此，我们在每轮训练后评估PMGDC在这些任务上的性能，并分别保存果穗检测、果粒计数、单穗果粒数统计性能最优的三个模型权重文件，在实验结果中记为BGC、BGB、BGBC。而本研究中对比的其他方法仅能完成葡萄检测与计数的一项子任务，因此我们在每次训练过程中仅保存一个最优模型权重文件。

4.2评价指标

4.2.1葡萄果粒与果穗计数

我们使用式(2)与(3)所示的MAE与RMSE评估PMGDC与对比方法在葡萄果穗与果粒计数上的性能，其中N为图像数量，Ci与CiGT分别为每幅图像中检测到的目标数量与真实数量。

4.2.2葡萄果穗检测

为评估PMGDC与对比方法在葡萄果穗检测上的性能，我们以AP、平均召回率与式(4)所示的F1分数为评价指标，测试其检测果穗包围框的精度。

另外，对于每个果穗真实标签，我们在所有预测果穗中检测其包围框与真实标签包围框的交并比IoU大于0.5的预测果穗是否存在，即该真实果穗标签是否存在匹配的检测果穗。我们统计存在匹配检测果穗的真实标签数量，以评估果穗检测方法能否尽可能多地识别真实果穗。实验中将匹配果穗数量与真实果穗数量的比例记为“matched cluster”。

4.2.3单穗果粒数统计

为评估PMGDC在单穗果粒数统计任务上的性能，我们使用MRD与1-FVU作为评价指标，如式(5)与(6)所示，其中C^i与C^iGT分别为每个果穗中检测到的果粒数与真实果粒数，C^GT为每个果穗所包含真实果粒数的平均值。MRD与1-FVU最早由相关研究提出，本研究认为这两个评价指标能更好地反映单穗果粒数统计任务的检测精度。

4.2.4检测效率

我们还计算不同检测方法在WGISD测试集上的平均耗时，以评估其检测效率。对于对比的以往方法，我们检测其从输入图像到得到最终检测结果的耗时；而对于本研究提出的PMGDC框架，我们分别检测其在网络预测阶段与后处理阶段的耗时。

4.3消融实验

在本节中，我们全面对比不同参数设置下本研究提出的PMGDC框架的性能，PMGDC的部分可视化检测结果如图11所示。

4.3.1上坡法参数选择

在3.2.3节中，我们介绍了用于检测每个果穗所包含果粒的上坡法，以及在每次迭代中逐步扩大起点周围最大数值点搜索范围的策略。在本研究中，我们对比使用不同最大终点搜索范围的上坡法时，PMGDC的葡萄检测性能。实验结果如表2所示。值得注意的是，由于葡萄果粒计数任务不受上坡法参数影响，因此本节不做对比。

可以看出，当最大搜索范围为3×3时，PMGDC在果穗检测与单穗果粒数统计任务上表现不佳。随着最大终点搜索范围增大，PMGDC性能先呈上升趋势，在17×17搜索范围附近达到最优葡萄检测与计数性能，在最大搜索范围超过25×25后开始变差。这是因为，随着最大搜索范围增大，果穗概率图中虚假峰值、单个峰值被检测为多个峰值等高斯核错误预测问题，会逐渐被更大的峰值搜索范围抵消；当最大搜索范围过大时，会从当前果穗延伸至相邻果穗，导致将多个果穗检测为一个果穗的问题。为最大化PMGDC的葡萄检测与计数性能，在后续实验中，上坡法中的最大搜索范围边长固定为

，其中l为输入图像长边长度。

4.3.2葡萄果穗概率图中的高斯核类型

在PMGDC训练中，我们使用与果穗尺寸相同的矩形高斯核生成真实果穗概率图，这实际上比生成正方形高斯核耗时更多。为证明生成与果穗尺寸相同高斯核的必要性，我们对比果穗概率图分别由矩形高斯核、以及边长等于果穗平均长宽的正方形高斯核生成时，PMGDC的检测性能。实验结果如表3所示。

显然，尽管两种果穗概率图生成策略在果粒计数与单穗果粒数统计任务上的性能无显著差异，但使用与果穗尺寸相同的矩形高斯核生成果穗概率图训练PMGDC，可大幅提升果穗检测精度。表3实验结果可验证PMGDC训练中生成与果穗尺寸相同高斯核的必要性。

4.3.3图像尺寸对葡萄检测性能的影响

尽管以往许多密集目标计数方法在不缩放图像的情况下进行模型训练与测试，但大多数目标检测方法在将图像输入神经网络前会将其缩放至固定且相对较小的尺寸。由于PMGDC在单一框架中同时融合了果穗目标检测与果粒密集目标计数，为测试该框架在不同图像尺寸下的葡萄检测与计数性能，我们在训练与测试中将输入葡萄图像缩放至多种尺寸，实验结果如表4与表5所示。

总体而言，对于原始长度为2048的葡萄图像，当缩放后的输入图像相对更大时，PMGDC在葡萄检测与计数三项子任务上的检测性能更好。当输入图像尺寸小于1024×768时，PMGDC的葡萄检测与计数性能急剧下降。由于PMGDC基于定位到的果粒检测果穗，而较小的图像尺寸使神经网络难以识别密集且微小的果粒，因此输入图像尺寸较小时PMGDC的葡萄检测与计数性能变差。表4与表5实验结果证明，在PMGDC的训练与测试阶段使用相对较大尺寸输入图像的必要性；同时，PMGDC在检测不同尺寸图像时的检测性能与耗时，可为所提PMGDC框架的实际部署与后续数据集迁移提供参数设置参考。

4.4与以往方法的葡萄果穗检测性能对比

在本节中，我们对比所提PMGDC框架与以往目标检测方法在葡萄果穗检测上的性能。所有对比方法的代码均由GitHub上的mmdetection与mmyolo复现，并以与PMGDC相同的图像尺寸、最大训练轮次与数据集划分进行训练与测试。在输入图像尺寸为1280×960时，PMGDC在验证集上分别保存果穗检测、果粒计数、单穗果粒数统计性能最优的三个模型权重文件中，我们选择在测试集上果穗检测性能最优的权重文件与以往方法对比，即在表4与表5中展示的BGBC模型权重文件。实验结果如表6所示。

值得注意的是，与大多数需要在网络预测后使用NMS后处理方法过滤重叠包围框的目标检测框架不同，PMGDC从每个果穗唯一包含的果粒中获取果穗包围框，因此PMGDC检测到的果穗也不存在重复。故而PMGDC无需使用NMS方法对检测到的果穗进行后处理，也无需过滤低于固定阈值分数的果穗——这类操作在本框架中往往会过滤掉更多正确检测的果穗，而非错误检测的果穗。但为了与其他使用0.5阈值分数过滤错误目标的目标检测方法更公平地对比，我们也以果穗高斯核峰值为置信度分数，测试PMGDC在过滤掉相同0.5阈值分数的果穗后的果穗检测性能。

从表6实验结果可以看出，所提PMGDC框架在同时完成葡萄检测与计数三项子任务的同时，其在果穗检测单一任务上的性能也不逊色于FasterRCNN、CenterNet等经典目标检测方法，以及Yolov8、DiffusionDet等最新研究成果，尤其在AP0.50与matched cluster评价指标上表现突出。这些实验结果证明了PMGDC在葡萄果穗检测任务上的优越性。

4.5与以往方法的葡萄果粒计数性能对比

在本节中，我们对比所提PMGDC框架与以往密集目标计数方法在葡萄果粒计数上的性能。所有对比方法均以与PMGDC相同的图像尺寸、最大训练轮次与数据集划分进行训练与测试。使用表4与表5中展示的、输入图像尺寸为1280×960时果粒计数性能最优的BGB模型权重文件与以往方法对比。实验结果如表7所示，PMGDC与D2CNet等定位类方法、GBCNet等纯计数类方法的计数性能无显著差异。

4.6单穗果粒数统计性能分析

在本研究中，我们分析PMGDC在单穗果粒数统计任务上的检测性能。值得注意的是，相比于葡萄检测与计数的另外两项子任务，由于缺乏公开数据集，与单穗果粒数统计相关的研究相当少。此外，无法直接对比PMGDC与其他方法的检测性能，一方面是因为没有可用于测试的开源代码，另一方面是因为不同研究所用数据集不一致。因此，本节仅分析不同参数设置下所提PMGDC框架的性能及其在真实场景中的葡萄检测性能。

如表2所示，当图像尺寸固定为1280×960时，PMGDC在上坡法最大搜索范围小于25×25时取得最优单穗果粒数统计性能，最大搜索范围为17×17时取得最优MRD为0.145，最大搜索范围为25×25时取得最优1-FVU为0.854。同时，根据表4与表5实验结果，当输入图像尺寸大于1024×768时，PMGDC在单穗果粒数统计任务上表现更好，输入图像尺寸为2048×1536时取得最优MRD为0.142，输入图像尺寸为1024×768时取得最优1-FVU为0.865。

图12展示了PMGDC在开放场景中的可视化检测结果。所有图像仅被缩放至长度为1280，与PMGDC的训练图像尺寸一致。可以看出，所提PMGDC框架在开放场景的葡萄图像上同样表现良好。

4.7相邻葡萄果穗的失败案例

PMGDC可通过单一神经网络完成葡萄检测与计数三项子任务，同时通过寻找果粒与果穗之间唯一的包含关系，避免果穗与单穗果粒的重复检测。然而，我们也发现了该框架的一些局限性，如图13所示。PMGDC训练阶段所用果穗概率图中的高斯核基于果穗包围框生成，无法正确表示果粒与果穗之间的真实包含关系。因此，对于一些相互遮挡严重的相邻果穗，尽管PMGDC能够准确预测其高斯核，但仍无法将果粒正确划分至对应果穗。我们认为，通过完成WGISD中所有果穗的实例分割标注，并基于果穗掩码标注生成果穗高斯核，可缓解这一问题。

以往方法先检测葡萄果穗，再在果穗区域内检测葡萄果粒，以关联果穗与果粒特征。然而，在处理相邻果穗时，这类方法会将同时包含在多个果穗包围框内的果粒多次检测，造成重复检测；此外，无法检测不包含在任何果穗包围框内的果粒。与之不同，所提PMGDC框架先检测葡萄果粒，再确定每个果粒唯一归属的果穗。随后，框架进一步确定每个果穗的区域，可有效消除果粒重复检测问题。此外，PMGDC基于果粒定位结果检测果穗，已有研究表明，计算机视觉感知方法在预测葡萄果粒方面的表现往往优于预测葡萄果穗。因此，即使没有复杂的注意力与Transformer模块，PMGDC在果穗检测上的性能也不逊色于现有最优方法。

PMGDC在同时完成三项葡萄检测任务的同时，即使在单一葡萄检测任务上也不逊色于广泛使用的目标检测与密集目标计数方法，在WGISD测试集上实现：葡萄果穗定位精度AP(iou0.5)为0.851、计数指标MAE为1.845、RMSE为2.142；葡萄果粒计数指标MAE为23.414、RMSE为31.391；单穗果粒数计数指标MRD为0.142、1-FVU为0.865。开放场景测试结果也证实了PMGDC的检测精度，证明了其在三项葡萄检测与计数子任务上的有效性，以及将原本三项独立的葡萄表型分析任务整合为统一的葡萄检测与计数任务的可行性。

然而，我们也注意到PMGDC存在一些问题。对于部分相邻果穗，PMGDC无法准确将果穗边缘的果粒分类至实际所属果穗。这是因为WGISD未提供所有果穗的实例分割标注。因此，在PMGDC训练过程中，用于表示果穗与果粒包含关系的真实果穗概率图中的高斯核基于果穗包围框生成。但这些真实概率图无法完美表示果穗与果粒之间的包含关系。在后续研究中，完善WGISD中的果穗实例分割标注，并基于这些掩码标注生成果穗真实概率图，以更准确地表示果穗与果粒之间的包含关系，有助于缓解此类问题。

但本研究也存在一定局限性。首先，本方法仅检测可见的葡萄果穗与果粒，未讨论被遮挡、不可见的果粒。其次，本研究仅聚焦于数字葡萄栽培领域上游的葡萄检测与计数任务，未将葡萄检测结果应用于预测葡萄采摘点、实际葡萄产量等更贴近实际生产活动的下游任务。

在未来研究中，我们将尝试构建更大规模的葡萄图像数据集，以更好地满足果穗检测、果粒计数以及单穗果粒数统计任务的训练需求。此外，我们将探索利用单一神经网络同时检测葡萄检测与计数三项子任务的可能性，实现三项任务的端到端同步检测。最后，我们将尝试将所提PMGDC方法与葡萄园中更多实际生产任务相结合，真正实现提升葡萄生产效率的目标。