Comput Electron Agric：基于CNN的无人机采集的葡萄病叶图像的识别与定位

基于CNN的无人机采集的葡萄病叶图像的识别与定位

期刊：Computers and Electronics in Agriculture（8.3）

发表时间：2023.10

 

背景

葡萄作为一个重要水果作物不仅可以制成酒、醋、葡萄干，还具有药用价值。此外，葡萄栽培对环境适应性很强，能在各种地形和气候条件下生长，使其成为一种适应性广泛的作物。然而，随着人类社会活动的加剧，植物病害也在各大葡萄种植园蔓延。根据研究，黑腐病葡萄园每年可导致葡萄产量损失10-50％。同时，黑麻疹也被证明在西班牙和墨西哥等地区造成了重大经济损失，部分地区葡萄园减产超过40％。除了黑腐病和黑麻疹，叶枯病和白粉病也会对葡萄产量产生重大影响。该研究估计，叶枯病可能导致加州葡萄产量每年损失约9.7%。在中国南方，白粉病被称为“葡萄园的头号杀手”，每年造成20-80％或更高的产量损失。

近年来，随着无人机制造业和机器视觉技术的快速发展，无人机在植物叶病识别领域的应用逐渐成为热门话题。为了低空遥感基于无人机平台的探测技术景春等人，2019年学者们从实验和分析两个方面探讨了无人机在植物病害检测中的有效性。实验结果表明，无人机获取的数据可以为农作物生产管理提供有益支持。同时，一些学者研究了一种利用无人机多光谱传感器。结果表明，该方法对大规模、高度均匀的葡萄茎病害检测是非常有效的。植物病害检测的机器学习技术介绍，包括使用无人机采集数据，图像处理卷曲的神经网络这些研究为后续研究提供了方法学指导和思路。

尽管许多学者在农业为无人机鉴别植物叶片病害做出了有力贡献，目前还有许多研究空白需要填补，比如如何及时发现丛生植物部分叶片的病害以及如何保证模型的通用性等。针对上述两个问题，设计了一套无人机采集图像的处理程序。本文在VGG模型的基础上，设计了一种改进的VGG-19模型，它还用于对经过上述处理后的图像进行二次定位和识别，从而最大程度地保持对目标叶片的定位和识别。经过这一过程后，在无人智能农场提取的测试集中，识别率仍然保持在较高水平，该测试来源于与训练阶段的数据集不同的来源。结果表明，将上述两种模型结合起来的过程具有理想的普适性。

 

材料与方法

 

2.1. 测试数据集的定义

80叶图像，包括四种病害黑腐病，叶枯病和白粉病测试数据来源于山东理工大学与淄博禾丰种子公司合作的生态无人实验农场。在图像采集方面，无人机搭载高精度摄像机，从低角度捕捉植物叶片图像，而不是传统的近距离但耗时的人工拍摄。图1显示有关实验中的地理和无人机的详细信息，其中图1（a）显示试验场的位置和无人机的飞行细节。此外，试验场在良好和不利条件下的天气状况载于图1（b）和图1（C）环境亮度低于10,000 lx或瞬时风速超过8米/秒被视为不利条件。考虑到不利环境因素的干扰，实验在三种条件下训练独立模型：夜景图像集（NSI）、扰动图像集（DSI）和双因素干涉图像集（TII），其中扰动特指运动的模糊效应，双因素干涉是指图像同时受到低亮度和模糊的影响。图2显示了四种病害在不同因素下丛生叶的部分图像。

 

 

结果

 

3.1. 训练图像处理结果

在训练和验证数据集的处理部分，主要探索了叶片各种特征的提取和二值图像存储。该方法不仅减少了神经网络需要处理的参数，而且利用传统图像数据提取的结果，保证了疾病关键特征提取的准确性。在图8将处理后的二值图像与传统图像进行了比较。用蓝色和黄色框线选取叶片轮廓和病害轮廓的突出部位，充分证明了该方法的提取效果是令人满意的。图8中红色框架的选定部分为了训练输入卷积网络。验证频率每50次迭代一次，49分钟41秒后训练结束，最终准确率达到96.25%。

 

 

3.2. 测试图像处理结果

在侦查过程中数据处理关键是在消除弱光或抖动干扰因素的情况下，锁定病变在图像中的像素位置。通过识别图像中病害的轮廓，找到目标叶片。图9给出了复原前后三幅图像集的比较，以及复原前后多融合U-net的训练过程。其中，在（a）、（b）、（c）图像中（1）显示复原前的图像；（2）显示复原后的图像；（3）在复原前的图像上显示U-net模型的训练过程；（4）在复原后的图像上显示U-net模型的训练过程。图像显示了四种病叶的有效区域定位结果。表3详细介绍了三个数据集下的训练结果，以及平均消耗时间、平均准确率等详细信息。不难看出，该方法的分割效果超过70％，对比提升11％，平均耗时约43 min。

具体数据见表4叶枯病的识别成功率最高，但相应的误检率也较高。SRI基本在85％以上，平均FDR约为8.62%。

 

 

3.3. 疾病鉴定结果

为了测试模型在多重干扰因素影响下的稳健性本文使用了不同数据集的分类检验，结果以混淆矩阵在图10对于NSI，20个黑腐叶图像中识别出17个，20个黑麻疹叶图像中识别出18个，20个叶枯病叶图像中识别出18个，20个白粉病叶图像中识别出17个。对于DSI，20个黑腐叶图像中识别出15个，20个黑麻疹叶图像中识别出16个，20个叶枯病叶图像中识别出17个，20个白粉病叶图像中识别出16个。对于TII，20个黑腐叶图像中识别出15个，20个黑麻疹叶图像中识别出16个，20个叶枯病叶图像中识别出17个，20个白粉病叶图像中识别出15个。表5是根据评价体系得出的。

 

 

此外，本研究还探讨了该过程对特定病斑的提取、定位和识别效果不同数据集下的各种病叶。图11显示了病叶图像中只有一个有效区域时，分割后和未分割时的识别结果。图12当病叶图像中存在多个有效区域时，给出了分割和不分割的识别结果。蓝色方线代表NSI，绿色圆圈线代表DSI，紫色三角线代表TII，红色椭圆线圈显示不进行分割时的错误结果。图13显示每个数据集下的病斑识别率。图13（a）说明了未分割的识别结果，NSI为69％，DSI为62％，TII为58％。图13（b）显示分割后的识别结果，NSI识别率提高到81％，DSI识别率提高到74％，TII识别率提高到71％，平均提高12.3%。

 

 

结论与结论

 

4.1. 改进讨论

本文设计了一套无人机广域视野下的叶丛图像病害定位识别过程，并在此基础上测试了该过程对葡萄叶片黑腐病、黑疹、叶枯病和白粉病的定位和识别效果。研究过程中引入了两种卷积神经网络：多重融合U-net和改进的VGG-19，分别用于从丛叶中提取临界病害叶片，并对提取的叶片图像进行识别。

VGG网络具有良好的定位和识别效果，但由于网络层的深度，各层的参数是通过卷积计算得到的特征映射输出上一层的。随着网络层的加深，参数的数目急剧增加。为了进一步控制卷积计算引起的参数爆炸，在训练前提取了灰度叶片轮廓和病变轮廓等关键特征，作为卷积核初始过滤器，以消除无用的隐藏节点形成搜索关键特征。由于节点的减少可能会导致原始模型的传输精度显著下降激活函数用Swish函数代替模型中的Swish函数，该函数在原点侧具有有界性、光滑性和非单调性，更有利于寻找全局最优解。同时，采用“零中心”归一化消除了不同维度的误差，更有利于对模型进行综合评价。

对于实验过程中扰动图像的提取结果，根据表3结果表明，平均提取准确率仅为61.52%。由于U-net模型的本质是对图像中的每个像素进行分类，最后利用不同的通道标记不同类别的点实现分割，因此图像的质量在很大程度上影响了U-net模型的分割效果。为了解决这个问题，直方图均衡化研究过程中分别采用了运动去模糊方法和运动去模糊技术，解决了低照度和运动模糊引起的像素偏移问题。复原后，在多融合U-net模型中融合多维特征，并细化像素分类平均准确率提高11.18%，达到72.70%。最后，通过实验对该过程的最终识别效果进行了评价。对于疾病的识别效果，在NSI中，准确率约为87.50%。在DSI中的准确率约为80.00%，在TII中的准确率约为78.75%。同时，由于模型在处理数据时具有很好的准确性和召回率的平衡，F1-分数优于准确性，这意味着模型在叙级任务另外，对于疾病的定位效应，NSI的识别率为81％，DSI的识别率为74％。在TII中，识别率为71％，平均提高12.3%。

 

4.2. 限制讨论

在实验过程中，我们将扰动图像集分为NSI、DSI和TII。对表3和表4结果表明，TII图像集的处理性能劣于其他两个图像集，但处理效果的改善比其他两个图像集明显。这种现象是由于U-net的分割效果非常依赖于图像的像素。TII是一种同时受到弱光和抖动干扰的图像。在恢复这类图像时，直方图均衡化方法将对像素灰度进行变换。这种操作会影响运动去模糊技术对模糊核的估计结果，造成像素偏移，从而降低U-net的区域提取效果，降低定位和识别的精度。此外，实验主要以平坦的田野为试验场地，因此只需将无人机飞行高度稳定在一定范围内，保证每幅叶片图像的尺度相对固定，病害区内像素基本一致。但在实际复杂的农业环境中，尤其是坡地或梯田等地形落差较大的耕地，很难保证这一条件。

鉴于上述两个局限性，一些学者的研究可以应用于今后的研究。Kang提出了一种基于Retinex算法的全景图像纹理细节增强方法。通过对预处理后的图像进行亮度归一化处理和Retinex算法的优化，对全景图像的符号运动比取得了较好的效果。Damien等人提出一种杂交立体视觉用于无人机视觉导航的实时高度、姿态和运动估计。采用平面扫描的方法获取无人机的实时高度信息，使飞行高度在尺度上保持稳定。在进一步的研究中，我们将探讨Retinex算法在无人机拍摄的病叶图像处理中对不同模型的影响。同时，如何处理坡度较大的耕地，将成为这套流程新的优化方向。

 

4.3. 结论

本文旨在利用卷积神经网络模型，设计一个处理流程，在不同环境条件下无人机拍摄的葡萄丛叶中识别和定位病害类别和区域，从而有效捕捉关键病害种类信息和像素信息.

在初步实验之前，合理预处理操作可以有效地降低模型的训练时间成本。利用灰度技术和格点定位方法预提取识别模型的训练集，提前形成滤波器构造卷积核。经过实验分析，改进后的VGG-19在预处理图像集的基础上，参数减少到38.5 MB，训练时间仅为49 min 41秒，验证集的准确率达到96.25%。

通过对照实验分析，复原图像集下多融合U-net模型的训练精度提高了8.23%，所需时间减少了4.96%。DSI的准确率提高了10.60%，所需时间减少了3.84%。TII准确率提高了14.71%，时间减少了2.72%。叶枯病是最好的定位在100％的各种病害。四种疾病的平均定位率在85％以上，误检率仅为8.62%。有效定位后，三幅测试图像集用于二次识别的类别信息和像素信息的F1分数达到82.23，平均识别率提高12.3%。

本研究结果一方面为实现无人化智能生态农场提供了有力的事实依据，另一方面也是对无人化智能生态农场的有效探索卷积网络组合优化深度学习在农业领域。