基于无人机影像的农作物人工智能自动识别方法和系统与流程

1.本技术涉及数据识别技术领域，特别涉及一种基于无人机影像的农作物人工智能自动识别方法、系统、计算机可读存储介质和电子设备。


背景技术：

2.无人机影像技术在农业统计调查方面具有较高的效率和精度，并且与传统的农业统计调查方法相比，无人机影像技术具有更快速、更高效、更经济的优势。
3.基于无人机影像的农业统计调查通常包含两个步骤：无人机影像拍摄和无人机影像解译。其中，无人机通过影像拍摄快速获取研究区域的高分辨率的影像数据并及时捕捉农田信息，无人机影像解译则是通过人工智能和大数据技术构建农作物自动化识别模型，对所获取的无人机影像进行快速识别、分类并完成调查数据填报。
4.然而，现有的农作物自动化识别模型大多基于深度学习技术构建，并以“像元”为分类单元进行分类，由于各个像元之间相对孤立，彼此之间并无关联，导致基于像元的分类方法精度不足，分类结果容易产生“椒盐”现象，即一些像元的分类结果中出现随机的、明显不同于周围像元的异常分类，故现有无人机影像解译的过程仍需要较多的人工干预，无法实现从无人机拍摄到农作物分类填报的全流程自动化。
5.因此，需要提供一种针对上述现有技术不足的改进技术方案。


技术实现要素：

6.本技术的目的在于提供一种基于无人机影像的农作物人工智能自动识别方法、系统、计算机可读存储介质和电子设备，以解决或缓解上述现有技术中存在的问题。
7.为了实现上述目的，本技术提供如下技术方案：
8.本技术提供了一种基于无人机影像的农作物人工智能自动识别方法，包括：
9.获取耕地的无人机影像；
10.将所述无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果；
11.以所述地块分割结果中每个地块为分类单元，基于随机森林模型对所述地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。
12.进一步地，所述meta sam模型以卷积神经网络作为基本骨架，并使用元学习方法对所述meta sam模型进行训练。
13.进一步地，所述meta sam模型的训练过程包括：
14.在已标注的数据上进行预训练，得到meta sam模型的基础分割模型；
15.使用元学习方法，在不同任务之间切换学习，以对所述基础分割模型进行微调，得到最终的meta sam模型。
16.进一步地，所述meta sam模型的损失函数为组合损失函数，包括像素级分类损失和辅助分类损失。
17.进一步地，将所述无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果，具体为：
18.将所述无人机影像输入meta sam模型中进行语义分割，得到语义的分割图斑；
19.将所述语义的分割图斑转化为矢量图层后，删除面积小于预设面积阈值的图斑，得到具有语义特征的地块分割结果。
20.进一步地，所述随机森林模型的特征变量包括归一化色调亮度植被指数和局部纹理特征描述算子；
21.其中，所述归一化色调亮度植被指数基于所述无人机影像的色调和亮度构建，用于表征所述无人机影像的光谱特征，所述局部纹理特征描述算子用于表征所述无人机影像的纹理特征。
22.进一步地，所述归一化色调亮度植被指数的计算公式为：
[0023][0024]
式中，nhlvi为所述归一化色调亮度植被指数，h为所述无人机影像的色调值，l为所述无人机影像的亮度值。
[0025]
本技术实施例提供一种基于无人机影像的农作物人工智能自动识别系统，包括：
[0026]
获取单元，配置为获取耕地的无人机影像；
[0027]
语义分割单元，配置为将所述无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果；
[0028]
识别单元，配置为以所述地块分割结果中每个地块为分类单元，基于随机森林模型对所述地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。
[0029]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序为如上任一所述的基于无人机影像的农作物人工智能自动识别方法。
[0030]
本技术实施例还提供一种电子设备，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上任一所述的基于无人机影像的农作物人工智能自动识别方法。
[0031]
有益效果：
[0032]
本技术的技术方案中，首先获取耕地的无人机影像，然后将无人机影像输入到meta sam模型中进行语义分割，得到具有语义特征的地块分割结果，以地块分割结果中每个地块为分类单元，基于随机森林模型对地块分割结果中的各个地块所种植的农作物进行识别，得到农作物识别结果。通过meta sam模型对无人机影像进行语义分割，并在此基础上以地块为单元进行农作物的统一提取和统一赋值为指定的农作物类型，避免了传统基于像元的农作物自动化识别模型导致的“椒盐”现象，提高了农作物的识别精度，并且，基于语义特征的农作物识别更加符合人为数字化过程，即按照光谱纹理特征勾画出地块，然后为每个地块赋予属性的过程，既保证了农作物面积识别的精度，又保证了农作物位置识别的精度。此外，由于meta sam模型具有零样本泛化能力，也就是说，该模型无需训练即可对未知的、新的农作物类型进行分割，从而快速适应不同农作物识别场景，高效、准确地识别出不同类型的农作物种植地块。
附图说明
[0033]
构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。其中：
[0034]
图1为根据本技术的一些实施例提供的基于无人机影像的农作物人工智能自动识别方法的流程示意图；
[0035]
图2为根据本技术的一些实施例提供的破碎型农业景观和混合型农业景观示意图；
[0036]
图3为根据本技术的一些实施例提供的规则型农业景观和规模大地块破碎型农业景观示意图；
[0037]
图4为根据本技术的一些实施例提供的地块破碎且混乱型农业景观和少量水稻型农业景观示意图；
[0038]
图5为根据本技术的一些实施例提供的少量水稻地块规整型农业景观和少量水稻地块混乱型农业景观示意图；
[0039]
图6为根据本技术的一些实施例提供的对图2中(a)部分的语义分割结果示意图；
[0040]
图7为根据本技术的一些实施例提供的手工数字化结果与meta sam模型的地块分割结果对比示意图；
[0041]
图8为根据本技术的一些实施例提供的基于无人机影像的农作物人工智能自动识别系统的结构示意图；
[0042]
图9为根据本技术的一些实施例提供的电子设备的结构示意图；
[0043]
图10为根据本技术的一些实施例提供的电子设备的硬件结构图。
具体实施方式
[0044]
下面将参考附图并结合实施例来详细说明本技术。各个示例通过本技术的解释的方式提供而非限制本技术。实际上，本领域的技术人员将清楚，在不脱离本技术的范围或精神的情况下，可在本技术中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本技术包含归入所附权利要求及其等同物的范围内的此类修改和变型。
[0045]
示例性方法
[0046]
本技术实施例提供一种基于无人机影像的农作物人工智能自动识别方法，如图1所示，该方法包括：
[0047]
步骤s101、获取耕地的无人机影像。
[0048]
其中，耕地的无人机影像可以是任意研究区域的无人机影像，所识别的农作物可以是任意农作物类型，比如水稻、小麦等。为了理解技术方案，本实施例以对中国a市的水稻识别为例说明，无人机影像的拍摄时间段为2022年8月份。
[0049]
为保证质量，在获取无人机影像时，无人机的飞行参数可以设置如下：飞行高度100～150米，无人机影像包括红绿蓝三个波段，每次飞行的范围是200米*200米(该范围也称为一个样方)，每个样方获取60～80张图像，每张图像均包含飞行的经纬度和飞行姿态三参数，即横滚(roll)、俯仰(pitch)、偏航(yaw)。
[0050]
一些情景中，为了使图像中的地面特征被以无畸变、无遮挡、与地理坐标系统对应
的方式呈现，还包括：将无人机所获取的研究区域所有图像进行拼接，得到正射dom(digital orthophoto imagery)影像，通过将飞行参数设置为上述飞行参数，该正射影像的分辨率可以达到10cm，采用的数学基础为cgcs2000-albers。
[0051]
为了更好表征无人机影像中像素之间的关系以提高模型识别精度，本实施例还包括：选取不同的农业景观下的无人机影像进行农作物识别，并进行模型训练。所选取的农业景观至少包括：破碎型农业景观、混合型农业景观、规则型农业景观、规模大地块破碎型农业景观、地块破碎且混乱型农业景观、少量水稻型农业景观、少量水稻地块规整型农业景观、少量水稻地块混乱型农业景观，不同农业景观的示意图参见图2～图5。其中，图2中(a)部分表示破碎型农业景观，图2中(b)部分表示混合型农业景观；图3中(c)部分表示规则型农业景观，图3中(d)部分表示规模大地块破碎型农业景观；图4中(e)部分表示地块破碎且混乱型农业景观，图4中(f)部分表示少量水稻型农业景观；图5中(g)部分表示少量水稻地块规整型农业景观图5中(h)部分表示少量水稻地块混乱型农业景观。
[0052]
不同的农业景观具有不同的纹理和光谱特征，比如，破碎型农业景观(参见图2中(a)部分)又称为零散型农业景观，其特征为农田地块尺寸比较小，农田和林地交错分布，耕地上各种农作物的类型比较复杂，不仅包括水稻，还可能种植有蔬菜等。在该农业景观下，各种地物的光谱和纹理信息有一定的区别，以2022年8月份的无人机影像为例，其水稻处于拔节期，在无人机影像中呈现一片翠绿色且生长旺盛，完全覆盖地面，而蔬菜则呈现亮绿色。又比如，混合型农业景观中，在规整的地块农田之间存在一定比例的城镇地块，地块的尺度大，如图2中(b)所示。对于规则型农业景观而言，农业景观较为单一，主要是农田，居民用地占比更小，如图3中(c)所示。其他类型的农业景观的无人机影像特征不再一一赘述，不同农业景观下无人机影像的相关信息如表1所示，表1如下：
[0053]
表1不同农业景观下无人机影像的相关信息
[0054][0055]
对于卷积神经网络而言，农业景观特征直接影响着地物之间的相关特征，本实施例选择不同农业景观特征的无人机影像来表征实际农田种植的不同情况，具有很强的代表性和典型性，为将本实施例提供的基于无人机影像的农作物人工智能自动识别方法的实际应用奠定了基础。
[0056]
步骤s102、将无人机影像输入meta sam模型中进行语义分割，得到具有语义特征
的地块分割结果。
[0057]
本实施例中，利用meta sam模型对无人机影像进行分割，使得所获得的地块分割结果具有语义特征，使得后续的农作物识别不再基于单个像元进行识别，而是以地块为单位进行信息提取和统一农作物类型赋值，避免传统方法基于像元的分类导致的“椒盐”现象。
[0058]
由于meta sam模型是一个通用的物体分割模型，其基于深度学习和大量训练数据构建，可以适应不同的物体和应用场景，并提高图像分割的准确性和效率，降低模型开发和维护的成本。meta sam模型可以自动学习不同物体的特征，并实现高效、准确的分割。且meta sam模型无需预先定义要分割的物体类别，只需通过不同方式的提示，例如文本、点、框等来指定要分割的内容，即可实现物体分割，大大提高了其灵活性，使得不同研究区域、不同类型农作物可以灵活根据需求来使用meta sam模型，且不受限于固定的类别或场景。此外，由于meta sam模型具有零样本泛化能力，能够在没有额外训练的情况下，对新的、未知的物体进行有效的分割，因此，利用meta sam模型，结合高分辨率的无人机快速获取大面积农田的影像数据，能够自动识别并定位农田中不同类型的农作物，比如水稻、玉米等，大大提高了对农作物人工智能进行自动识别的效率。在此基础上可以对这些数据进行实时分析，实现高效、准确的农业监测，这对于提高研究区域的农业生产效率、优化农业资源配置、预防农业灾害等方面均有重要意义。
[0059]
步骤s103、以地块分割结果中每个地块为分类单元，基于随机森林模型对地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。
[0060]
综上，本技术的技术方案中，首先获取耕地的无人机影像，然后将无人机影像输入到meta sam模型中进行语义分割，得到具有语义特征的地块分割结果，以地块分割结果中每个地块为分类单元，基于随机森林模型对地块分割结果中的各个地块所种植的农作物进行识别，得到农作物识别结果。通过meta sam模型对无人机影像进行语义分割，并在此基础上以地块为单元进行农作物的统一提取和统一赋值为指定的农作物类型，避免了传统基于像元的农作物自动化识别模型导致的“椒盐”现象，提高了农作物的识别精度，并且，基于语义特征的农作物识别更加符合人为数字化过程，即按照光谱纹理特征勾画出地块，然后为每个地块赋予属性的过程，既保证了农作物面积识别的精度，又保证了农作物位置识别的精度。此外，由于meta sam模型具有零样本泛化能力，也就是说，该模型无需训练即可对未知的、新的农作物类型进行分割，从而快速适应不同农作物识别场景，高效、准确地识别出具有语义特征的农作物种植地块。
[0061]
一些实施例中，meta sam模型以卷积神经网络(convolutional neural network，cnn)作为基本骨架，并使用元学习方法对meta sam模型进行训练。
[0062]
其中，cnn可以将u-net、deeplab等高效的分割网络作为基础结构，这些卷积神经网络具有编码器-解码器结构，其中编码器用于提取图像的高级特征，而解码器用于恢复空间信息并生成分割图。
[0063]
meta sam模型基于提示学习技术构建，其定义的一个提示可以是一个粗略的框、一组点或者文本。
[0064]
具体地，meta sam模型有三个组件：图像编码器、提示编码器和遮罩解码器。其中，图像编码器使用一种经过最小改动的mae预训练视觉转换器(vision transformer，vit)，
以便处理高分辨率的无人机影像。图像编码器在每张图像上运行一次，并且可以应用于提示模型之前。提示编码器包括两种提示类型：稀疏提示(比如点、框、文本)和密集提示(比如遮罩mask)，通过与每个提示类型的学习encodings相加的位置编码来表示点和框，通过clip(contrastive language-image pretraining)的现成文本编码器来表示自由格式的文本。密集提示使用卷积进行编码(encode)，并与图像嵌入逐元素相加。遮罩解码器可以有效地将图像嵌入、提示嵌入和输出tokens映射到遮罩。
[0065]
一些实施例中，meta sam模型的训练过程包括：在已标注的数据上进行预训练，得到meta sam模型的基础分割模型；使用元学习方法，在不同任务之间切换学习，以对基础分割模型进行微调，得到最终的meta sam模型。
[0066]
本实施例中，meta sam模型的训练过程分为两个阶段，首先在大量已标注的数据上进行预训练，得到基础分割模型；然后，在第二阶段中，meta sam模型使用元学习方法进行微调，在微调的过程中，meta sam模型通过在不同任务之间切换来学习如何适应新任务，使得在面临新任务时，meta sam只需要少量的标签数据就能实现快速微调。
[0067]
其中，使用元学习方法进行训练的目的是使模型能够在学习到新任务时更快地适应，从而提高模型在少样本情况下的泛化能力。
[0068]
本实施例中，为了进一步提高meta sam模型语义分割的精度，还包括：对meta sam模型的训练数据集进行修改和扩充，并结合元学习方法和提示学习技术，基于扩充的数据集对模型进行微调。
[0069]
具体地，通过将无人机收集的农业影像数据添加到sa-1b数据集中实现扩充数据集，在扩充数据集的同时，需要为无人机影像提供正确的像素级标签。在使用扩充数据集之前，对扩充数据集中的无人机影像进行预处理操作，比如图像增强(旋转、翻转、裁剪等)、标准化、去噪等，以提高模型的泛化能力。为了更好地适应农作物识别的场景，还包括对sa-1b数据集的标签进行调整或者扩充。然后，将扩充数据集与sa-1b数据集划分为训练集、验证集和测试集，以实现对模型的微调。
[0070]
一些实施例中，meta sam模型的损失函数为组合损失函数，包括像素级分类损失和辅助分类损失，例如，正则化损失。
[0071]
使用组合损失函数有助于在训练过程中保持模型的稳定性，并提高分割质量。
[0072]
组合损失函数的表达式如下：
[0073]
l
total
＝l_cls+λl_aux，
[0074]
式中，l
total
为组合损失函数，l_cls为像素级分类损失，l_aux为辅助分类损失，λ为超参数，用于平衡l_cls和l_aux的权重。
[0075]
一些实施例中，将无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果，具体为：将无人机影像输入meta sam模型中进行语义分割，得到语义的分割图斑；将语义的分割图斑转化为矢量图层后，删除面积小于预设面积阈值的图斑，得到具有语义特征的地块分割结果。
[0076]
具体地，meta sam模型经由目标检测器，比如vitdet等，输出目标检测结果，并将这些结果的位置和类别信息作为输入来预测每个像素是否属于每个物体的分割掩码，若属于则为目标前景，即分割出的目标物体，也即语义的分割图斑，若不属于则为背景，即未分割出的物体。
[0077]
由于meta sam模型经过大量样本训练，可以实现zero-shot分割。将无人机影像输入至meta sam模型进行分割，得到语义的分割图斑，然后提取细小图斑掩膜，将其转化为矢量图层后，剔除面积小于预设面积阈值的图斑，也即剔除掉细碎的多边形，同时将明显的道路、地块间隙等非耕地地块的图斑删除，得到具有语义特征的地块分割结果。其中，面积阈值的大小可以根据耕地地块的破碎程度确定，本技术对此不作限定。
[0078]
一些实施例中，随机森林模型的特征变量包括归一化色调亮度植被指数和局部纹理特征描述算子；其中，归一化色调亮度植被指数基于无人机影像的色调和亮度构建，用于表征无人机影像的光谱特征，局部纹理特征描述算子用于表征无人机影像的纹理特征。
[0079]
其中，随机森林(random forest)是一种基于决策树的集成学习方法，可以用于解决分类和回归问题。随机森林是由多棵决策树组成的，每棵决策树的训练数据集都是通过对原始训练数据集进行有放回的随机抽样得到，对应了它“森林”和“随机”的特点，每个类别的样本都能够得到充分的训练，可以处理不平衡数据集。每个决策树的训练过程中，对于每个节点，随机选择一个特征来进行划分，这样每个决策树都是基于不同的特征子集进行训练。最后将每个决策树的分类结果进行投票或取平均值来决定最终的分类结果。这样做可以有效地减少过拟合的风险，并且使得随机森林具有更好的泛化性能。
[0080]
基于无人机影像进行水稻的识别分类两个部分，首先基于meta sam进行分割，得到语义的分割图斑，在此基础上以图斑为单元，进行作物类型的分类，得到图斑级的水稻地块分类。
[0081]
本实施例的农作物分类任务中，将地块所种植的农作物类型视为目标变量，比如将地块识别为水稻地块和其他类型地块。针对光谱、纹理特征设计可量化的特征变量，引入hsl颜色空间和局部纹理特征描述算子(local binary pattern，又称lbp纹理算子)更好地表达地块的光谱和纹理特征。
[0082]
具体地，利用hsl颜色空间的色调(hue)和亮度(light)分量构造归一化色调亮度植被指数nhlvi(normalized hue and lightness vegetation index)，应用于无人机可见光影像，归一化色调亮度植被指数的计算公式为：
[0083][0084]
式中，nhlvi为归一化色调亮度植被指数，h为无人机影像的色调值，l为无人机影像的亮度值。
[0085]
根据上述公式，nhlvi的取值范围[-1，1]，由nhlvi的数学特性描述生成的特征图称为nhlvi植被指数特征图，用于反映植被生长。
[0086]
传统的rgb颜色空间利用红(r)、绿(r)、蓝(b)三个颜色分量的线性组合来表示颜色，但这三个分量是高度相关的，所以连续变换颜色时有一定局限性。而hsl颜色空间中的色调(hue)、饱和度(saturation)、亮度(light)三分量的相关性要明显低于rgb分量，h包含了所有颜色的取值，取决于物体反射光的频率，s越大颜色越纯，所含灰色越少，l反应了物体反射光的强度。在hsl空间中，由于阴影和植被在饱和度上有交叉，利用饱和度信息不易区分植被和阴影，因此，归一化色调亮度植被指数采用色调和亮度进行构建，能够更好地表达地块的光谱和纹理特征，进而提高农作物识别精度。
[0087]
lbp纹理算子是一种局部纹理特征描述算子，它通过比较窗口内中心像元和周围
像元的大小来决定返回值(0或1)以形成二进制编码，并将二进制编码转化为十进制数值。由于lbp纹理算子是一种作差运算，因此具有不受图像亮度和对比度变化等优点。若不断旋转圆形域窗口得到不同方向的特征值，取最小值作为该窗口的最终返回值，则可得到中心像元对应的、具有旋转不变性的lbp纹理描述特征值，在圆形域窗口遍历全幅影像后便得到旋转不变lbp特征图。
[0088]
农作物分类特征及其含义如表2所示，表2如下：
[0089]
表2水稻识别分类特征
[0090][0091]
为了进一步减少光照、阴影等因素对识别结果精度的干扰，一些具体的实施方式中，在计算无人机影像的归一化色调亮度植被指数和局部纹理特征描述算子之前，还包括将无人机影像进行色彩归一化拉伸，然后根据无人机影像中分割后的地块光谱、纹理特征，以地块为单位，逐个地块计算各地块对应的地块内绿色植被占比，即计算各个地块所有像元的nhlvi平均值、nhlvi标准差、nhlvi协方差、lbp纹理算子的平均值、lbp纹理算子的标准差、lbp纹理算子的协方差，得到六个特征统计量，并将其作为随机森林模型的输入数据进行水稻自动智能识别，得到水稻的识别结果。
[0092]
具体地，不同农业景观下的无人机影像中，可以将每幅影像地块分割结果中20％的地块及其标签作为训练数据，对随机森林模型进行训练，并在训练完成后利用得到的随机森林模型反预测训练数据以外的其他地块中种植的农作物类型，得到农作物识别结果。
[0093]
实验结果表明，通过meta sam模型进行语义分割后利用随机森林模型进行识别，无人机影像中相对纯净的地块全部得到正确的分类结果，对于农业景观比较复杂，混合难分的地块中，仍有少量分类错误的情况。对分类结果建立混淆矩阵，用制图精度(producer’s accuracy，pa)、用户精度(user’saccuracy，ua)、kappa系数和总体分类精度(overall accuracy，oa)4个指标对分类结果进行验证，其中oa和kappa系数用于比较整体分类精度。从精度评价来看，总体分割精度oa达88.46％，制图精度90.00％，用户精度81.82％，kappa系数0.7926。也就是说，本实施例提供的方法，能够使农作物分类的整体精度接近90％，说明耕地内整体的分类精度比较高；因以地块为单位进行识别，故上述精度代表的是地块级的精度，其中制图精度高于用户精度，说明用于评价的地精度评价地块均被识别出来，用户精度说明了一些其他耕地内的作物被识别了出来。
[0094]
图7示出了手工数字化结果与meta sam模型的地块分割结果对比，图中(a)为手工数字化结果，(b)为meta sam模型的地块分割结果。从图中可以看出，除却地块边界非直线外，meta sam模型的地块分割结果与手工数字化结果基本一致，说明meta sam模型的地块分割结果精度能够与人工识别效果相当，其结果与人工数字化得到的矢量地块基本一致，能够满足农业调查的精度要求。
[0095]
实验结果还表明，一方面，对于纹理比较均一的地块，通过归一化色调亮度植被指
数和局部纹理特征描述算子对纹理特征和光谱特征进行描述，能够将农作物类型准确地区分出来；另一方面，对于种植结构比较复杂的研究区域，可能会存在与目标农作物(比如水稻)光谱特征比较相近的其他农作物，利用本实施例提供的方法，即使有其他少量农作物类型混入，仍然能够准确地识别出目标农作物，说明归一化色调亮度植被指数和局部纹理特征描述算子相结合能够显著提高农作物识别的精度，保证在农业统计调查过程中能够高效地赋值地块，实现快速填报，提高野外调查的效率。
[0096]
从地块整体的识别结果来看，在meta sam模型对无人机影像分割的基础上进行水稻的提取，这是以地块为单位进行信息提取，地块统一赋值为水稻，也就说这种0-1分类是建立在一定的语义对象上，而不是单个独立的像元，相对于传统方法基于像元的分类，像元和像元之间是孤立的，没有关系，这是椒盐现象产生原因。而基于meta sam模型分割形成具有语义特征的地块，以地块为单元进行分类，可以解决椒盐现象，更为重要的是，这种摆脱像元分类不足方法，完全符合人为数字化的过程——按照光谱纹理特征勾画出地块，然后给每一个地块赋予属性，所以我们看到基于本文方法得到的每个水稻地块跟人为数字化的结果是一样的，这样既保证了面积精度，又保证了水稻识别位置精度。
[0097]
针对不同农业景观类型对耕地地块内的无人机影进行基于meta sam模型的语义分割，将分割得到的地块结果矢量化，提取出耕地内的分割结果。图6示出了图2中破碎型农业景观的语义分割结果，图中a1、a2、a3为破碎程度不同的局部区域，可以看出，对于破碎型农业景观，水稻地块均被分割准确地出来，地块规则完整，其他的地物类型由于异质性比较强，边界分割不规则，表明本方法能够针对复杂的农业景观进行准确分割和识别。
[0098]
对不同农业景观下的无人机影像进行基于meta sam模型的语义分割时，由于meta sam模型的分辨率和感受野大小的限制，若目标过小或者边界过于模糊，可能会导致meta sam模型无法得到正确的分割结果。因此，一些实施例中，还包括：对目标过小或者边界过于模糊的区域进行局部提取，即提取出子区图斑，生成新的局部图像，并在局部图像上再次进行基于meta sam模型的语义分割。结果表明，与未进行局部提取的分割结果相比，进行局部提取后图像变小聚焦到局部区域时，meta sam模型能够对其进行正确分割，并得到准确的分割结果。
[0099]
一些实施例中，该方法还包括：对无人机影像进行重采样，得到不同分辨率的无人机影像，然后基于meta sam模型对不同分辨率的无人机影像进行语义分割，得到不同分辨率下的地块分割结果，以确定分割效果最佳的影像分辨率。
[0100]
具体地，以混合型农业景观无人机影像为例，分别对该无人机影像进行双线性插值重采样，得到包括原始无人机影像在内的多尺度影像，共包括0.1m，0.3m，0.5m，0.7m，0.9m，1m，2m，3m，5m的9个分辨率下影像的meta sam模型地块分割结果，经过对比可得，分割效果最佳的影像分辨率为0.5m。本实施例通过确定分割效果最佳的影像分辨率一方面可以避免盲目追求高分辨率导致的计算量和存储量增大，另一方面，能够有效提高计算效率，从而提高农作物识别的速度。
[0101]
示例性系统
[0102]
本技术实施例提供一种基于无人机影像的农作物人工智能自动识别系统，如图8所示，该系统包括：获取单元801、语义分割单元802和识别单元803。
[0103]
其中：
[0104]
获取单元801，配置为获取耕地的无人机影像。
[0105]
语义分割单元802，配置为将无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果。
[0106]
识别单元803，配置为以地块分割结果中每个地块为分类单元，基于随机森林模型对地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。
[0107]
本技术实施例提供的基于无人机影像的农作物人工智能自动识别系统，能够实现上述任一实施例提供的基于无人机影像的农作物人工智能自动识别方法的步骤、流程，并达到相同的技术效果，在此不再一一赘述。
[0108]
示例性设备
[0109]
图9为根据本技术的一些实施例提供的电子设备的结构示意图；如图9所示，该电子设备包括：
[0110]
一个或多个处理器901；
[0111]
计算机可读存储介质，可以配置为存储一个或多个程序902，一个或多个处理器901执行一个或多个程序902时，实现如下步骤：获取耕地的无人机影像；将无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果；以地块分割结果中每个地块为分类单元，基于随机森林模型对地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。
[0112]
图10为根据本技术的一些实施例提供的电子设备的硬件结构；如图10所示，该电子设备的硬件结构可以包括：处理器1001、通信接口1002、计算机可读存储介质1003和通信总线1004。
[0113]
其中，处理器1001、通信接口1002、计算机可读存储介质1003通过通信总线1004完成相互间的通信。
[0114]
可选地，通信接口1002可以为通信模块的接口，如gsm模块的接口。
[0115]
处理器1001具体可以执行如下步骤：获取耕地的无人机影像；将无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果；以地块分割结果中每个地块为分类单元，基于随机森林模型对地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。
[0116]
处理器1001可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等，还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0117]
本技术实施例的电子设备以多种形式存在，包括但不限于：
[0118]
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如：iphone)、多媒体手机、功能性手机，以及低端手机等。
[0119]
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：pda、mid和umpc设备等，例如ipad。
[0120]
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、
视频播放器(例如：ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0121]
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
[0122]
(5)其他具有数据交互功能的电子装置。
[0123]
需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可以将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
[0124]
上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器存储介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的基于无人机影像的农作物人工智能自动识别方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
[0125]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和涉及约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
[0126]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
[0127]
以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0128]
以上所述仅为本技术的优选实施例，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于无人机影像的农作物人工智能自动识别方法，其特征在于，包括：获取耕地的无人机影像；将所述无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果；以所述地块分割结果中每个地块为分类单元，基于随机森林模型对所述地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。2.根据权利要求1所述的方法，其特征在于，所述meta sam模型以卷积神经网络作为基本骨架，并使用元学习方法对所述meta sam模型进行训练。3.根据权利要求2所述的方法，其特征在于，所述meta sam模型的训练过程包括：在已标注的通用数据上进行预训练，得到meta sam模型的基础分割模型；使用元学习方法，在不同任务之间切换学习，以对所述基础分割模型进行微调，得到最终的meta sam模型。4.根据权利要求1-3任一所述的方法，其特征在于，所述meta sam模型的损失函数为组合损失函数，包括像素级分类损失和辅助分类损失。5.根据权利要求1所述的方法，其特征在于，将所述无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果，具体为：将所述无人机影像输入meta sam模型中进行语义分割，得到语义的分割图斑；将所述语义的分割图斑转化为矢量图层后，删除面积小于预设面积阈值的图斑，得到具有语义特征的地块分割结果。6.根据权利要求1所述的方法，其特征在于，所述随机森林模型的特征变量包括归一化色调亮度植被指数和局部纹理特征描述算子；其中，所述归一化色调亮度植被指数基于所述无人机影像的色调和亮度构建，用于表征所述无人机影像的光谱特征，所述局部纹理特征描述算子用于表征所述无人机影像的纹理特征。7.根据权利要求6所述的方法，其特征在于，所述归一化色调亮度植被指数的计算公式为：式中，nhlvi为所述归一化色调亮度植被指数，h为所述无人机影像的色调值，l为所述无人机影像的亮度值。8.一种基于无人机影像的农作物人工智能自动识别系统，其特征在于，包括：获取单元，配置为获取耕地的无人机影像；语义分割单元，配置为将所述无人机影像输入meta sam模型中进行语义分割，得到具有语义特征的地块分割结果；
识别单元，配置为以所述地块分割结果中每个地块为分类单元，基于随机森林模型对所述地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被执行时实现如权利要求1-7任一所述的方法。10.一种电子设备，其特征在于，包括：处理器、存储器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一所述的方法。

技术总结
本申请涉及数据识别技术领域，提供一种基于无人机影像的农作物人工智能自动识别方法和系统。该方法首先获取耕地的无人机影像；然后将无人机影像输入Meta SAM模型中进行语义分割，得到具有语义特征的地块分割结果；以地块分割结果中每个地块为分类单元，基于随机森林模型对地块分割结果中各个地块所种植的农作物进行识别，得到农作物识别结果。通过该方法，能够有效避免传统基于像元的农作物自动化识别模型导致的“椒盐”现象，提高农作物的识别精度，同时，由于Meta SAM模型具有零样本泛化能力，该方法还能够快速适应不同农作物识别场景，高效、准确地识别出不同类型的农作物种植地块。地块。地块。


技术研发人员：丁志平 梁治华 刘文达 许茹郡 李岩
受保护的技术使用者：北京艾尔思时代科技有限公司
技术研发日：2023.06.01
技术公布日：2023/8/6