一种多联动野生动物在线监测方法及系统与流程

1.本发明涉及野生动物智能监测领域，尤其涉及一种多联动野生动物在线监测方法及系统。


背景技术：

2.目前，野生动物作为生物多样性的重要组成部分，其生存发展状况与生态系统的稳定和人类活动息息相关。但随着全球工业化进程的发展，大面积的野生动物栖息地被逐步侵蚀，呈现碎片化。
3.目前对野生动物的保护有结合互联网实现，比如现有技术中，申请号201910927314.9公开了一种野生动物信息管理方法、装置、终端、系统及存储介质，该文件通过获取至少一个野生动物保护区的保护区数据；并对野生动物保护区的保护区数据进行分析，从保护区数据中获取野生动画保护区的环境数据和位于野生动物保护区的野生动物的行为数据；该文件分别将每个野生动物保护区的野生动物信息(野生动物保护区的环境数据和位于野生动物保护区的野生动物的行为数据)存储至区块链的方式，该文件实现对野生动物信息的管理。该文件是基于区块链存储各个野生动物保护区的野生动物信息的方式，但是该文件无法及时获悉到野生动物的活动信息以及图像信息，进而无法及时对野生动物大范围、长时间、多角度的实时监测，导致对动物保护区的野生动物及时监控，无法满足对野生动物监控保护工作的要求。


技术实现要素：

4.本发明提供一种多联动野生动物在线监测方法，方法充分利用可见光和热成像技术，通过对系统的合理布局能够实现对野生动物大范围、长时间、多角度的实时监测，满足对野生动物监控保护工作的要求。
5.方法包括：
6.步骤1：实时获取监测场景图像，当检测到异常热源时，进行标注，并截取当前帧画面，同时将当前位置进行上报；
7.步骤2：根据位置信息，控制图像采集模块抓取当前热源图像；
8.步骤3：对抓取到的热源图像进行预处理，对满足质量要求的图像进行识别，判断是否为野生动物，如果是野生动物则进行分类标注；
9.步骤4：根据设置权重选择判断是否跟踪当前物种活动轨迹；如需要跟踪，则启动云台继续跟踪，并实时显示当前跟踪场景画面。
10.进一步需要说明的是，步骤3中对抓取到的热源图像进行预处理方式采用图像数据增强技术，通过对热源图像旋转、平移、缩放、翻转、颜色变换、添加随机噪声的方式，扩充样本量。
11.进一步需要说明的是，步骤3还包括：在对热源图像进行提取；
12.提取方式采用ltp局部三值模式，ltp局部三值模式表达式如下，
[0013][0014]
其中，gi(i＝0,1,
…
,p-1)为邻域像素点灰度值，gc为邻域中心像素点灰度值，t为ltp算子的阈值，为画面像素点灰度值均值，为画面像素点灰度值均值，为δg均值，为浮动区间，ltp
p,r
为编码方式，p,r分别为邻域像素点和半径；
[0015]
通过引入邻域像素绝对距离标准差和相对距离标准差，将阈值取值与像素值相关联；
[0016]
将ltp算子处理后，提取热源图像中的特征图像作为ssd算法的输入层；
[0017]
根据ssd算法的匹配原则，将位置损失和置信损失进行加权和，表达式如下：
[0018][0019]
其中，n是默认匹配框个数，α为位置损失和置信损失的比值，l
loc
(x,l,g)为位置损失，l
conf
(x,c)为置信损失。
[0020]
进一步需要说明的是，ssd算法是基于最大iou匹配的原则，给每个anchor分配一个真实标签，通过anchor与groundtruth box比较计算重叠；
[0021]
当iou大于0.5时为正样本，否则是负样本，对应计算公式为：
[0022][0023]
其中，g
t
为目标位置，dr为检测结果。
[0024]
进一步需要说明的是，步骤3中还包括：对整体画面分块设定权重的方式构建图像质量函数f用于评价采集到的图像质量。
[0025]
进一步需要说明的是，将采集图像设定为权重可调的15x17块，默认为“凸”字型权重；
[0026]
根据图像质量函数将图像质量值f
()
》质量函数阈值t，且无法识别的疑似新物种图像素材存储到终端显示模块的存储器中，并在终端显示模块中提示疑似发现新物种。
[0027]
进一步需要说明的是，图像质量函数f如下：
[0028][0029]
其中，n为分块个数，w为对应像素块的权重，er为目标区域的均值，eb为背景区域的均值，δb为背景区域的标准差。
[0030]
本发明还提供一种多联动野生动物在线监测系统，系统包括：图像采集模块、数据处理模块以及终端显示模块；
[0031]
图像采集模块用于实时获取监测场景图像，当检测到异常热源时，进行标注，并截取当前帧画面，同时将当前位置发送给数据处理模块；
[0032]
数据处理模块用于根据位置信息，控制图像采集模块抓取当前热源图像；
[0033]
数据处理模块还对抓取到的热源图像进行预处理，对满足质量要求的图像进行识别，判断是否为野生动物，如果是野生动物则进行分类标注根据设置权重选择判断是否跟踪当前物种活动轨迹；
[0034]
如需要跟踪，则启动云台继续跟踪，并通过终端显示模块实时显示当前跟踪场景画面。
[0035]
进一步需要说明的是，图像采集模块采用可见光和红外热成像摄像机；
[0036]
可见光和红外热成像摄像机选用非制冷焦平面阵列vox探测器，可见光摄像机选用背照式超低照度星光级cmos芯片。
[0037]
进一步需要说明的是，还包括：用户设置模块；
[0038]
用户设置模块用于设置系统工作状态，支持设置当前监控画面中不同物种动物的监测权重，根据权重最高的物种进行轨迹跟踪；支持预定义位置滤除功能；支持跨多设备联动监测功能。
[0039]
从以上技术方案可以看出，本发明具有以下优点：
[0040]
本发明基于双波段摄像机的多联动野生动物在线监测系统，充分利用可见光和热成像技术，通过对系统的合理布局能够实现对野生动物大范围、长时间、多角度的实时监测，满足对野生动物监控的需要。
[0041]
本发明还能够对野生动物图像信息进行汇总，方便监控人员进行查阅，有效的提升野生动物监控效率。还能够对野生动物图像数据高效率地收集、存储，并进行处理，可以基于野生动物的位置状态以及野生动物的类型实现监控。
附图说明
[0042]
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1为多联动野生动物在线监测系统示意图；
[0044]
图2为“凸”字型可调节权重示意图；
[0045]
图3为多设备间边界边缘的监测目标优先级逻辑图；
[0046]
图4为多联动野生动物在线监测方法流程图；
[0047]
图5为多联动野生动物在线监测方法实施例流程图。
具体实施方式
[0048]
如图1是本发明提供的多联动野生动物在线监测系统的示意图，本发明是为了对野生动物的监测，本发明涉及的在线监测系统可根据实际环境和监测范围部署多台设备以实现极大面积的实时监测。这可以为野生动物种群生存现状和活动范围的分析和评价提供
相关信息，从而制定更加行之有效的保护措施，利于野生动物种群繁衍和发展。
[0049]
本发明提供的多联动野生动物在线监测方法可以基于人工智能技术对关联的数据进行获取和处理。其中，多联动野生动物在线监测方法利用数字计算机控制的相应模块，实现机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。多联动野生动物在线监测方法基础技术一般包括如摄像机、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。还可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。
[0050]
多联动野生动物在线监测方法还具有机器学习功能，其中本发明方法中的机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0051]
多联动野生动物在线监测方法利用传感器监控、数据传输等技术，实现野生动物图像数据的实时采集和处理，进而反映野生动物的生命状态，因此，可以有效地监控野生动物的状态。
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
本发明提供的多联动野生动物在线监测系统包括：图像采集模块、数据处理模块、终端显示模块以及用户设置模块；
[0054]
图像采集模块可以采用可见光和红外热成像摄像机，图像采集模块用于实时获取监测场景图像。摄像机可以安装在各个监控区域，满足对野生动物监控的需要，具体数量和位置不做限定。
[0055]
当红外热成像摄像机检测到异常热源时，对其进行标注并截取当前帧画面，同时将当前位置上报数据处理模块。
[0056]
示例性的讲，可见光和红外热成像摄像机选用第六代非制冷焦平面阵列vox探测器，可见光摄像机选用背照式超低照度星光级cmos芯片，在完全无光的环境中仍有比较好的信噪比和成像表现。
[0057]
本发明的实施例中，数据处理模块接收到红外热成像相机发出信号时，控制云台停止转动，同时根据位置信息，控制摄像机镜头并抓取当前异常热源画面。操作完成后，将素材回传至数据处理模块，摄像机继续巡检。
[0058]
为了保证采集的图像满足使用要求，本发明通过对整体画面分块设定权重的方式构建图像质量函数f用于评价采集到的图像质量。
[0059]
具体的，将采集图像设定为权重可调的15x17块，如图2所示，默认为“凸”字型权重。根据图像质量函数将图像质量值f(i)》t(质量函数阈值)且无法识别的疑似新物种图像素材存储到终端显示模块的存储器中，并在终端显示模块中提示疑似发现新物种。从而实现对现有种群进行识别跟踪，比对数据库中不存在的样本种类进行上报。图像质量函数f如
下。
[0060][0061]
其中，n为分块个数，w为对应像素块的权重，er为目标区域的均值，eb为背景区域的均值，δb为背景区域的标准差。
[0062]
数据处理模块将可见光抓取到的经图像预处理后满足质量要求的素材进行识别标注，并根据用户设置模块设置权重选择是否跟踪当前物种活动轨迹。
[0063]
终端显示模块用于实时显示当前监测场景画面、疑似新物种提示和累计监测到野生动物种类等相关信息。
[0064]
可选地，为保证动物识别准确率和鲁棒性，本发明采用图像数据增强技术，通过旋转、平移、缩放、翻转、颜色变换、添加随机噪声的方式，扩充样本量、减少过拟合、提高模型的泛化能力。
[0065]
在对特征进行提取是采用改进式的局部三值模式(ltp)，局部三值模式继承了局部二值模式的光照不敏感性且与更好的抗噪性能，ltp表达式如下，
[0066][0067]
其中，gi(i＝0,1,
…
,p-1)为邻域像素点灰度值，gc为邻域中心像素点灰度值，t为ltp算子的阈值，为画面像素点灰度值均值，为画面像素点灰度值均值，为δg均值，为浮动区间，ltp
p,r
为编码方式，p,r分别为邻域像素点和半径。
[0068]
本发明通过引入邻域像素绝对距离标准差和相对距离标准差的概念，将阈值取值与像素值相关联，实现了阈值的自适应性，改善了传统ltp阈值为固定值且不能兼顾不同样本间差异的缺陷。
[0069]
本实施例还将改进ltp算子处理后提取的特征图像作为ssd算法的输入层。根据ssd算法的匹配原则，ssd的损失函数为位置损失和置信损失的加权和，表达式如下
[0070][0071]
其中，n是默认匹配框个数，α为位置损失和置信损失的比值，默认为1，l
loc
(x,l,g)为位置损失，l
conf
(x,c)为置信损失。
[0072]
本发明的ssd算法基于最大iou匹配的原则，给每个anchor分配一个真实标签，通过anchor与groundtruth box比较计算最佳重叠。当iou大于0.5时为正样本，否则是负样
本，对应计算公式为：
[0073][0074]
其中，g
t
为目标位置，dr为检测结果。利用标注软件对预处理过后的素材进行标注对算法模型进行训练，为避免iou算法判断后的重叠检验，选择非极大值抑制(nms)将交并比最大的框作为最终检测结果。将损失最小的模型作为最终识别使用模型进行应用。
[0075]
在一个示例性实施例中，用户设置模块用于设置系统工作状态，支持设置当前监控画面中不同物种动物的监测权重，根据权重最高的物种进行轨迹跟踪；支持预定义位置滤除功能，减少误识别概率；支持跨多设备联动监测功能。
[0076]
根据本技术的实施例，如图3所示，当监测目标x运动到设备a监测覆盖范围边缘，要进入设备b覆盖范围时，上报控制模块，控制模块根据当前a、b监测目标权重进行优先级判断，若设备b当前无待监测目标则立即跟踪目标x，若设备b当前跟踪目标y权重高于目标x，则b继续跟踪目标y，否则转而跟踪目标x。
[0077]
这样，本发明基于双波段摄像机的多联动野生动物在线监测系统，充分利用可见光和热成像技术，通过对系统的合理布局能够实现对野生动物大范围、长时间、多角度的实时监测，满足对野生动物监控的需要。
[0078]
以下是本公开实施例提供的多联动野生动物在线监测方法的实施例，该方法与上述各实施例的多联动野生动物在线监测系统属于同一个发明构思，在多联动野生动物在线监测方法的实施例中未详尽描述的细节内容，可以参考上述多联动野生动物在线监测系统的实施例。
[0079]
s1：实时获取监测场景图像，当检测到异常热源时，进行标注，并截取当前帧画面，同时将当前位置进行上报。
[0080]
这里，可以通过图像采集模块实时获取监测场景图像，当红外热成像摄像机检测到异常热源时，对其进行标注并截取当前帧画面，同时将当前位置上报数据处理模块。
[0081]
s2：根据位置信息，控制图像采集模块抓取当前热源图像。
[0082]
s3：对抓取到的热源图像进行预处理，对满足质量要求的图像进行识别，判断是否为野生动物，如果是野生动物则进行分类标注。
[0083]
判断方式可以在数据库中预存各种野生动物的标准图像信息，然后将采集的图像与标准图像信息进行比对，可以得到野生动物的种类，进而可以进行分类，对分类后的图像进行标注。标注方式可以通过野生动物在系统中的编码进行标注。
[0084]
s4：根据设置权重选择判断是否跟踪当前物种活动轨迹。
[0085]
如需要跟踪，则启动云台继续跟踪，并实时显示当前跟踪场景画面。
[0086]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0087]
本发明能够对野生动物图像信息进行汇总，方便监控人员进行查阅，有效的提升野生动物监控效率。还能够对野生动物图像数据高效率地收集、存储，并进行处理，可以基于野生动物的位置状态以及野生动物的类型实现监控。
[0088]
多联动野生动物在线监测方法是结合本文中所公开的实施例描述的各示例的单
元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0089]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种多联动野生动物在线监测方法，其特征在于，方法包括：步骤1：实时获取监测场景图像，当检测到异常热源时，进行标注，并截取当前帧画面，同时将当前位置进行上报；步骤2：根据位置信息，控制图像采集模块抓取当前热源图像；步骤3：对抓取到的热源图像进行预处理，对满足质量要求的图像进行识别，判断是否为野生动物，如果是野生动物则进行分类标注；步骤4：根据设置权重选择判断是否跟踪当前物种活动轨迹；如需要跟踪，则启动云台继续跟踪，并实时显示当前跟踪场景画面。2.根据权利要求1所述的多联动野生动物在线监测方法，其特征在于，步骤3中对抓取到的热源图像进行预处理方式采用图像数据增强技术，通过对热源图像旋转、平移、缩放、翻转、颜色变换、添加随机噪声的方式，扩充样本量。3.根据权利要求1所述的多联动野生动物在线监测方法，其特征在于，步骤3还包括：在对热源图像进行提取；提取方式采用ltp局部三值模式，ltp局部三值模式表达式如下，其中，g
i
(i＝0,1,
…
,-1)为邻域像素点灰度值，g
c
为邻域中心像素点灰度值，t为ltp算子的阈值，为画面像素点灰度值均值，为δg均值，为浮动区间，ltp
p,r
为编码方式，p,r分别为邻域像素点和半径；通过引入邻域像素绝对距离标准差和相对距离标准差，将阈值取值与像素值相关联；将ltp算子处理后，提取热源图像中的特征图像作为ssd算法的输入层；根据ssd算法的匹配原则，将位置损失和置信损失进行加权和，表达式如下：其中，n是默认匹配框个数，α为位置损失和置信损失的比值，
loc
(x,,)为位置损失，l
conf
(x,c)为置信损失。4.根据权利要求3所述的多联动野生动物在线监测方法，其特征在于，ssd算法是基于最大iou匹配的原则，给每个anchor分配一个真实标签，通过anchor与groundtruth box比较计算重叠；当iou大于0.5时为正样本，否则是负样本，对应计算公式为：
其中，g
t
为目标位置，d
r
为检测结果。5.根据权利要求1或2所述的多联动野生动物在线监测方法，其特征在于，步骤3中还包括：对整体画面分块设定权重的方式构建图像质量函数f用于评价采集到的图像质量。6.根据权利要求5所述的多联动野生动物在线监测方法，其特征在于，将采集图像设定为权重可调的15x17块，默认为“凸”字型权重；根据图像质量函数将图像质量值f
()
>质量函数阈值t，且无法识别的疑似新物种图像素材存储到终端显示模块的存储器中，并在终端显示模块中提示疑似发现新物种。7.根据权利要求6所述的多联动野生动物在线监测方法，其特征在于，图像质量函数f如下：其中，n为分块个数，w为对应像素块的权重，e
r
为目标区域的均值，e
b
为背景区域的均值，δ
b
为背景区域的标准差。8.一种多联动野生动物在线监测系统，其特征在于，系统采用如权利要求1至7任意一项所述的多联动野生动物在线监测方法；系统包括：图像采集模块、数据处理模块以及终端显示模块；图像采集模块用于实时获取监测场景图像，当检测到异常热源时，进行标注，并截取当前帧画面，同时将当前位置发送给数据处理模块；数据处理模块用于根据位置信息，控制图像采集模块抓取当前热源图像；数据处理模块还对抓取到的热源图像进行预处理，对满足质量要求的图像进行识别，判断是否为野生动物，如果是野生动物则进行分类标注；根据设置权重选择判断是否跟踪当前物种活动轨迹；如需要跟踪，则启动云台继续跟踪，并通过终端显示模块实时显示当前跟踪场景画面。9.根据权利要求8所述的多联动野生动物在线监测系统，其特征在于，图像采集模块采用可见光和红外热成像摄像机；可见光和红外热成像摄像机选用非制冷焦平面阵列vox探测器，可见光摄像机选用背照式超低照度星光级cmos芯片。10.根据权利要求8所述的多联动野生动物在线监测系统，其特征在于，还包括：用户设置模块；用户设置模块用于设置系统工作状态，支持设置当前监控画面中不同物种动物的监测权重，根据权重最高的物种进行轨迹跟踪；支持预定义位置滤除功能；支持跨多设备联动监测功能。

技术总结
本发明提供一种多联动野生动物在线监测方法及系统，涉及野生动物智能监测领域，实时获取监测场景图像，当检测到异常热源时，进行标注，并截取当前帧画面，同时将当前位置进行上报；根据位置信息，控制图像采集模块抓取当前热源图像；对抓取到的热源图像进行预处理，对满足质量要求的图像进行识别，判断是否为野生动物，如果是野生动物则进行分类标注；根据设置权重选择判断是否跟踪当前物种活动轨迹；如需要跟踪，则启动云台继续跟踪，并实时显示当前跟踪场景画面。方法充分利用可见光和热成像技术，通过对系统的合理布局能够实现对野生动物大范围、长时间、多角度的实时监测，满足对野生动物监控保护工作的要求。野生动物监控保护工作的要求。野生动物监控保护工作的要求。


技术研发人员：张同勋 李鹏 郭长林 赵天顺
受保护的技术使用者：济南和普威视光电技术有限公司
技术研发日：2023.05.31
技术公布日：2023/8/6