笔迹显示方法、装置、电子设备及计算机可读存储介质与流程

1.本技术实施例涉及数据显示
技术领域：
：，尤其涉及一种笔迹显示方法、装置、电子设备及计算机可读存储介质。
背景技术：
：：2.随着互联网技术和智能电子设备的不断发展，在线学习已经成为一种主流的学习方式，在进行在线学习时，通常需要实时跟踪用户的书写内容并显示在移动终端上。现有技术中通常通过以下方式实时跟踪用户的书写内容并显示：使用带有电磁感应技术的数码笔，从而通过电磁感应技术跟踪数码笔的书写内容并显示在交互电子设备上。这种技术的缺点是需要特殊的数码笔和电子设备，并且可能会受到电磁干扰的影响，从而导致笔迹显示并不准确。技术实现要素：3.本技术实施例提供一种笔迹显示方法、装置、电子设备及计算机可读存储介质，可实现无需依赖特殊硬件就可以准确地在移动终端进行笔迹显示的目的。4.本技术实施例一方面提供了一种笔迹显示方法，包括：5.获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；6.提取所述书写笔迹图中笔尖的图像位置信息；7.根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；8.在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。9.本技术实施例一方面还提供了一种笔迹显示装置，包括：10.图像获取模块，用于获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的多帧书写笔迹图；11.图像获取模块，用于获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；12.特征提取模块，用于提取所述书写笔迹图中笔尖的图像位置信息；13.笔迹预测模块，用于根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；14.笔迹显示模块，用于在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。15.本技术实施例一方面还提供了一种电子设备，包括：存储器和处理器；所述存储器存储有可执行程序代码；与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如上述实施例提供的笔迹显示方法。16.本技术实施例一方面还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现上述实施例提供的笔迹显示方法。17.从上述本技术各实施例可知，通过获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。本技术实施例无需特殊的数码笔和电子设备，通过获取书写笔迹图，进而提取笔尖的图像位置信息，再基于笔尖的图像位置信息确定笔尖的实际位置，最后根据实际位置在移动终端中可书写对象的电子文档上显示书写笔迹，实现了无需依赖特殊硬件就可以在移动终端中准确地进行笔迹显示的目的。附图说明18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。19.图1为本技术一实施例提供的笔迹显示方法的实现流程图；20.图2a为本技术一实施例提供的摄像头拍摄显示镜中成像的可书写对象的书写信息的示例图；21.图2b为本技术一实施例提供的显示镜的侧面立体示例图；22.图3为本技术一实施例提供的笔迹显示装置的结构示意图；23.图4为本技术一实施例提供的电子设备的硬件结构示意图。具体实施方式24.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。25.参见图1，图1为本技术一实施例提供的笔迹显示方法的实现流程图。该方法可应用于电子设备中，该电子设备可以为便携式的或固定安装于预置位置的，如图1所示，该方法具体包括：26.步骤s11，获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；27.本实施例中，移动终端为可移动的电子设备，可移动终端内置一个或至少两个摄像头，移动终端可以安装操作系统以及多种应用软件。例如，移动终端为平板电脑。28.本实施例中，显示镜是镜子的一种，例如，显示镜为反光镜。29.本实施例中，可书写对象可以是教材、试卷、笔记本等纸质材料。用户可以通过铅笔、钢笔、水性笔等常用文具在可书写对象上进行书写。30.具体的，显示镜安装于移动终端上，显示镜的镜面与可书写对象成一定角度设置(例如，显示镜的镜面与可书写对象平行设置)。因此，可书写对象可在显示镜中成像，当用户在可书写对象上进行书写时，书写信息也在显示镜中成像。31.本实施例中，摄像头对显示镜进行连续或者间隔预设时间拍摄，从而能够采集到不同时刻显示镜内成像的可书写对象的书写信息，即书写笔迹图，本实施例中，可以采集多帧书写笔迹图。32.本实施例中，书写笔迹图可包含用户手持书写工具(如笔)以及用户书写的内容。33.请参见图2a和图2b，图2a为摄像头拍摄显示镜中成像的可书写对象的书写信息的示例图，图2b为显示镜的侧面立体示例图。34.在图2a中，可书写对象为试卷，用户手持笔在试卷上书写，显示镜安装于平板电脑的摄像头前，平板电脑上的显示镜如图2b所示，显示镜的镜面为斜面的，从而可以将可书写对象(即试卷)的书写信息在显示镜中成像，并通过移动终端的摄像头直接拍摄显示镜中的内容，采集到可书写对象的书写信息的图像。35.步骤s12，提取所述书写笔迹图中笔尖的图像位置信息；36.本实施例中，可以通过目标检测算法提取书写笔迹图中笔尖的图像位置信息，具体的，当通过步骤s11获取到多帧书写笔迹图时，采集每帧书写笔迹图中笔尖的图像位置信息。37.具体的，可以使用训练好的笔尖检测模型对书写笔迹图进行笔尖检测，将书写笔迹图输入训练好的笔尖检测模型中，进行笔尖检测，训练好的笔尖检测模型输出检测到的书写笔迹图中笔尖的图像位置信息，例如，据目标检测结果，从边界框中提取出笔尖的位置信息。使用边界框的中心坐标位置作为笔尖位置。38.进一步的，在本发明一可选实施例中，所述提取所述书写笔迹图中笔尖的图像位置信息，包括：39.通过yolo算法提取所述书写笔迹图中笔尖的图像位置信息。40.具体的，可以通过采集各种不同类型的笔尖训练图(如不同笔尖处于不同环境、以不同角度进行显示的笔尖的图)并对笔尖位置进行标注，通过笔尖训练图对yolo模型进行有监督的训练，从而使得训练得到的yolo模型能够准确的检测和识别笔尖。当使用训练好的yolo模型对书写笔迹图进行模型预测时，能够检测和识别书写笔迹图中笔尖的位置。具体的，yolo模型输出一系列边界框，每个边界框包含一个概率值和对应的笔尖位置。对yolo模型输出的边界框进行后处理(包括筛选出置信度高的边界框)，应用非极大值抑制和消除冗余的边界框，从处理后的边界框中提取出笔尖的位置信息，再以边界框的中心坐标为笔尖的位置。41.通过上述步骤，yolo算法可以检测和识别笔尖在图像中的位置，并提取出相应的坐标信息，以便在后续的处理中进行跟踪和绘制等操作。42.或者，在得到边界框之后，在边界框区域内，应用特征提取算法surf来提取关键点。43.将当前时刻的关键点的特征与之前时刻的关键点的特征进行匹配，以找到对应的笔尖的图像位置信息。具体使用基于最近邻算法来进行特征匹配。44.具体的，可以使用匹配到的特征点的坐标来表示笔尖的图像位置信息。本实施例中，笔尖的图像位置信息也可以称为笔尖观测值(即通过摄像头观测的方式获取到的笔尖的位置)，在下述描述中，两者表示相同的意思。45.进一步的，在其他可选实施例中，所述提取多帧所述书写笔迹图中笔尖的位置信息之前，所述方法还包括：46.对所述书写笔迹图进行图像矫正处理。47.本实施例中，所述对所述书写笔迹图进行矫正处理包括：对所述书写笔迹图进行梯形校正。具体的梯形校正算法可以从现有的梯形校正公式中选取任意梯形校正公式进行梯形校正。48.当具体实施时，获取到多帧书写笔迹图时，可以对每帧书写笔迹图进行图像矫正处理，也可以对部分书写笔迹图进行图像矫正处理。49.本实施例中，通过对书写笔迹图进行图像矫正处理，可以消除图像畸变，将书写笔迹图矫正为矩形，使得拍摄到的书写笔迹图最大程度与真实书写内容保持一致，提高笔迹显示的准确性。50.步骤s13，根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；51.具体的，可以根据goturn跟踪算法或者boostingtracker等算法跟踪书写笔迹图中笔尖的预测位置，再对图像位置信息和预测位置进行加权计算，确定书写笔迹图中笔尖的实际位置。52.具体实施时，在获取到多帧书写笔迹图之后，确定每张书写笔迹图中笔尖的实际位置。53.本实施例中，通过进行实时跟踪获取笔尖的实际位置，不仅可以准确获取笔尖的位置，而且可以及时地将笔尖实际位置进行显示，增强笔迹显示的时效性。54.进一步的，在跟踪多帧书写笔迹图中笔尖的实际位置时，可以对跟踪精度进行评估，即估计跟踪结果与真实值之间的误差，具体的，可以使用均方根误差(rmse)、平均绝对误差(mae)、误差概率分布等误差指标来评估跟踪精度，根据跟踪精度对跟踪方式进行优化。55.进一步的，在跟踪书写笔迹图中笔尖的实际位置时，还可以对跟踪鲁棒性进行评估，即评估跟踪方法在面对复杂情况(例如光照变化、噪声干扰、遮挡等情况)时的表现。56.在得到评估结果之后，可以对跟踪方法进行优化，比如调整跟踪算法的参数、使用更高分辨率的摄像头获取高分辨率的图像等方式提高跟踪的精度和鲁棒性，从而提高笔迹显示的准确的。57.进一步的，在本发明一可选实施例中，所述根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置，包括：58.(一)获取卡尔曼滤波器包括的笔尖的运动学方程、笔尖状态向量、笔尖的状态转移矩阵、笔尖的位置观测方程、过程噪声协方差矩阵、状态协方差矩阵；59.具体的，笔尖的运动学方程可以是根据笔尖的速度和加速度等信息建立的。笔尖的运动学方程描述了笔尖在空间中的运动轨迹和速度变化。具体的，可以将笔尖的运动学方程表示为二维或三维的参数方程，具体形式取决于坐标系和问题的设定。60.例如，在二维情况下，假设笔尖的运动沿着平面内的x和y轴进行。笔尖的位置可以用笔的横坐标x和纵坐标y表示，速度可以用笔尖的横向速度vx和纵向速度vy表示。笔尖的运动学方程可以为如下形式：61.x(t)＝x0+vx*t62.y(t)＝y0+vy*t63.其中，x0和y0表示笔尖的初始位置，t表示时间。方程的右侧(即x0+vx*t，和y0+vy*t)是笔尖的位置随时间变化的表达式。64.又例如，在三维情况下，笔尖的运动涉及到三个坐标轴，笔尖的运动学方程可以类似地表示为：65.x(t)＝x0+vx*t66.y(t)＝y0+vy*t67.z(t)＝z0+vz*t68.其中，x0、y0和z0表示笔尖的初始位置，vx、vy和vz表示笔尖的横向、纵向和垂直方向的速度，t表示时间。以上这些方程描述了笔尖的位置随时间的变化规律，用于模拟和预测笔尖的运动轨迹。69.其中，笔尖状态向量x(t)表示笔尖的状态，是笔尖的状态估计的向量化表示，x(t)＝[x,y,vx,vy]^t(其中，x和y笔尖的图像位置坐标)，在本实施例中，笔尖状态向量包括笔尖的位置参数和速度参数。[0070]其中，可以通过对摄像头获取到的连续的书写笔迹图像帧之间的笔尖位置进行跟踪来估计笔尖的速度。例如，通过两个连续时刻的位置观测值来估计速度。假设t和t-1时刻的位置观测值分别为z(t)和z(t-1)，则速度可以通过以下公式计算：[0071]vx＝(x-x_prev)/dt[0072]vy＝(y-y_prev)/dt[0073]其中，x和y是当前时刻t的位置观测值，x_prev和y_prev是上一时刻t-1的位置观测值，dt是两个时刻之间的时间间隔。[0074]通过计算两个连续时刻的位置观测值之差，并除以时间间隔，可以得到笔尖在各个方向上的速度估计值。[0075]笔尖的状态转移矩阵描述笔尖在时间上的动态变化规律，该方程将笔尖的当前时刻的状态估计值转换为下一个时刻的预测值(即对笔尖位置的预测值)，状态转移矩阵可以根据系统的运动学方程进行推导或估计。[0076]过程噪声协方差矩阵表示过程噪声的协方差，它描述了笔尖状态转移的不确定性。[0077]状态协方差矩阵表示笔尖的状态估计值与真实值之间的误差协方差，它描述了笔尖的状态估计的不确定性。[0078]笔尖的位置观测方程描述笔尖位置的观测值(即笔尖的图像位置信息)与预测状态(即通过笔尖的状态转移矩阵预测的笔尖位置的预测值)之间的关系。通过比较观测值和预测值之间的差异，可以计算出状态估计的误差，即观测误差(用于衡量观测数据与系统模型的一致性)。[0079]具体的，笔尖的位置观测方程表示为：[0080]z(t)＝h*x(t)+v[0081]其中，z(t)表示笔尖位置的观测值(观测数据主要包括笔尖的位置坐标，也包含速度信息)，h是观测矩阵，x(t)是笔尖的状态向量，是笔尖的状态估计的向量化表示，x(t)＝[x,y,vx,vy]^t(其中，x和y笔尖的图像位置坐标)，v是观测误差。观测矩阵h定义了如何从笔尖的状态向量中提取出与观测数据相关的部分。[0082]在笔尖的位置观测方程中，观测矩阵h的构造通常是基于摄像头的特性和测量方式。[0083]构造观测矩阵h的方法：使用特征点匹配的方法来获取笔尖的位置，观测矩阵h通过特征点的坐标映射关系来构造。例如，在参考图像和当前图像中提取了特征点，并找到了它们之间的对应关系，可以使用这些对应关系构造观测矩阵h，将系统状态向量中的特征点位置映射到观测向量中。通过特征点的匹配关系，可以得到一组对应的特征点坐标，其中一组是参考图像中的特征点坐标，另一组是当前图像中的特征点坐标。观测矩阵h的构造就是将这两组特征点坐标映射到系统状态向量中的位置分量。具体而言，观测矩阵h是一个2xn的矩阵，其中n表示特征点的数量。通过这样的观测矩阵h，可以将系统状态向量中的位置分量与特征点的坐标进行对应。[0084]在通过摄像头测量笔尖位置时，观测误差v通常是由摄像头的测量误差引起的。摄像头测量的过程中存在各种误差来源，例如图像传感器的噪声、镜头畸变、摄像头的定位误差、图像处理算法的误差等。观测误差v被假设为服从高斯分布的随机噪声。高斯分布具有对称的钟形曲线特征，通过均值和方差来描述其统计特性。观测误差的取值主要由其均值和方差确定。[0085]对于摄像头测量，观测误差的均值通过校准或先验知识进行估计。通过进行一系列重复测量，并对测量结果进行统计分析，可以计算出观测误差的平均值。[0086]观测误差的方差可以根据实际测量数据进行估计。通过对多次测量的结果进行方差分析，可以获得观测误差的方差。[0087]进一步的，卡尔曼滤波器还可以包括观测噪声协方差矩阵，观测噪声协方差矩阵表示笔尖的观测值(即笔尖的图像位置信息)的噪声协方差，用于考虑测量误差。[0088]状态协方差矩阵表示笔尖的状态估计值与真实值之间的误差协方差，它描述了笔尖的状态估计的不确定性。[0089](二)对所述笔尖状态向量和所述状态协方差矩阵进行初始化。[0090]本实施例中，在开始跟踪之前，对卡尔曼滤波器进行初始化，具体是对所述笔尖状态向量和所述状态协方差矩阵进行初始化。[0091]进行初始化用于启动卡尔曼滤波器的运行并进行后续的状态更新和预测。其通常由两个部分组成：初始化笔尖状态向量x(t)和状态协方差矩阵。[0092]对于笔尖状态向量：笔尖状态向量是描述笔尖运动状态的变量集合，它包含了需要跟踪的笔尖的相关状态信息，包含笔尖的位置、速度和加速度等信息。在初始化时，可以根据初始观测(通过摄像头拍摄笔尖图像确定的笔尖位置)提供一个初始的状态向量。例如，在笔迹同步绘制的应用场景中，在开始绘制之前，让用户在一个特定区域内移动笔尖，以便初始化卡尔曼滤波器的状态估计。具体可以使用二维坐标表示笔尖的状态向量，即：[0093]x(t)＝[x,y,vx,vy]^t[0094]其中，x和y表示笔尖在平面上的位置坐标，vx和vy表示笔尖在x和y方向上的速度。[0095]在后续操作中，卡尔曼滤波器估计笔尖的位置和速度，不断更新状态向量x(t)，并预测下一时刻的笔尖状态。[0096]状态协方差矩阵：状态协方差矩阵表示对笔尖运动状态估计的不确定性程度。状态协方差矩阵是一个对角矩阵，每个对角元素表示对应状态量的方差。在初始阶段，可以将协方差矩阵的对角元素设置为较大的值，表示对初始估计的不确定性较高。[0097]状态协方差矩阵可以表示为p，是一个对称的正定矩阵。对于跟踪笔尖的状态估计，可以使用如下形式的状态协方差矩阵：[0098]p(t)＝e[(x(t)-x_hat(t))(x(t)-x_hat(t))^t][0099]其中，x(t)表示笔尖的实际状态向量，x_hat(t)表示通过后续预测步骤和更新步骤得到的笔尖的估计状态向量。[0100]状态协方差矩阵p表示状态估计的不确定性，其对角线上的元素表示各个状态分量的方差，而非对角线上的元素表示各个状态分量之间的协方差。通过更新状态协方差矩阵，可以调整状态估计的准确性。具体的，在后续操作中，状态协方差矩阵会根据预测和观测的误差进行更新，以逐步减小状态估计的不确定性。这样可以提高状态估计的精度和稳定性，使得跟踪结果更加准确和可靠。[0101](三)利用所述笔尖的状态转移矩阵预测所述书写笔迹图中笔尖的预测位置，利用所述状态转移矩阵和所述过程噪声协方差矩阵更新所述状态协方差矩阵；[0102]具体的，预测书写笔迹图中笔尖的预测位置包括：使用笔尖的状态转移矩阵中的运动学方程来预测下一个时刻的笔尖位置。运动学方程描述了笔尖的运动规律，可以是线性或非线性的。对于线性模型，使用状态转移矩阵将当前时刻的状态估计映射到下一个时刻。使用状态转移矩阵和过程噪声协方差矩阵来更新状态协方差矩阵。[0103]1)针对线性的系统模型(即当笔尖运动为匀速运动时)，线性模型下的状态转移通过状态转移矩阵来实现。状态转移矩阵描述了系统状态在时间上的演化规律，它将当前时刻的状态估计转换为下一个时刻的状态预测。状态转移矩阵是一个方阵，其维度与状态向量的维度相同。假设当前时刻的状态向量为x_k，下一个时刻的状态预测为x_{k+1}，则状态转移矩阵将这两个状态向量联系起来，表示为：[0104]x_{k+1}＝f*x_k[0105]其中，*表示矩阵乘法。[0106]在线性模型中，状态转移矩阵是常数，不随时间变化。它捕捉了系统的线性演化规律，如匀速直线运动或恒定加速度运动。根据具体的应用场景和问题需求，具体可以根据物理模型或实验数据确定状态转移矩阵的值。[0107]2)针对非线性的系统模型(即当笔尖运动为非匀速运动时)，可以使用状态转移函数(也称为过程模型)来描述状态的非线性演化。状态转移函数将当前时刻的状态估计作为输入，并返回下一个时刻的状态预测。具体步骤如下：[0108]获取预定义的状态转移函数：根据具体的非线性系统模型，定义状态转移函数f(x_k)。该函数描述了当前时刻状态估计x_k如何演化为下一个时刻状态预测x_{k+1}。[0109]根据状态转移函数进行预测：利用状态转移函数f(x_k)和当前时刻的状态估计x_k，计算下一个时刻的状态预测x_{k+1}。[0110]在非线性模型下，状态转移函数f(x_k)可以是任意的非线性函数，如多项式函数、三角函数等。具体可以根据系统的动力学特性和实验数据来确定状态转移函数。[0111]本实施例中，通过使用状态转移矩阵和过程噪声协方差矩阵，更新状态协方差矩阵，从而反映对笔尖的状态预测的不确定性的演化。具体包括：[0112]第一步：预测状态协方差矩阵：[0113]根据当前时刻的状态协方差矩阵p_k和状态转移矩阵f，计算预测的状态协方差矩阵p_pred＝f*p_k*f^t。[0114]第二步：更新过程噪声协方差矩阵：[0115]在预测阶段，需更新过程噪声协方差矩阵，它表示了系统模型中的未建模的噪声和不确定性。[0116]过程噪声协方差矩阵通常是根据实际系统的特性和经验进行估计和调整的。[0117]第三步：更新状态协方差矩阵：[0118]利用卡尔曼增益k，通过以下公式更新状态协方差矩阵：[0119]p_upd＝(i-k*h)*p_pred。[0120]其中，i是单位矩阵，h是观测矩阵，k是卡尔曼增益，p_upd是更新后的状态协方差矩阵，p_pred是更新前预测的状态协方差矩阵。[0121]这个过程实现了状态协方差矩阵的演化和更新，通过动态地调整状态协方差矩阵，可以更准确地估计状态的不确定性，提高跟踪算法的鲁棒性和准确性。[0122](四)利用卡尔曼增益和所述书写笔迹图中笔尖的图像位置信息和所述卡尔曼增益更新所述书写笔迹图中笔尖的预测位置。[0123]本实施例中，根据书写笔迹图中笔尖的图像位置信息和计算得到的卡尔曼增益和卡尔曼增益更新状态估计(即更新书写笔迹图中笔尖的预测位置)。[0124]进一步的，在本实施例中，还包括再次更新状态协方差矩阵。[0125]具体的：使用观测矩阵将观测值映射到状态空间，计算观测残差(观测与预测的差异)，然后通过卡尔曼增益来更新对笔尖的状态估计和状态协方差矩阵。[0126]观测残差是指观测值与预测的观测值之间的差异或偏差。它是通过将预测的观测值与实际观测值之间的差异计算得出的。观测残差用于衡量预测值与观测值之间的差异，从而评估预测的准确性。[0127]观测残差可以表示为：观测残差＝测量值-预测值[0128]卡尔曼增益用于融合笔尖的预测值和观测值，即通过比较预测值与观测值(即笔尖的图像位置信息)的权重来确定更新状态估计值的权重。[0129]计算观测残差包括：[0130](1)将观测值与预测值(即利用笔尖的状态转移矩阵预测的书写笔迹图中笔尖的预测位置)进行比较，计算残差。可以采用观测值减去预测值的方式来计算残差。[0131]具体的，还可以根据残差进行后续处理：根据残差的大小和特征，进行一些后续处理，如调整卡尔曼滤波器的参数、更新状态估计、调整位置观测方程和运动学方程等，以优化跟踪算法的性能和准确度。[0132]本实施例中，卡尔曼增益是根据观测残差协方差矩阵和预测的误差协方差矩阵来计算的，它用于调整预测值和观测值之间的权重，以获得更准确的估计值。[0133]计算卡尔曼增益的具体步骤如下：[0134]第一步：计算观测残差。[0135]第二步：计算预测的误差协方差矩阵。预测的误差协方差矩阵表示了预测值与真实值之间的误差情况。它由卡尔曼滤波器的状态协方差矩阵和过程噪声协方差矩阵通过状态转移矩阵计算得到。[0136]第三步：计算卡尔曼增益。卡尔曼增益通过将预测的误差协方差矩阵与观测残差协方差矩阵进行加权计算得到。卡尔曼增益可以表示为：[0137]卡尔曼增益＝预测的误差协方差矩阵*(观测残差协方差矩阵的逆)[0138]卡尔曼增益反映了观测残差对于状态估计的影响程度。当观测残差较大时，卡尔曼增益较小，更多地依赖预测值；当观测误残差较小时，卡尔曼增益较大，更多地依赖观测值。观测残差协方差矩阵用于描述观测值的不确定性和噪声特性，影响卡尔曼滤波器对观测值的权重分配。[0139]卡尔曼增益的计算可以帮助调整预测值和观测值之间的权重，使得跟踪算法能够更好地融合预测和测量信息，得到更准确的状态估计值。[0140](2)使用卡尔曼增益将观测残差融合到预测值中，得到更新后的状态估计。具体包括：[0141]第一步：计算卡尔曼增益。根据上述提到的方法，计算得到卡尔曼增益。[0142]第二步：更新状态估计。将预测值与卡尔曼增益加权相加，得到更新后的状态估计。更新后的状态估计表示为：[0143]更新后的状态估计＝预测值+卡尔曼增益*观测残差[0144]这一步骤将观测差根据卡尔曼增益的权重融合到预测值中，得到更准确的状态估计值。[0145]第三步：更新状态协方差矩阵。通过卡尔曼增益来更新状态协方差矩阵，以反映融合后的估计值的准确性。更新后的状态协方差矩阵可以表示为：[0146]更新后的状态协方差矩阵＝(单位矩阵-卡尔曼增益*观测残差的转置)*预测的误差协方差矩阵[0147]这一步骤将观测残差的影响反映到状态协方差矩阵中，以更新估计的准确性。[0148]具体实施时，针对每帧书写笔迹图获取笔尖的实际位置时都重复执行上述预测和更新步骤，根据当前的状态估计和观测值进行迭代优化。每一步都会更新状态估计和状态协方差矩阵，以逐渐逼近真实的笔尖位置。[0149]通过不断的预测和更新，可以提供对笔尖位置的估计(即对笔尖实际位置的预测)，并随着时间的推移逐渐改善估计的准确性。实现对笔尖运动的跟踪和预测，为实现笔迹的同步绘制奠定基础。[0150]步骤s14，在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。[0151]本实施例中，可书写对象的电子文档可以是存储在本地存储空间或者是远端云服务器中的，根据用户触发的显示指令调取可书写对象的电子文档进行显示的。[0152]进一步的，在本发明一可选实施例中，所述在所述移动终端中显示所述可书写对象的电子文档，包括：[0153]通过所述书写笔迹图获取所述可书写对象的图像信息；[0154]通过预训练的书写对象识别模型识别所述可书写对象的图像信息，得到所述可书写对象的特征信息；[0155]根据所述可书写对象的特征信息调取所述可书写对象的电子文档，在所述移动终端中显示所述可书写对象的电子文档。[0156]本实施例中，由于多帧书写笔迹图是实时采集用户在可书写对象上书写时得到的，因此，获取到的书写笔迹图包含可书写对象的图像信息。[0157]本实施例中，预训练的书写对象识别模型是通过训练得到的，可书写对象的特征信息是可书写对象的名称信息和页码信息。[0158]具体的，可以获取可书写对象(如未标记的不同年级的教材)扫描图像数据，通过扫描图像数据对预构建的书写对象识别模型进行模型训练，使得训练得到的预训练的书写对象识别模型，能够根据输入的特征图输出特征图的特征信息。例如，根据输入的教材图像，输出教材图像的教材名称和教材页码。[0159]本实施例中，根据所述可书写对象的特征信息调取所述可书写对象的电子文档，在所述移动终端中显示所述可书写对象的电子文档，包括：从本地存储或者远端服务器中调取与所述可书写对象的特征信息对应的电子文档，在所述移动终端中显示该电子文档。[0160]例如，可书写对象的特征信息为，人教版小学数学二年级教材，第十页，则调取人教版小学数学二年级教材第十页的电子文档，在移动终端中显示该第十页的pdf页面。[0161]在其他可选实施例中，也可以是在采集可书写对象的书写信息之前，就采集可书写对象的图像，进而通过预训练的书写对象识别模型识别可书写对象的图像信息，得到可书写对象的特征信息，再根据可书写对象的特征信息调取可书写对象的电子文档进行显示的。[0162]进一步的，在本发明一可选实施例中，所述根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹，包括：[0163]将所述实际位置通过坐标映射转换为所述移动终端中所述可书写对象的电子文档上的坐标信息；[0164]根据所述坐标信息在所述可书写对象的电子文档中显示书写笔迹。[0165]在本实施中，将得到的笔尖的实际位置(即书写笔迹图中在可书写对象上的实际位置，该实际位置是基于移动终端的屏幕的)经过坐标映射转换为移动终端中可书写对象的电子文档(如电子教材)上的坐标信息，再在这些坐标信息处标记相应笔迹，得到可书写对象的电子文档中的书写笔迹。[0166]具体的，将所述实际位置通过坐标映射转换为所述移动终端中所述可书写对象的电子文档上的坐标信息，包括：[0167]第一步：确定移动终端(如平板电脑)屏幕坐标系和目标电子文档坐标系。移动终端屏幕坐标系是指移动终端屏幕上的坐标系统，目标电子文档坐标系是指可书写对象的电子文档中的坐标系统。[0168]第二步：获取移动终端屏幕坐标系和电子文档坐标系的坐标对应关系。具体可以通过获取几个已知位置的对应坐标点，建立坐标变换矩阵。[0169]第三步：实时坐标转换。对于书写笔迹图中笔尖的实际位置，将其坐标通过坐标对应关系，从移动终端屏幕坐标系转换到电子文档坐标系。具体可以通过矩阵运算算法实现。[0170]根据所述坐标信息在所述可书写对象的电子文档中显示书写笔迹包括：将转换后的笔尖位置应用到电子文档中，以实现在对应位置上的绘制。[0171]本实施例中，针对多帧书写笔迹图，笔尖的多个实际位置组成笔尖的运动轨迹，则针对每帧书写笔迹图执行上述操作，能够得到笔尖的运动轨迹在可书写对象的电子文档中进行实时绘制。[0172]进一步的，在本发明一可选实施例中，所述可书写对象包含题目，所述根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹之后，所述方法还包括：[0173]当通过多帧所述书写笔记图得到多个书写笔迹时，通过预训练的内容识别模型识别多个所述书写笔迹，得到书写内容；[0174]根据所述书写内容判断所述可书写对象中题目的答题结果。[0175]本实施例中，可书写对象包含题目，即可书写对象的内容包含题目，例如，可书写对象可以为包含题目的教材，或者是包含选择题的试卷。[0176]本实施例中，答题结果可以是题目正确或者错误的结果，也可以是评分结果。[0177]本实施例中，预训练的内容识别模型可以通过以下步骤得到：[0178]采集实际用户书写数据，对用户书写数据进行数据打标；[0179]将用户书写数据与数据达标结果作为训练数据对预构建的深度学习模型进行有监督的学习，得到预训练的内容识别模型。[0180]具体的，采集到的实际用户书写数据可以为图像数据，对用户书写数据进行数据达标即标注用户书写数据的内容。例如，采集到包含不同用户在不同场景下书写的答题内容(如选择题答案“a”或“b”，或填空题答案“drink”或“愉快”)的图像，并标注每张图像中存在的真实答题内容(如标注数据为“a”或“b”或“drink”或“愉快”)。[0181]本实施例中，预训练的内容识别模型可以进行内容识别。具体的，将跟踪的运动结果输入至预训练的内容识别模型，得到书写内容(如a或b或c或d或hello)。[0182]本实施例中，根据所述书写内容判断所述可书写对象中题目的答题结果，包括：获取本地存储空间或远端服务器中存储的题目的答案，将答案与书写内容进行匹配，确定答题结果。[0183]例如，某试卷中存在5个题目，依次确定该5个题目的书写内容为aabbc，进而依次获取本地存储空间或远端服务器中存储的该试卷的5个题目的答案aabbb，将该5个题目的答案与该5个题目的书写内容进行匹配，得到答题结果为前四题正确，第五题错误，分数为80分。[0184]其他可选实施例中，预训练的内容识别模型识别出用户书写的内容及坐标位置，根据预构建的书写对象识别模型识别显示的可书写对象(如教材)的页面信息(如页码)及提前预置的可书写对象(如教材)的信息(如每一页，每一题的位置信息和对应题目答案)，再将相应位置的题目的答案与用户书写答案进行比较，从而得到答题结果。[0185]其他可选实施例中，通过预训练的内容识别模型识别所述多个书写笔迹，得到书写内容之后，还可以通过预训练的内容识别模型识别题目的题号，进而将识别到的题号与书写内容作为一组识别结果与本地存储空间或远端服务器中存储的题目的题号和答案进行匹配，得到答题结果。[0186]本实施例中，通过识别多个书写笔迹，得到书写内容，并判断可书写对象中题目的答案可以实现快速评价题目答案以及评分的目的。[0187]本技术实施例中，通过获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。本技术实施例无需特殊的数码笔和电子设备，通过获取书写笔迹图，进而提取笔尖的图像位置信息，再基于笔尖的图像位置信息确定笔尖的实际位置，最后根据实际位置在移动终端中可书写对象的电子文档上显示书写笔迹，实现了无需依赖特殊硬件就可以在移动终端中准确地进行笔迹显示的目的。[0188]参见图3，本技术一实施例提供的笔迹显示装置的结构示意图。为了便于说明，仅示出了与本技术实施例相关的部分。该装置可设置于电子设备中，该电子设备可以为便携式的或固定安装于预置位置的。该装置包括：[0189]图像获取模块301，用于获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；[0190]特征提取模块302，用于提取所述书写笔迹图中笔尖的图像位置信息；[0191]笔迹预测模块303，用于根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；[0192]笔迹显示模块304，用于在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。[0193]详细地，本技术实施例中所述笔迹显示装置中所述的各模块在使用时采用与上述图1中所述的笔迹显示方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。[0194]本技术实施例中，通过获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。本技术实施例无需特殊的数码笔和电子设备，通过获取书写笔迹图，进而提取笔尖的图像位置信息，再基于笔尖的图像位置信息确定笔尖的实际位置，最后根据实际位置在移动终端中可书写对象的电子文档上显示书写笔迹，实现了无需依赖特殊硬件就可以在移动终端中准确地进行笔迹显示的目的。[0195]参见图4，本技术一实施例提供的电子设备的硬件结构示意图。[0196]示例性的，电子设备可以为移动或便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的，电子设备可以为移动电话或智能电话(例如，基于iphonetm，基于androidtm的电话)，便携式游戏设备(例如nintendodstm，playstationportabletm，gameboyadvancetm，iphonetm)、膝上型电脑、pda、便携式互联网设备、音乐播放器以及数据存储设备，其他手持设备以及诸如手表、耳机、吊坠、耳机等，电子设备还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或智能手表的头戴式设备(hmd))。[0197]电子设备还可以是多个电子设备中的任何一个，多个电子设备包括但不限于蜂窝电话、智能电话、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg-1或mpeg-2)音频层3(mp3)播放器，便携式医疗设备以及数码相机及其组合。[0198]在一些情况下，电子设备可以执行多种功能(例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫)。如果需要，电子设备可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备的便携式设备。[0199]如图4所示，电子设备10可以包括控制电路，该控制电路可以包括存储和处理电路30。该存储和处理电路30可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本技术实施例不作限制。存储和处理电路30中的处理电路可以用于控制电子设备10的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。[0200]存储和处理电路30可用于运行电子设备10中的软件，例如互联网浏览应用程序，互联网协议语音(voiceoverinternetprotocol，voip)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示器上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备10中的其它功能等，本技术实施例不作限制。[0201]进一步的，该存储器存储有可执行程序代码，与该存储器耦合的处理器，调用该存储器中存储的该可执行程序代码，执行如上述图1所示实施例中描述的笔迹显示方法。[0202]其中，该可执行程序代码包括如上述图3所示实施例中描述的笔迹显示装置中的各个模块，例如：图像获取模块、特征提取模块、笔迹预测模块和笔迹显示模块。[0203]电子设备10还可以包括输入输出电路42。输入输出电路42可用于使电子设备10实现数据的输入和输出，即允许电子设备10从外部设备接收数据和也允许电子设备10将数据从电子设备10输出至外部设备。输入输出电路42可以进一步包括传感器32。传感器32可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等。[0204]输入输出电路42还可以包括一个或多个显示器，例如显示器14。显示器14可以包括液晶显示器，有机发光二极管显示器，电子墨水显示器，等离子显示器，使用其它显示技术的显示器中一种或者几种的组合。显示器14可以包括触摸传感器阵列(即，显示器14可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ito)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本技术实施例不作限制。[0205]电子设备10还可以包括音频组件36。音频组件36可以用于为电子设备10提供音频输入和输出功能。电子设备10中的音频组件36可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。[0206]通信电路38可以用于为电子设备10提供与外部设备通信的能力。通信电路38可以包括模拟和数字输入/输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路38中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路38中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(nearfieldcommunication，nfc)的电路。例如，通信电路38可以包括近场通信天线和近场通信收发器。通信电路38还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。[0207]电子设备10还可以进一步包括电池，电力管理电路和其它输入输出单元40。输入输出单元40可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。[0208]用户可以通过输入输出电路42输入命令来控制电子设备10的操作，并且可以使用输入输出电路42的输出数据以实现接收来自电子设备10的状态信息和其它输出。[0209]进一步的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图4所示实施例中的存储和处理电路30中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的笔迹显示方法。进一步的，该计算机可存储介质还可以是u盘、移动硬盘、只读存储器(rom，read-onlymemory)、ram、磁碟或者光盘等各种可以存储程序代码的介质。[0210]需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。[0211]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。[0212]以上为对本发明所提供的笔迹显示方法、装置及计算机可读存储介质的描述，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。当前第1页12当前第1页12
技术特征：
1.一种笔迹显示方法，其特征在于，所述方法包括：获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。2.根据权利要求1所述的方法，其特征在于，所述根据多帧所述书写笔迹图中笔尖的位置信息和跟踪算法确定多帧所述书写笔迹图中笔尖的运动轨迹，包括：获取卡尔曼滤波器包括的笔尖的运动学方程、笔尖状态向量、笔尖的状态转移矩阵、笔尖的位置观测方程、过程噪声协方差矩阵、状态协方差矩阵；对所述笔尖状态向量和所述状态协方差矩阵进行初始化；利用所述笔尖的状态转移矩阵预测所述书写笔迹图中笔尖的预测位置，利用所述状态转移矩阵和所述过程噪声协方差矩阵更新所述状态协方差矩阵；利用卡尔曼增益和所述书写笔迹图中笔尖的图像位置信息和所述卡尔曼增益更新所述书写笔迹图中笔尖的预测位置。3.根据权利要求1所述的方法，其特征在于，所述提取所述书写笔迹图中笔尖的图像位置信息之前，所述方法还包括：对所述书写笔迹图进行图像矫正处理。4.根据权利要求1所述的方法，其特征在于，所述提取所述书写笔迹图中笔尖的图像位置信息，包括：通过yolo算法提取所述书写笔迹图中笔尖的图像位置信息。5.根据权利要求1所述的方法，其特征在于，所述在所述移动终端中显示所述可书写对象的电子文档，包括：通过所述书写笔迹图获取所述可书写对象的图像信息；通过预训练的书写对象识别模型识别所述可书写对象的图像信息，得到所述可书写对象的特征信息；根据所述可书写对象的特征信息调取所述可书写对象的电子文档，在所述移动终端中显示所述可书写对象的电子文档。6.根据权利要求1所述的方法，其特征在于，所述根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹，包括：将所述实际位置通过坐标映射转换为所述移动终端中所述可书写对象的电子文档上的坐标信息；根据所述坐标信息在所述可书写对象的电子文档中显示书写笔迹。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述可书写对象包含题目，所述根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹之后，所述方法还包括：当通过多帧所述书写笔记图得到多个书写笔迹时，通过预训练的内容识别模型识别多
个所述书写笔迹，得到书写内容；根据所述书写内容判断所述可书写对象中题目的答题结果。8.一种笔迹显示装置，其特征在于，所述装置包括：图像获取模块，用于获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；特征提取模块，用于提取所述书写笔迹图中笔尖的图像位置信息；笔迹预测模块，用于根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；笔迹显示模块，用于在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。9.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器；所述存储器存储有可执行程序代码；与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如权利要求1至7中任一项所述的笔迹显示方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的笔迹显示方法。

技术总结
一种笔迹显示方法、装置、电子设备及计算机可读存储介质，其中，笔迹显示方法，包括：获取移动终端的摄像头拍摄显示镜中成像的基于可书写对象的书写信息得到的书写笔迹图；提取所述书写笔迹图中笔尖的图像位置信息；根据所述书写笔迹图中笔尖的图像位置信息和跟踪算法确定所述书写笔迹图中笔尖的实际位置；在所述移动终端中显示所述可书写对象的电子文档，以及根据所述实际位置在所述可书写对象的电子文档中显示书写笔迹。上述笔迹显示方法、装置、电子设备及计算机可读存储介质可以无需依赖特殊硬件就可以准确地在移动终端进行笔迹显示。显示。显示。


技术研发人员：杨文 丛会苹
受保护的技术使用者：深圳市超像素智能科技有限公司
技术研发日：2023.06.20
技术公布日：2023/10/8