基于关键帧的自定义灯效配置方法及其系统与流程

1.本技术涉及智能化配置技术领域，并且更具体地，涉及一种基于关键帧的自定义灯效配置方法及其系统。


背景技术：

2.近年来，市面上比较流行彩色装饰灯具，其内置一些灯光动态变幻的效果，尤其是一些智能型的装饰彩灯，其可通过app给彩色装饰灯下发控制灯光的命令。但是，现有的装饰彩灯的灯效类型有限，并且，在用户想要自定义灯效时，配置灯效的灵活度不够。
3.因此，期待一种优化的自定义灯效配置方案。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于关键帧的自定义灯效配置方法及其系统，其接受用户输入的灯效手绘曲线图像；以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。这样，可以对用户输入的手绘曲线图进行基于用户意图揣摩的优化，以提高最终的灯效自定义效果。
5.第一方面，提供了一种基于关键帧的自定义灯效配置方法，其包括：接受用户输入的灯效手绘曲线图像；以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。
6.在上述基于关键帧的自定义灯效配置方法中，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率，包括：对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像；对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列；将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵；将所述多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵；将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵；对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像；以及，基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。
7.在上述基于关键帧的自定义灯效配置方法中，对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像，包括：对所述灯效手绘曲线图像进行双线性滤波以得到所述降噪后手绘图像。
8.在上述基于关键帧的自定义灯效配置方法中，对所述降噪后手绘曲线图像进行图
像分块处理以得到手绘曲线图像块的序列，包括：对所述降噪后手绘曲线图像进行图像块均匀划分以得到所述手绘曲线图像块的序列，其中，所述手绘曲线图像块的序列中各个手绘曲线图像块具有相同的尺寸。
9.在上述基于关键帧的自定义灯效配置方法中，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵，包括：使用所述基于卷积神经网络模型的浅层特征提取器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述基于卷积神经网络模型的浅层特征提取器的浅层输出为所述多个手绘曲线图像块特征矩阵。
10.在上述基于关键帧的自定义灯效配置方法中，所述基于卷积神经网络模型的浅层特征提取器包含3-5个卷积层。
11.在上述基于关键帧的自定义灯效配置方法中，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵，包括：将所述手绘曲线图像全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；将所述双向关联矩阵输入sigmoid激活函数以得到双向关联权重矩阵；以及，计算所述双向关联权重矩阵和所述手绘曲线图像全局特征矩阵之间的按位置点乘以得到所述优化手绘曲线图像全局特征矩阵。
12.在上述基于关键帧的自定义灯效配置方法中，对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵，包括：以如下优化公式对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；其中，所述优化公式为：其中，和是所述优化手绘曲线图像全局特征矩阵中各个位置的特征值集合的均值和标准差，是所述优化手绘曲线图像全局特征矩阵的第位置的特征值，且 是所述再优化手绘曲线图像全局特征矩阵的第位置的特征值。
13.在上述基于关键帧的自定义灯效配置方法中，所述解码器包括多个反卷积层。
14.第二方面，提供了一种基于关键帧的自定义灯效配置系统，其包括：图像接受模块，用于接受用户输入的灯效手绘曲线图像；关键帧生成模块，用于以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及插值变化曲率生成模块，用于基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。
15.与现有技术相比，本技术提供的基于关键帧的自定义灯效配置方法及其系统，其接受用户输入的灯效手绘曲线图像；以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。这样，可以对用户输入的手绘曲线图进行基于用户意图揣摩的优化，以提高最终的灯效自定义效果。
附图说明
16.为了更清楚地说明本技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为根据本技术实施例的直线插值变化速率图。
18.图2为根据本技术实施例的曲线插值变化速率图。
19.图3为根据本技术实施例的折线插值变化速率图。
20.图4为根据本技术实施例的自定义插值变化速率图。
21.图5为根据本技术实施例的基于关键帧的自定义灯效配置方法的场景示意图。
22.图6为根据本技术实施例的基于关键帧的自定义灯效配置方法的流程图。
23.图7为根据本技术实施例的基于关键帧的自定义灯效配置方法中步骤130的子步骤的流程图。
24.图8为根据本技术实施例的基于关键帧的自定义灯效配置方法中步骤130的架构示意图。
25.图9为根据本技术实施例的基于关键帧的自定义灯效配置方法中步骤135的子步骤的流程图。
26.图10为根据本技术实施例的基于关键帧的自定义灯效配置系统的框图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.除非另有说明，本技术实施例所使用的所有技术和科学术语与本技术的技术领域的技术人员通常理解的含义相同。本技术中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本技术的范围。
29.在本技术实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
30.需要说明的是，本技术实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本技术的实施例可以除了在这里图示或描述的那些以外的顺序实施。
31.现在市面上比较流行彩色装饰灯具，内置了一些灯光动态变幻的效果。其中智能型的装饰彩灯，可以通过app给灯带下发控制灯光的命令，允许用户自定义动态效果。app下发命令
→
彩灯命令储存器
→
彩灯mcu运算命令
→
彩灯灯珠驱动
→
灯珠发光。关于彩灯灯效的命令定义，行业内流行的是关键帧技术，方便用户设置自定义灯效。
32.针对彩灯灯效的自定义，行业内流行的是关键帧技术，方便用户设置自定义灯效。本领域普通技术人员应知晓，灯光是每时每刻都在发光的，为了肉眼看上去没有闪烁，利用视觉残留效应每秒至少需要24帧。装饰彩灯的发光频率会更高一些，假设以100帧每秒进行发光，某一帧的灯光效果，可以分解为色相(h)、明度(b)、饱和度(s)，如果用户想要设置一个一秒内灯光效果从h1b1s1（第一关键帧）变化为h2b2s2（第二关键帧），不需要设置组成1秒的100帧，每一帧的hsb参数。而是只需要设置第0秒和第1秒的hsb，由mcu自行插值进行计算。
33.特别地，在本技术的技术方案中，引入变化速率的概念，即h1b1s1（第二关键帧）是以什么样的速率变成h2s2b2（第二关键帧），以及图形化的设置方式。本领域普通技术人员应知晓，行业内通用的插值方式是等差插值，即为匀速变化，而且不允许用户自定义。在本技术的技术方案中，以图形的方式提供了多种插值变化速率，并且允许用户使用手绘曲线以自定义变化速率。
34.具体地，在本技术的技术方案中，在默认提供的一些曲线中，如果曲线是直线,如图1所示，则表示等差插值；如果曲线是折线，如图3所示，则表示某一时刻的跳变；如果曲线是曲线，如图2所示，则表示一种更具动感的变化速率。并且，除了选择默认提供的一些曲线，用户可以手绘曲线自定义变化速率，系统通过拟合来进行插值运算。
35.除了选择默认提供的一些曲线，用户可以手绘曲线自定义变化速率。系统通过拟合来进行插值运算。更进一步的，关键帧1到关键帧2，hsb三个参数，是分3个独立的变化速率。例如h均匀从1变到2，s采用曲线速率，b使用跳变，如图4所示。更进一步的，从关键帧1到关键帧2并不是一条单调递增曲线，在值的变化上可以先超出帧2的目标值再返回到目标。
36.在本技术中，一方面：横坐标是递增的，从关键帧1到关键帧2是一种随时间的变化，时间不能倒流。所以曲线的画法上会有限制，在同一横坐标上有且只有一个点。另一方面：关键帧1和关键帧2从曲线图形纵坐标上看，关键帧2的值》关键帧1的值，这只是为了方便演示曲线，实际设置中并无此要求。无论关键帧2的值》关键帧1的值、关键帧2的值=关键帧1的值还是关键帧2的值＜关键帧1的值，都可以根据一条演示曲线进行拟合，例如在计算时水平或垂直翻转曲线，或者旋转曲线等。例如把值先+100%，若是h即+360(因为一整圈色相环是360)，若是s或b即+100，使得关键帧2的值必定》关键帧1的值，然后按照曲线拟合完成计算出中间每个帧的值后，再将每个值减去100%。这些方式在软件上实现起来非常简单。
37.本技术的关键点是：1、曲线图形化的方式表现从关键帧1到关键帧2的插值计算方式。2、允许用户手绘曲线。
38.特别地，在基于用户手绘曲线来生成关键帧1和关键帧2之间的插值变化速率，但因绘图软件的接收输入的偏差以及用户在绘制曲线时会因犹豫或者技巧不够娴熟等问题而导致输入的手绘曲线图与用户意图之间存在偏差，因此，期待一种图像处理方案能够对用户输入的手绘曲线图进行基于用户意图揣摩的优化，以提高最终的灯效自定义效果。
39.具体地，在本技术的技术方案中，首先对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像。应可以理解，用户在绘制曲线时会因犹豫或者技巧不够娴熟等问题会引入诸多图像像素离群值（在图像上表现为图像噪声），因此，在接收到所述灯效手绘曲线图像后，首先对所述灯效手绘曲线图像进行图像降噪，例如，在一个具体实施例中，可对所述灯效手绘曲线图像进行双线性滤波以实现图像降噪。
40.然后，对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列。应可以理解，在所述降噪后手绘曲线图像中曲线可视为由多段子曲线拼接而成，而将所述多段子曲线进行单独优化后再进行整体协同优化则不仅可以降低数据处理量，还可以降低图像分析和处理的难度。因此，在本技术的技术方案中，对所述降噪后手绘曲线图像进行图像分块处理以得到所述手绘曲线图像块的序列。例如，在本技术一个具体的示例中，对所述降噪后手绘曲线图像进行均匀图像块切分以得到所述手绘曲线图像块的序列。
41.进而，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵。也就是，在本技术的技术方案中，以卷积神经网络模型作为特征提取器来捕捉所述各个手绘曲线图像块中的子曲线段的图像特征。这里，本领域普通技术人员应知晓，卷积神经网络模型在提取图像特征方面具有如下特性：浅层特征为边缘、形状、纹理等特征，而深层特征为对象、结构等抽象特征，并且，随着卷积编码的深化，浅层特征会被逐渐淹没甚至消失。因此，在本技术的技术方案中，严格控制所述卷积神经网络模型的卷积层的数量，具体来说，在本技术的技术方案中，所述卷积神经网络模型包含3-5个卷积层，以使得所述卷积神经网络模型能够充分且准确地捕捉各个手绘曲线图像块中的子曲线段的图像浅层特征。
42.在得到所述多个手绘曲线图像块特征矩阵后，将所述多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵。也就是，在提取所述手绘曲线中各个子曲线段的图像特征后，将所述各个子曲线段的图像特征按照图像分块的切分位置重新排列为手绘曲线图像全局特征矩阵。进而，可将所述手绘曲线图像全局特征矩阵通过解码器进行解码生成以得到生成优化手绘曲线图像。
43.特别地，考虑到在本技术的技术方案中，所述手绘曲线图像全局特征矩阵在其空间维度上各个位置的特征值对于基于解码器的解码生成的贡献度不同，因此，为了充分利用所述手绘曲线图像全局特征矩阵的空间特征分布显著性，在本技术技术方案中，在将所述手绘曲线图像全局特征矩阵输入所述解码器进行解码生成之前，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵。这里，通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布，可以提升所述手绘曲线图像全局特征矩阵在空间维度上的整体分布一致性。
44.然而，所述优化手绘曲线图像全局特征矩阵在空间维度上的整体分布一致性又会导致所述优化手绘曲线图像全局特征矩阵的各个局部分布之间存在概率密度维度下的区分度问题，从而影响所述优化手绘曲线图像全局特征矩阵的解码回归的精准度。
45.因此，优选地对所述优化手绘曲线图像全局特征矩阵，例如表示为进行高斯概率密度的流形曲面维度正交化，具体为：其中和是特征值集合 的均值和标准差，且是优化后的所述优化手绘曲线图像全局特征矩阵的第位置的特征值。
46.这里，通过以表达流形曲面的高维特征集合的均值和标准差的平方根来表征曲面
单位切向量模长和单位法向量模长，可以将所述优化手绘曲线图像全局特征矩阵的高维特征流形的流形曲面在切平面和法平面上进行基于单位模长的正交投影，从而基于高斯特征流形几何的基本结构进行高维特征的概率密度的维度重整，以通过提升概率密度的维度正交化来提升优化后的优化手绘曲线图像全局特征矩阵通过所述解码器进行解码生成的精准度。
47.也就是，进一步将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像。在本技术一个具体的示例中，所述解码器包含多个反卷积层以通过相互级联的反卷积操作来进行反卷积解码生成。继而，基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。
48.图5为根据本技术实施例的基于关键帧的自定义灯效配置方法的场景示意图。如图5所示，在该应用场景中，首先，接受用户输入的灯效手绘曲线图像（例如，如图5中所示意的c）；然后，将获取的灯效手绘曲线图像输入至部署有基于关键帧的自定义灯效配置算法的服务器（例如，如图5中所示意的s）中，其中所述服务器能够基于关键帧的自定义灯效配置算法对所述灯效手绘曲线图像进行处理，以基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。
49.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
50.在本技术的一个实施例中，图6为根据本技术实施例的基于关键帧的自定义灯效配置方法的流程图。如图6所示，根据本技术实施例的基于关键帧的自定义灯效配置方法100，包括：110，接受用户输入的灯效手绘曲线图像；120，以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及，130，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。
51.图7为根据本技术实施例的基于关键帧的自定义灯效配置方法中步骤130的子步骤的流程图。如图7所示，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率，包括：131，对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像；132，对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列；133，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵；134，将所述多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵；135，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵；136，对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；137，将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像；以及，138，基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。
52.图8为根据本技术实施例的基于关键帧的自定义灯效配置方法中步骤130的架构示意图。如图8所示，在该网络架构中，首先，对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像；然后，对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列；接着，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵；然后，将所述
多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵；接着，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵；然后，对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；接着，将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像；以及，最后，基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。
53.具体地，在步骤131中，对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像。特别地，在基于用户手绘曲线来生成关键帧1和关键帧2之间的插值变化速率，但因绘图软件的接收输入的偏差以及用户在绘制曲线时会因犹豫或者技巧不够娴熟等问题而导致输入的手绘曲线图与用户意图之间存在偏差，因此，期待一种图像处理方案能够对用户输入的手绘曲线图进行基于用户意图揣摩的优化，以提高最终的灯效自定义效果。
54.具体地，在本技术的技术方案中，首先对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像。应可以理解，用户在绘制曲线时会因犹豫或者技巧不够娴熟等问题会引入诸多图像像素离群值（在图像上表现为图像噪声），因此，在接收到所述灯效手绘曲线图像后，首先对所述灯效手绘曲线图像进行图像降噪，例如，在一个具体实施例中，可对所述灯效手绘曲线图像进行双线性滤波以实现图像降噪。
55.其中，对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像，包括：对所述灯效手绘曲线图像进行双线性滤波以得到所述降噪后手绘图像。
56.具体地，在步骤132中，所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列。然后，对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列。应可以理解，在所述降噪后手绘曲线图像中曲线可视为由多段子曲线拼接而成，而将所述多段子曲线进行单独优化后再进行整体协同优化则不仅可以降低数据处理量，还可以降低图像分析和处理的难度。因此，在本技术的技术方案中，对所述降噪后手绘曲线图像进行图像分块处理以得到所述手绘曲线图像块的序列。
57.例如，在本技术一个具体的示例中，对所述降噪后手绘曲线图像进行均匀图像块切分以得到所述手绘曲线图像块的序列，其中，所述手绘曲线图像块的序列中各个手绘曲线图像块具有相同的尺寸。
58.具体地，在步骤133中，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵。进而，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵。也就是，在本技术的技术方案中，以卷积神经网络模型作为特征提取器来捕捉所述各个手绘曲线图像块中的子曲线段的图像特征。
59.这里，本领域普通技术人员应知晓，卷积神经网络模型在提取图像特征方面具有如下特性：浅层特征为边缘、形状、纹理等特征，而深层特征为对象、结构等抽象特征，并且，随着卷积编码的深化，浅层特征会被逐渐淹没甚至消失。
60.因此，在本技术的技术方案中，严格控制所述卷积神经网络模型的卷积层的数量，具体来说，在本技术的技术方案中，所述卷积神经网络模型包含3-5个卷积层，以使得所述卷积神经网络模型能够充分且准确地捕捉各个手绘曲线图像块中的子曲线段的图像浅层
特征。
61.其中，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵，包括：使用所述基于卷积神经网络模型的浅层特征提取器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述基于卷积神经网络模型的浅层特征提取器的浅层输出为所述多个手绘曲线图像块特征矩阵。
62.卷积神经网络(convolutional neural network，cnn)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
63.卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
64.具体地，在步骤134中，将所述多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵。在得到所述多个手绘曲线图像块特征矩阵后，将所述多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵。也就是，在提取所述手绘曲线中各个子曲线段的图像特征后，将所述各个子曲线段的图像特征按照图像分块的切分位置重新排列为手绘曲线图像全局特征矩阵。进而，可将所述手绘曲线图像全局特征矩阵通过解码器进行解码生成以得到生成优化手绘曲线图像。
65.具体地，在步骤135中，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵。特别地，考虑到在本技术的技术方案中，所述手绘曲线图像全局特征矩阵在其空间维度上各个位置的特征值对于基于解码器的解码生成的贡献度不同，因此，为了充分利用所述手绘曲线图像全局特征矩阵的空间特征分布显著性，在本技术技术方案中，在将所述手绘曲线图像全局特征矩阵输入所述解码器进行解码生成之前，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵。
66.这里，通过双向注意力机制模块在特征矩阵的行空间和列空间维度上进一步进行注意力权重强化以强化在注意力维度上的空间维度分布，可以提升所述手绘曲线图像全局特征矩阵在空间维度上的整体分布一致性。
67.图9为根据本技术实施例的基于关键帧的自定义灯效配置方法中步骤135的子步骤的流程图，如图9所示，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵，包括：1351，将所述手绘曲线图像全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；1352，对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；1353，将所述双向关联矩阵输入sigmoid激活函数以得到双向关联权重矩阵；以及，1354，计算所述双向关联权重矩阵和所述手绘曲线图像全局特征矩阵之间的按位置点乘以得到所述优化手绘曲线图像全局特征矩阵。
68.注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。一方面，注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方；另一方面，注意力机制通过神经网络的操作生成一个掩码mask, mask上的值的权重。 一般来说，空间注意力机制对于同一像素点不同通道求均值,再经过一些卷积和上采样的运算得到空间特征,空间特征每层的像素点就被赋予不同的权重。
69.具体地，在步骤136中，对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵。然而，所述优化手绘曲线图像全局特征矩阵在空间维度上的整体分布一致性又会导致所述优化手绘曲线图像全局特征矩阵的各个局部分布之间存在概率密度维度下的区分度问题，从而影响所述优化手绘曲线图像全局特征矩阵的解码回归的精准度。
70.因此，优选地对所述优化手绘曲线图像全局特征矩阵，例如表示为进行高斯概率密度的流形曲面维度正交化，具体为：对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵，包括：以如下优化公式对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；其中，所述优化公式为：其中，和是所述优化手绘曲线图像全局特征矩阵中各个位置的特征值集合的均值和标准差，是所述优化手绘曲线图像全局特征矩阵的第位置的特征值，且 是所述再优化手绘曲线图像全局特征矩阵的第位置的特征值。
71.这里，通过以表达流形曲面的高维特征集合的均值和标准差的平方根来表征曲面单位切向量模长和单位法向量模长，可以将所述优化手绘曲线图像全局特征矩阵的高维特征流形的流形曲面在切平面和法平面上进行基于单位模长的正交投影，从而基于高斯特征流形几何的基本结构进行高维特征的概率密度的维度重整，以通过提升概率密度的维度正交化来提升优化后的优化手绘曲线图像全局特征矩阵通过所述解码器进行解码生成的精准度。
72.具体地，在步骤137和步骤138中，将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像；以及，基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。也就是，进一步将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像。在本技术一个具体的示例中，所述解码器包含多个反卷积层以通过相互级联的反卷积操作来进行反卷积解码生成。继而，基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。
73.综上，基于本技术实施例的基于关键帧的自定义灯效配置方法100被阐明，其接受用户输入的灯效手绘曲线图像；以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。这样，可以对用户输入的手绘曲线图进行基于用户
意图揣摩的优化，以提高最终的灯效自定义效果。
74.在本技术的一个实施例中，图10为根据本技术实施例的基于关键帧的自定义灯效配置系统的框图。如图10所示，根据本技术实施例的基于关键帧的自定义灯效配置系统200，包括：图像接受模块210，用于接受用户输入的灯效手绘曲线图像；关键帧生成模块220，用于以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及，插值变化曲率生成模块230，用于基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。
75.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述插值变化曲率生成模块，包括：图像降噪单元，用于对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像；图像分块处理单元，用于对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列；浅层特征提取单元，用于将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵；矩阵排列单元，用于将所述多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵；双向注意力单元，用于将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵；优化单元，用于对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；解码单元，用于将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像；以及，插值变化曲率确定单元，用于基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。
76.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述图像降噪单元，用于：对所述灯效手绘曲线图像进行双线性滤波以得到所述降噪后手绘图像。
77.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述图像分块处理单元，用于：对所述降噪后手绘曲线图像进行图像块均匀划分以得到所述手绘曲线图像块的序列，其中，所述手绘曲线图像块的序列中各个手绘曲线图像块具有相同的尺寸。
78.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述浅层特征提取单元，用于：使用所述基于卷积神经网络模型的浅层特征提取器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述基于卷积神经网络模型的浅层特征提取器的浅层输出为所述多个手绘曲线图像块特征矩阵。
79.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述基于卷积神经网络模型的浅层特征提取器包含3-5个卷积层。
80.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述双向注意力单元，包括：池化子单元，用于将所述手绘曲线图像全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；关联编码子单元，用于对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；激活子单元，用于将所述双向关联矩阵输入sigmoid激活函数以得到双向关联权重矩阵；以及，矩阵计算子单元，用于计算所述双向关联权重矩阵和所述手绘曲线图像全局特征矩阵之间的按位置点乘以得到所述优化手绘曲线图像全局特征矩阵。
81.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述优化单元，用
于：以如下优化公式对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；其中，所述优化公式为：其中，和是所述优化手绘曲线图像全局特征矩阵中各个位置的特征值集合的均值和标准差，是所述优化手绘曲线图像全局特征矩阵的第位置的特征值，且 是所述再优化手绘曲线图像全局特征矩阵的第位置的特征值。
82.在一个具体示例中，在上述基于关键帧的自定义灯效配置系统中，所述解码器包括多个反卷积层。
83.这里，本领域技术人员可以理解，上述基于关键帧的自定义灯效配置系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图9的基于关键帧的自定义灯效配置方法的描述中得到了详细介绍，并因此，将省略其重复描述。
84.如上所述，根据本技术实施例的基于关键帧的自定义灯效配置系统200可以实现在各种终端设备中，例如用于基于关键帧的自定义灯效配置的服务器等。在一个示例中，根据本技术实施例的基于关键帧的自定义灯效配置系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于关键帧的自定义灯效配置系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于关键帧的自定义灯效配置系统200同样可以是该终端设备的众多硬件模块之一。
85.替换地，在另一示例中，该基于关键帧的自定义灯效配置系统200与该终端设备也可以是分立的设备，并且基于关键帧的自定义灯效配置系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
86.本技术还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
87.在本技术的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
88.应可以理解，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等) 上实施的计算机程序产品的形式。
89.本技术实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
90.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多
个方框中指定的功能。
91.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
92.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
93.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
94.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
95.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
96.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
97.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：
1.一种基于关键帧的自定义灯效配置方法，其特征在于，包括：接受用户输入的灯效手绘曲线图像；以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。2.根据权利要求1所述的基于关键帧的自定义灯效配置方法，其特征在于，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率，包括：对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像；对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列；将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵；将所述多个手绘曲线图像块特征矩阵按照图像分块的位置进行排列以得到手绘曲线图像全局特征矩阵；将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵；对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；将所述再优化手绘曲线图像全局特征矩阵通过解码器以生成优化手绘曲线图像；以及基于所述优化手绘曲线图像中曲线的形状，确定所述从所述第一关键帧到所述第二关键帧的插值变化曲率。3.根据权利要求2所述的基于关键帧的自定义灯效配置方法，其特征在于，对所述灯效手绘曲线图像进行图像降噪以得到降噪后手绘图像，包括：对所述灯效手绘曲线图像进行双线性滤波以得到所述降噪后手绘图像。4.根据权利要求3所述的基于关键帧的自定义灯效配置方法，其特征在于，对所述降噪后手绘曲线图像进行图像分块处理以得到手绘曲线图像块的序列，包括：对所述降噪后手绘曲线图像进行图像块均匀划分以得到所述手绘曲线图像块的序列，其中，所述手绘曲线图像块的序列中各个手绘曲线图像块具有相同的尺寸。5.根据权利要求4所述的基于关键帧的自定义灯效配置方法，其特征在于，将所述手绘曲线图像块的序列中的各个手绘曲线图像块分别通过基于卷积神经网络模型的浅层特征提取器以得到多个手绘曲线图像块特征矩阵，包括：使用所述基于卷积神经网络模型的浅层特征提取器的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以从所述基于卷积神经网络模型的浅层特征提取器的浅层输出为所述多个手绘曲线图像块特征矩阵。6.根据权利要求5所述的基于关键帧的自定义灯效配置方法，其特征在于，所述基于卷积神经网络模型的浅层特征提取器包含3-5个卷积层。7.根据权利要求6所述的基于关键帧的自定义灯效配置方法，其特征在于，将所述手绘曲线图像全局特征矩阵通过双向注意力机制以得到优化手绘曲线图像全局特征矩阵，包括：将所述手绘曲线图像全局特征矩阵分别沿着水平方向和垂直方向进行池化以得到第一向池化向量和第二向池化向量；对所述第一向池化向量和所述第二向池化向量进行关联编码以得到双向关联矩阵；将所述双向关联矩阵输入sigmoid激活函数以得到双向关联权重矩阵；以及计算所述双向关联权重矩阵和所述手绘曲线图像全局特征矩阵之间的按位置点乘以得到所述优化手绘曲线图像全局特征矩阵。8.根据权利要求7所述的基于关键帧的自定义灯效配置方法，其特征在于，对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局
特征矩阵，包括：以如下优化公式对所述优化手绘曲线图像全局特征矩阵进行类概率密度区分度强化以得到再优化手绘曲线图像全局特征矩阵；其中，所述优化公式为：其中，和是所述优化手绘曲线图像全局特征矩阵中各个位置的特征值集合的均值和标准差，是所述优化手绘曲线图像全局特征矩阵的第位置的特征值，且 是所述再优化手绘曲线图像全局特征矩阵的第位置的特征值。9.根据权利要求8所述的基于关键帧的自定义灯效配置方法，其特征在于，所述解码器包括多个反卷积层。10.一种基于关键帧的自定义灯效配置系统，其特征在于，包括：图像接受模块，用于接受用户输入的灯效手绘曲线图像；关键帧生成模块，用于以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及插值变化曲率生成模块，用于基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。

技术总结
一种基于关键帧的自定义灯效配置方法及其系统，其接受用户输入的灯效手绘曲线图像；以所述灯效手绘曲线图像中曲线的起点和终点作为第一关键帧和第二关键帧；以及，基于所述灯效手绘曲线图像中曲线的形状，确定从所述第一关键帧到所述第二关键帧的插值变化曲率。这样，可以对用户输入的手绘曲线图进行基于用户意图揣摩的优化，以提高最终的灯效自定义效果。果。果。


技术研发人员：任天游 赵春生
受保护的技术使用者：杭州行至云起科技有限公司
技术研发日：2023.05.24
技术公布日：2023/8/13