应用人工智能的直播图像互动信息处理方法及系统与流程

1.本技术涉及人工智能技术领域，特别涉及一种应用人工智能的直播图像互动信息处理方法及系统。


背景技术：

2.随着科技的不断进步，人工智能（artificial intelligence，ai）和虚拟现实技术（virtual reality，vr）已经成为热门话题，这两种技术各自都有着优点和独特的能力。基于此，将ai和vr综合应用到直播领域，能够在一定程度上提升图文直播效果。然而在实际应用过程中，这种结合ai和vr的沉浸式直播互动还存在有待优化的地方。


技术实现要素：

3.为改善相关技术中存在的技术问题，本技术提供了一种应用人工智能的直播图像互动信息处理方法及系统。
4.第一方面，本技术实施例提供了一种应用人工智能的直播图像互动信息处理方法，应用于ai直播图像处理系统，所述方法包括：获取vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的沉浸式直播图文互动信息，所述沉浸式直播图文互动信息以所述vr直播用户终端和所述虚拟空间化直播服务器的直播会话活动事件为图文直播信息块；从所述沉浸式直播图文互动信息中确定所述vr直播用户终端和所述虚拟空间化直播服务器各自的直播会话活动事件的图文直播信息块量化知识，并依据所述沉浸式直播图文互动信息中的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识；依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告，所述场景仿真模拟分析报告用于表征所述vr直播用户终端与所述虚拟空间化直播服务器的直播会话活动事件之间的场景仿真模拟结果。
5.在一些优选的实施例中，所述方法还包括：获取若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息；针对所述若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息中的每个已认证沉浸式直播图文互动信息，确定所述已认证沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识；获得所述已认证沉浸式直播图文互动信息所对应的先验vr直播质量标签和先验
场景仿真模拟分析报告，其中，所述先验场景仿真模拟分析报告中的每个文本报告单元指示所述已认证沉浸式直播图文互动信息中的vr直播用户终端与虚拟空间化直播服务器的相应直播会话活动事件二元组之间是否匹配正确的场景仿真模拟结果；依据所述已认证沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过vr直播质量判别网络确定所述已认证沉浸式直播图文互动信息所对应的vr直播质量标签和场景仿真模拟分析报告，其中，所确定的vr直播质量标签和场景仿真模拟分析报告中存在所述vr直播质量判别网络的待改进网络参量；以及通过改进所述若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息中的每个已认证沉浸式直播图文互动信息所对应的先验vr直播质量标签与所确定的vr直播质量标签之间的质量标签识别代价损失、以及先验场景仿真模拟分析报告与所确定的场景仿真模拟分析报告之间的场景仿真模拟分析代价损失，确定所述vr直播质量判别网络的待改进网络参量，以获得所述完成调试的vr直播质量判别网络。
6.在一些优选的实施例中，所述vr直播质量判别网络应用了局部特征关注策略，所述依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告包括：依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签、以及所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，所述局部特征关注知识中的每个知识成员指示相应直播会话活动事件针对所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签的决策权重；以及依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告，所述场景仿真模拟分析报告中的每个文本报告单元指示所述vr直播用户终端与所述虚拟空间化直播服务器的相应直播会话活动事件二元组之间匹配正确的场景仿真模拟结果的概率值。
7.在一些优选的实施例中，依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识包括：将所述vr直播用户终端和所述虚拟空间化直播服务器各自的直播会话活动事件的图文直播信息块量化知识组合成线性描述知识；以及依据局部特征关注策略，将所述线性描述知识作为连接特征、请求特征和应答特征，并结合所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，确定所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数，所述局部特征关注系数指示所述图文直播信息块针对所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签的决策权重；
其中，所述vr直播用户终端所述虚拟空间化直播服务器各自的直播会话活动事件的局部特征关注系数组成各自的局部特征关注知识。
8.在一些优选的实施例中，依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告包括：针对所述vr直播用户终端与所述虚拟空间化直播服务器的任一直播会话活动事件二元组，依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识中的相应局部特征关注系数的设定运算结果，确定所述场景仿真模拟分析报告中的相应文本报告单元，所述相应文本报告单元对应于所述直播会话活动事件二元组。
9.在一些优选的实施例中，依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签包括：依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，对所述线性描述知识进行若干轮调整，其中，就每轮调整而言：以前一轮调整的线性描述知识作为连接特征、请求特征和应答特征，并结合所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，确定所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数；依据所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数和所述应答特征，确定完成调整的线性描述知识；以及依据经若干轮调整的线性描述知识，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签。
10.在一些优选的实施例中，依据所述沉浸式直播图文互动信息中的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识包括：基于所述沉浸式直播图文互动信息中的每个图文直播信息块，生成所述沉浸式直播图文互动信息的关联关系记录，所述关联关系记录指示所述沉浸式直播图文互动信息中的每个图文直播信息二元组之间的关联性；以及依据所述沉浸式直播图文互动信息及其关联关系记录，确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，其中，所述图文增强量化知识指示所述沉浸式直播图文互动信息中的相应图文直播信息二元组之间的内容牵涉向量，所述用户体验反馈量化知识指示所述沉浸式直播图文互动信息中的各个图文直播信息块二元组所组成的图文增强结果之间的适配性。
11.在一些优选的实施例中，所述方法还包括：在所述vr直播用户终端与所述虚拟空间化直播服务器之间的直播会话交互需要观众用户终端的参与时，所获取的沉浸式直播图文互动信息还包括所述观众用户终端对应的图文会话信息，并且所述沉浸式直播图文互动信息的图文直播信息块还包括所述观众用户终端的直播会话活动事件；以及从所述沉浸式直播图文互动信息中确定所述观众用户终端的直播会话活动
事件的图文直播信息块量化知识，并且依据所述沉浸式直播图文互动信息中包括所述观众用户终端的直播会话活动事件的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，以依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告。
12.第二方面，本技术还提供了一种ai直播图像处理系统，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述的方法。
13.第三方面，本技术还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的方法。
14.本技术实施例相较于传统的vr直播质量标签分析技术，可以在准确可靠地确定出vr直播质量标签的基础上，进一步确定出可以反映vr直播用户终端与虚拟空间化直播服务器之间在直播会话交互过程中的场景仿真模拟分析报告，从而保障所确定出的vr直播质量标签的可信度。
15.进一步地，本技术实施例依据从vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的沉浸式直播图文互动信息中挖掘的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络获得vr直播用户终端与虚拟空间化直播服务器的vr直播质量标签，并获得用于表征vr直播用户终端与虚拟空间化直播服务器的直播会话活动事件之间场景仿真模拟结果的场景仿真模拟分析报告，在提高vr直播质量标签分析精度的前提下，可以进一步分析vr直播用户终端与虚拟空间化直播服务器的直播会话活动事件所对应的场景仿真模拟结果是否符合要求，这样能够为vr直播的沉浸式体感优化改进提供准确可靠的分析依据。
16.综上，本发明实施例能够改善传统技术难以准确确定vr直播质量标签的技术问题。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并于说明书一起用于解释本技术的原理。
18.图1是本技术实施例提供的一种应用人工智能的直播图像互动信息处理方法的流程示意图。
具体实施方式
19.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
20.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
21.本技术实施例所提供的方法实施例可以在ai直播图像处理系统、计算机设备或者类似的运算装置中执行。以运行在ai直播图像处理系统上为例，ai直播图像处理系统可以包括一个或多个处理器（处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置）和用于存储数据的存储器，可选地，上述ai直播图像处理系统还可以包括用于通信功能的传输装置。本领域普通技术人员可以理解，上述结构仅为示意，其并不对上述ai直播图像处理系统的结构造成限定。例如，ai直播图像处理系统还可包括比上述所示更多或者更少的组件，或者具有与上述所示不同的配置。
22.存储器可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本技术实施例中的一种应用人工智能的直播图像互动信息处理方法对应的计算机程序，处理器通过运行存储在存储器内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至ai直播图像处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
23.传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括ai直播图像处理系统的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
24.基于此，请参阅图1，图1是本技术实施例所提供的一种应用人工智能的直播图像互动信息处理方法的流程示意图，该方法应用于ai直播图像处理系统，进一步可以包括步骤101-步骤103。
25.步骤101、ai直播图像处理系统获取vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的沉浸式直播图文互动信息，所述沉浸式直播图文互动信息以所述vr直播用户终端和所述虚拟空间化直播服务器的直播会话活动事件为图文直播信息块。
26.本发明实施例中，vr直播用户终端可以理解为主播端，虚拟空间化直播服务器可以理解为直播平台端，vr直播用户终端与虚拟空间化直播服务器的直播会话交互可以理解为vr直播用户终端所对应的主播通过登录虚拟空间化直播服务器所对应的直播平台进行图文直播的过程，在该直播会话交互中，虚拟空间化直播服务器能够为vr直播用户终端提供一系列的vr/ar/mr特效，从而使得vr直播用户终端在直播时能够展示相应的特效图文直播内容。
27.进一步地，沉浸式直播图文互动信息可以理解为vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中的会话链接记录。举例而言，直播会话活动事件1对应于vr直播用户终端，可以理解为vr直播用户终端向虚拟空间化直播服务器发起的“冲击波动作”，直播会话活动事件1对应于虚拟空间化直播服务器，可以理解虚拟空间化直播服务器为向vr直播用户终端下发的“冲击波特效”，而直播会话活动事件1的图文直播信息块对应于vr直播用户终端和虚拟空间化直播服务器分别可以是“冲击波动作图像”以及“冲击波特效图像”。此外，关于直播会话活动事件的类型可以有很多种，本领域技术人员可以根据实
际情况进行灵活选择，在此不作限定。
28.步骤102、ai直播图像处理系统从所述沉浸式直播图文互动信息中确定所述vr直播用户终端和所述虚拟空间化直播服务器各自的直播会话活动事件的图文直播信息块量化知识，并依据所述沉浸式直播图文互动信息中的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识。
29.本发明实施例中，vr直播用户终端和虚拟空间化直播服务器各自的直播会话活动事件的图文直播信息块量化知识用于反映相应直播会话活动事件的图文直播信息块特征，图文增强量化知识用于表征图文直播信息在vr/ar/mr特效处理过程中所对应的增强特征，用户体验反馈量化知识可以是vr直播用户终端侧所对应的vr/ar/mr特效处理的体验反馈特征。
30.进一步地，上述的量化知识可以理解为量化特征，也即通过非浮点型数值对图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识进行表征的处理形式，这种方式能够显著减少ai直播图像处理系统的运算开销，从而提高整体方案在实施时的效率。
31.步骤103、ai直播图像处理系统依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告。
32.其中，所述场景仿真模拟分析报告用于表征所述vr直播用户终端与所述虚拟空间化直播服务器的直播会话活动事件之间的场景仿真模拟结果。
33.本发明实施例中，可以将沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识输入到完成调试的vr直播质量判别网络中，从而通过完成调试的vr直播质量判别网络生成vr直播用户终端与虚拟空间化直播服务器的vr直播质量标签，vr直播质量标签可以用于表征虚拟空间化直播服务器在进行vr/ar/mr特效处理过程时与vr直播用户终端之间的匹配性，进一步地，还可以获得vr直播用户终端与虚拟空间化直播服务器的场景仿真模拟分析报告，该场景仿真模拟分析报告可以表征vr直播用户终端以及虚拟空间化直播服务器各自对应的直播会话活动事件之间的场景仿真模拟结果，该场景仿真模拟结果包括vr/ar/mr特效处理的一系列图文记录，能够进一步展示所确定出的vr直播质量标签的推理过程。这样一来，能够为vr直播的沉浸式体感优化改进提供准确可靠的分析依据。
34.可见，通过步骤101-步骤103，传统的vr直播质量标签分析技术，可以在准确可靠地确定出vr直播质量标签的基础上，进一步确定出可以反映vr直播用户终端与虚拟空间化直播服务器之间在直播会话交互过程中的场景仿真模拟分析报告，从而保障所确定出的vr直播质量标签的可信度。
35.进一步地，本技术实施例依据从vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的沉浸式直播图文互动信息中挖掘的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络获得vr直播用户终端与虚拟空间化直播服务器的vr直播质量标签，并获得用于表征vr直播用户终端与虚拟空间化直播服务器的直播会话活动事件之间场景仿真模拟结果的场景仿真模拟分
析报告，在提高vr直播质量标签分析精度的前提下，可以进一步分析vr直播用户终端与虚拟空间化直播服务器的直播会话活动事件所对应的场景仿真模拟结果是否符合要求，这样能够为vr直播的沉浸式体感优化改进提供准确可靠的分析依据。
36.在一些可选的实施例中，所述方法还包括步骤201-步骤205。
37.步骤201、获取若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息。
38.其中，已认证沉浸式直播图文互动信息可以理解为沉浸式直播图文互动信息样例。
39.步骤202、针对所述若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息中的每个已认证沉浸式直播图文互动信息，确定所述已认证沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识。
40.进一步地，已认证沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识分别可以理解为图文直播信息块量化知识样例、图文增强量化知识样例、和用户体验反馈量化知识样例。
41.步骤203、获得所述已认证沉浸式直播图文互动信息所对应的先验vr直播质量标签和先验场景仿真模拟分析报告。
42.其中，所述先验场景仿真模拟分析报告中的每个文本报告单元指示所述已认证沉浸式直播图文互动信息中的vr直播用户终端与虚拟空间化直播服务器的相应直播会话活动事件二元组之间是否匹配正确的场景仿真模拟结果。
43.本发明实施例中，先验vr直播质量标签可以理解为真实/正确的vr直播质量标签，同理，先验场景仿真模拟分析报告可以理解为真实/正确的场景仿真模拟分析报告。进一步地，先验场景仿真模拟分析报告中的文本报告单元可以理解为文本报告块或者局部文本报告，直播会话活动事件二元组中包括vr直播用户终端对应的直播会话活动事件以及虚拟空间化直播服务器对应的直播会话活动事件。此外，vr直播用户终端与虚拟空间化直播服务器的相应直播会话活动事件二元组之间是否匹配正确的场景仿真模拟结果用于表征vr直播用户终端与虚拟空间化直播服务器的相应直播会话活动事件二元组之间的vr/ar/mr特效处理是否匹配。换言之，虚拟空间化直播服务器所生成的vr/ar/mr特效效果是否符合vr直播用户终端的需求。
44.步骤204、依据所述已认证沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过vr直播质量判别网络确定所述已认证沉浸式直播图文互动信息所对应的vr直播质量标签和场景仿真模拟分析报告。
45.其中，其中，所确定的vr直播质量标签和场景仿真模拟分析报告中存在所述vr直播质量判别网络的待改进网络参量。
46.本发明实施例中，待改进网络参量可以理解为vr直播质量判别网络的待进行优化的模型参数。
47.步骤205、通过改进所述若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息中的每个已认证沉浸式直播图文互动信息所对应的先验vr直播质量标签与所确定的vr直播质量标签之间的质量标签识
别代价损失、以及先验场景仿真模拟分析报告与所确定的场景仿真模拟分析报告之间的场景仿真模拟分析代价损失，确定所述vr直播质量判别网络的待改进网络参量，以获得所述完成调试的vr直播质量判别网络。
48.本发明实施例中，质量标签识别代价损失可以理解为质量标签识别的损失函数，场景仿真模拟分析代价损失可以理解为场景仿真模拟分析的损失函数。而vr直播质量判别网络可以是用于进行vr直播质量标签预测的决策树模型。可见，基于步骤201-步骤205，能够从质量标签识别代价损失和场景仿真模拟分析代价损失两个维度出发实现对vr直播质量判别网络的待改进网络参量确定，以通过网络参量的改进优化实现vr直播质量判别网络的调试，这样可以提高完成调试的vr直播质量判别网络的性能表现，从而确保应用阶段所生成的vr直播质量标签以及场景仿真模拟分析报告的精度和可信度。
49.在一些示例中，所述vr直播质量判别网络应用了局部特征关注策略，该局部特征关注策略可以理解为注意力策略或者局部聚焦机制。基于此，步骤103中的所述依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告包括步骤1031和步骤1032。
50.步骤1031、依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签、以及所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识。
51.其中，所述局部特征关注知识中的每个知识成员指示相应直播会话活动事件针对所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签的决策权重。举例而言，局部特征关注知识可以理解为注意力知识或者注意力特征向量，知识成员可以理解为局部特征关注知识中的特征元素，该特征元素能够反映对应vr直播质量标签的贡献值或者置信度值。
52.步骤1032、依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告。
53.其中，所述场景仿真模拟分析报告中的每个文本报告单元指示所述vr直播用户终端与所述虚拟空间化直播服务器的相应直播会话活动事件二元组之间匹配正确的场景仿真模拟结果的概率值。
54.可以理解，通过步骤1031和步骤1032，能够引入局部特征关注策略分别确定vr直播质量标签、vr直播用户终端以及虚拟空间化直播服务器的局部特征关注知识，从而结合局部特征关注知识中的知识成员对相应直播会话活动事件二元组之间匹配正确的场景仿真模拟结果的概率值进行确定，以通过量化计算的思路准确确定出场景仿真模拟分析报告。
55.在一些可选的实施例中，步骤1031中的依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识包括
步骤10311和步骤10312。
56.步骤10311、将所述vr直播用户终端和所述虚拟空间化直播服务器各自的直播会话活动事件的图文直播信息块量化知识组合成线性描述知识。
57.本发明实施例中，可以将相应的图文直播信息块量化知识进行特征拼接，从而得到线性描述知识，该线性描述知识可以通过一维特征的形式进行表示。
58.步骤10312、依据局部特征关注策略，将所述线性描述知识作为连接特征、请求特征和应答特征，并结合所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，确定所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数，所述局部特征关注系数指示所述图文直播信息块针对所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签的决策权重。
59.其中，所述vr直播用户终端所述虚拟空间化直播服务器各自的直播会话活动事件的局部特征关注系数组成各自的局部特征关注知识。
60.举例而言，可以依据局部特征关注策略确定线性描述知识对应的连接特征、请求特征和应答特征（也即查询特征和键值对特征），在此基础上，可以综合图文增强量化知识和用户体验反馈量化知识确定图文直播信息块的局部特征关注系数，该局部特征关注系数可以理解为注意力权重。进一步地，在确定出局部特征关注系数之后，可以通过局部特征关注系数准确完整地得到局部特征关注知识。如此一来，能够引入查询特征和键值对特征进行辅助分析，以确保局部特征关注知识的完整性和可信度。
61.进一步地，步骤1032中的依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告包括步骤10320。
62.步骤10320、针对所述vr直播用户终端与所述虚拟空间化直播服务器的任一直播会话活动事件二元组，依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识中的相应局部特征关注系数的设定运算结果，确定所述场景仿真模拟分析报告中的相应文本报告单元，所述相应文本报告单元对应于所述直播会话活动事件二元组。
63.本发明实施例中，可以根据vr直播用户终端和虚拟空间化直播服务器各自的局部特征关注知识中的相应局部特征关注系数的乘积来量化场景仿真模拟分析报告中的相应文本报告单元，从而快速、准确地得到量化角度下的场景仿真模拟分析报告。
64.在另一些可能的实施例中，步骤1031中的依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签包括如下内容：依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，对所述线性描述知识进行若干轮调整。
65.进一步地，就每轮调整而言：以前一轮调整的线性描述知识作为连接特征、请求特征和应答特征，并结合所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，确定所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数；依据所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数和所述应答特征，确定完成调整的线性描述知识；以及依据经若干轮调整的线性描述知识，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签。
66.可以理解诶，应用上述实施例，可以实现对线性描述知识的多次更新，进而在每次更新过程中不断迭代和优化线性描述知识的特征表征性能，这样可以通过经若干轮调整的线性描述知识准确可靠地确定出vr直播用户终端与虚拟空间化直播服务器的vr直播质量标签。
67.在一些示例性设计思路下，步骤102中的依据所述沉浸式直播图文互动信息中的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识包括步骤1021和步骤1022。
68.步骤1021、基于所述沉浸式直播图文互动信息中的每个图文直播信息块，生成所述沉浸式直播图文互动信息的关联关系记录，所述关联关系记录指示所述沉浸式直播图文互动信息中的每个图文直播信息二元组之间的关联性。
69.本发明实施例中，关联关系记录可以反映每个图文直播信息二元组之间的逆向余弦距离。比如，每个图文直播信息二元组之间的逆向余弦距离越大，则关联性越强，每个图文直播信息二元组之间的逆向余弦距离越小，则关联性越弱。
70.步骤1022、依据所述沉浸式直播图文互动信息及其关联关系记录，确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识。
71.其中，所述图文增强量化知识指示所述沉浸式直播图文互动信息中的相应图文直播信息二元组之间的内容牵涉向量，所述用户体验反馈量化知识指示所述沉浸式直播图文互动信息中的各个图文直播信息块二元组所组成的图文增强结果之间的适配性。
72.本发明实施例中，内容牵涉向量可以表征相应图文直播信息二元组之间的牵涉特征，也可以理解为互相关特征，而各个图文直播信息块二元组所组成的图文增强结果之间的适配性则能够反映虚拟空间化直播服务器和vr直播用户终端之间的特效处理匹配度。这样一来，通过上述内容，能够利用沉浸式直播图文互动信息以及关联关系记录完整准确地得到沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识。
73.在另一些实施例中，所述方法还包括步骤301和步骤302。
74.步骤301、在所述vr直播用户终端与所述虚拟空间化直播服务器之间的直播会话交互需要观众用户终端的参与时，所获取的沉浸式直播图文互动信息还包括所述观众用户终端对应的图文会话信息，并且所述沉浸式直播图文互动信息的图文直播信息块还包括所述观众用户终端的直播会话活动事件。
75.本发明实施例中，观众用户终端可以是观看直播的短视频观众所使用的电子设备，短视频观众可以通过观众用户终端与vr直播用户终端进行图文互动，在观众用户终端与vr直播用户终端进行图文互动时，观众用户终端同样可以发送经过vr/ar/mr特效处理后的图文信息，因而观众用户终端也与虚拟空间化直播服务器存在交互。换言之，在该实施例中，vr直播用户终端、虚拟空间化直播服务器以及观众用户终端存在两两交互的情况。
76.步骤302、从所述沉浸式直播图文互动信息中确定所述观众用户终端的直播会话活动事件的图文直播信息块量化知识，并且依据所述沉浸式直播图文互动信息中包括所述观众用户终端的直播会话活动事件的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，以依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与
所述虚拟空间化直播服务器的场景仿真模拟分析报告。
77.在本发明实施例中，在确定vr直播质量标签以及场景仿真模拟分析报告时，能够额外引入观众用户终端的直播会话活动事件进行综合分析，这样可以尽可能提升确定vr直播质量标签以及场景仿真模拟分析报告时的数据信息丰富度，进而更为准确全面地得到vr直播质量标签和场景仿真模拟分析报告，以便为多端交互场景下的沉浸式体感优化改进提供准确可靠的分析依据。
78.在一些可独立的实施例中，在确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告之后，所述方法还包括：基于所述vr直播质量标签和所述场景仿真模拟分析报告确定针对所述vr直播用户终端的沉浸式体感优化需求文本；依据所述沉浸式体感优化需求文本生成针对所述vr直播用户终端的沉浸式体感优化指示。
79.本发明实施例中，主播在通过vr直播用户终端进行直播时，可以基于视觉感官、听觉感官、触觉感官等体感设备实现，因而所确定出的vr直播质量标签和场景仿真模拟分析报告也涉及相应沉浸式体感的场景仿真模拟结果，在此基础上，可以结合vr直播质量标签和场景仿真模拟分析报告生成个性化的沉浸式体感优化需求文本，以便通过沉浸式体感优化需求文本针对性地生成沉浸式体感优化指示，从而提升后续vr直播过程中的沉浸式体感拟真性。
80.在一些可独立的实施例中，所述依据所述沉浸式体感优化需求文本生成针对所述vr直播用户终端的沉浸式体感优化指示，包括：对所述沉浸式体感优化需求文本进行文本语义提炼，得到所述沉浸式体感优化需求文本对应的第一文本语义特征图集；根据所述第一文本语义特征图集进行优化语义推理操作，得到优化语义推理操作的第二文本语义特征图集；对所述第二文本语义特征图集进行文本语义译码，得到所述第二文本语义特征图集对应的沉浸式体感优化指示集。
81.在一些可独立的实施例中，所述对所述沉浸式体感优化需求文本进行文本语义提炼，得到所述沉浸式体感优化需求文本对应的第一文本语义特征图集，包括：对所述沉浸式体感优化需求文本进行特征编码，得到所述沉浸式体感优化需求文本对应的第一语义编码图集；对所述第一语义编码图集进行特征映射，得到所述沉浸式体感优化需求文本对应的第一文本语义特征图集。
82.在一些可独立的实施例中，所述对所述第二文本语义特征图集进行文本语义译码，得到所述第二文本语义特征图集对应的沉浸式体感优化指示集，包括：对所述第二文本语义特征图集进行文本语义译码，得到所述第二文本语义特征图集对应的第二语义编码图集；对所述第二语义编码图集进行特征译码，得到所述第二文本语义特征图集对应的沉浸式体感优化指示集。
83.在一些可独立的实施例中，所述对所述第二文本语义特征图集进行文本语义译码，得到所述第二文本语义特征图集对应的第二语义编码图集，包括：采用可调激活算子对所述第二文本语义特征图集进行循环编码，得到所述第二文本语义特征图集对应的第二语义编码图集。
84.可以理解，应用上述实施例，能够通过文本语义提炼和文本语义译码，将依据沉浸式体感优化需求文本确定沉浸式体感优化指示的过程转换到特征层面实现，这样不仅能够
提高沉浸式体感优化指示的确定效率，还能够通过对第一文本语义特征图的优化语义推理操作提升所得到的第二文本语义特征图集的准确性，从而提高沉浸式体感优化指示集确定精度和时效性。
85.进一步地，还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的方法。
86.在本技术实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
87.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
88.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
89.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种应用人工智能的直播图像互动信息处理方法，其特征在于，应用于ai直播图像处理系统，所述方法包括：获取vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的沉浸式直播图文互动信息，所述沉浸式直播图文互动信息以所述vr直播用户终端和所述虚拟空间化直播服务器的直播会话活动事件为图文直播信息块；从所述沉浸式直播图文互动信息中确定所述vr直播用户终端和所述虚拟空间化直播服务器各自的直播会话活动事件的图文直播信息块量化知识，并依据所述沉浸式直播图文互动信息中的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识；依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告，所述场景仿真模拟分析报告用于表征所述vr直播用户终端与所述虚拟空间化直播服务器的直播会话活动事件之间的场景仿真模拟结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息；针对所述若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息中的每个已认证沉浸式直播图文互动信息，确定所述已认证沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识；获得所述已认证沉浸式直播图文互动信息所对应的先验vr直播质量标签和先验场景仿真模拟分析报告，其中，所述先验场景仿真模拟分析报告中的每个文本报告单元指示所述已认证沉浸式直播图文互动信息中的vr直播用户终端与虚拟空间化直播服务器的相应直播会话活动事件二元组之间是否匹配正确的场景仿真模拟结果；依据所述已认证沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过vr直播质量判别网络确定所述已认证沉浸式直播图文互动信息所对应的vr直播质量标签和场景仿真模拟分析报告，其中，所确定的vr直播质量标签和场景仿真模拟分析报告中存在所述vr直播质量判别网络的待改进网络参量；以及通过改进所述若干个vr直播用户终端与虚拟空间化直播服务器在直播会话交互过程中所生成的已认证沉浸式直播图文互动信息中的每个已认证沉浸式直播图文互动信息所对应的先验vr直播质量标签与所确定的vr直播质量标签之间的质量标签识别代价损失、以及先验场景仿真模拟分析报告与所确定的场景仿真模拟分析报告之间的场景仿真模拟分析代价损失，确定所述vr直播质量判别网络的待改进网络参量，以获得所述完成调试的vr直播质量判别网络。3.根据权利要求2所述的方法，其特征在于，所述vr直播质量判别网络应用了局部特征关注策略，所述依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过完成调试的vr直播质量判别网络，确定所述vr直
播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告包括：依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签、以及所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，所述局部特征关注知识中的每个知识成员指示相应直播会话活动事件针对所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签的决策权重；以及依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告，所述场景仿真模拟分析报告中的每个文本报告单元指示所述vr直播用户终端与所述虚拟空间化直播服务器的相应直播会话活动事件二元组之间匹配正确的场景仿真模拟结果的概率值。4.根据权利要求3所述的方法，其特征在于，依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识包括：将所述vr直播用户终端和所述虚拟空间化直播服务器各自的直播会话活动事件的图文直播信息块量化知识组合成线性描述知识；以及依据局部特征关注策略，将所述线性描述知识作为连接特征、请求特征和应答特征，并结合所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，确定所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数，所述局部特征关注系数指示所述图文直播信息块针对所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签的决策权重；其中，所述vr直播用户终端所述虚拟空间化直播服务器各自的直播会话活动事件的局部特征关注系数组成各自的局部特征关注知识。5.根据权利要求4所述的方法，其特征在于，依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识，获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告包括：针对所述vr直播用户终端与所述虚拟空间化直播服务器的任一直播会话活动事件二元组，依据所述vr直播用户终端和所述虚拟空间化直播服务器各自的局部特征关注知识中的相应局部特征关注系数的设定运算结果，确定所述场景仿真模拟分析报告中的相应文本报告单元，所述相应文本报告单元对应于所述直播会话活动事件二元组。6.根据权利要求4所述的方法，其特征在于，依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，通过局部特征关注策略确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签包括：依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识，对所述线性描述知识进行若干轮调整，其中，就每轮调整而言：以前一轮调整的线性描述知识作为连接特征、请求特征和应答特征，并结合所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，确定所述沉浸式直播
图文互动信息中的每个图文直播信息块的局部特征关注系数；依据所述沉浸式直播图文互动信息中的每个图文直播信息块的局部特征关注系数和所述应答特征，确定完成调整的线性描述知识；以及依据经若干轮调整的线性描述知识，确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签。7.根据权利要求1所述的方法，其特征在于，依据所述沉浸式直播图文互动信息中的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识包括：基于所述沉浸式直播图文互动信息中的每个图文直播信息块，生成所述沉浸式直播图文互动信息的关联关系记录，所述关联关系记录指示所述沉浸式直播图文互动信息中的每个图文直播信息二元组之间的关联性；以及依据所述沉浸式直播图文互动信息及其关联关系记录，确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，其中，所述图文增强量化知识指示所述沉浸式直播图文互动信息中的相应图文直播信息二元组之间的内容牵涉向量，所述用户体验反馈量化知识指示所述沉浸式直播图文互动信息中的各个图文直播信息块二元组所组成的图文增强结果之间的适配性。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述vr直播用户终端与所述虚拟空间化直播服务器之间的直播会话交互需要观众用户终端的参与时，所获取的沉浸式直播图文互动信息还包括所述观众用户终端对应的图文会话信息，并且所述沉浸式直播图文互动信息的图文直播信息块还包括所述观众用户终端的直播会话活动事件；以及从所述沉浸式直播图文互动信息中确定所述观众用户终端的直播会话活动事件的图文直播信息块量化知识，并且依据所述沉浸式直播图文互动信息中包括所述观众用户终端的直播会话活动事件的每个图文直播信息块确定所述沉浸式直播图文互动信息的图文增强量化知识和用户体验反馈量化知识，以依据所述沉浸式直播图文互动信息的图文直播信息块量化知识、图文增强量化知识和用户体验反馈量化知识确定所述vr直播用户终端与所述虚拟空间化直播服务器的vr直播质量标签，并获得所述vr直播用户终端与所述虚拟空间化直播服务器的场景仿真模拟分析报告。9.一种ai直播图像处理系统，其特征在于，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现权利要求1-8任一项所述的方法。10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时实现权利要求1-8任一项所述的方法。

技术总结
本申请涉及人工智能技术领域，提供一种应用人工智能的直播图像互动信息处理方法及系统，应用本申请实施例，相较于传统的VR直播质量标签分析技术，可以在准确可靠地确定出VR直播质量标签的基础上，进一步确定出可以反映VR直播用户终端与虚拟空间化直播服务器之间在直播会话交互过程中的场景仿真模拟分析报告，从而保障所确定出的VR直播质量标签的可信度。从而保障所确定出的VR直播质量标签的可信度。从而保障所确定出的VR直播质量标签的可信度。


技术研发人员：张征 王凯
受保护的技术使用者：广州阿凡提电子科技有限公司
技术研发日：2023.08.10
技术公布日：2023/10/11