主动式互动导览系统以及主动式互动导览方法与流程

1.本发明是有关于一种互动导览技术，且特别是有关于一种主动式互动导览系统以及主动式互动导览方法。


背景技术：

2.随着图像处理技术与空间定位技术的发展，透明显示器的应用已逐渐受到重视。此类的技术可让显示设备搭配动态对象，再辅以虚拟相关信息，并且依照用户的需求来产生交互式的体验，可使信息以更为直观的方式呈现。再者，关联于动态对象的虚拟信息可显示于透明显示器装置的特定位置上，让用户可通过透明显示设备同时观看到动态对象与叠加于动态对象上的虚拟信息。
3.然而，当用户距离显示设备较远时，采集用户图像的装置可能无法判断用户的视线，如此一来，系统将无法判断用户在注视的动态对象为何，便无法将正确的虚拟信息显示于显示设备上，甚至无法将对应于用户注视的动态对象的虚拟信息叠加于动态对象上。
4.此外，当系统检测到多个用户同时在观看动态对象时，每个用户的视线方向可能不尽相同，系统便无法确定要显示哪一个动态对象相关的虚拟信息，如此一来将使得互动导览系统无法呈现用户正在观看的动态对象所对应的虚拟信息，导致观看者阅读虚拟信息的困难度与不适。


技术实现要素：

5.本发明提供一种主动式互动导览系统，包括可透光的显示设备、目标物图像采集设备、用户图像采集设备以及处理装置。可透光的显示设备设置于至少一用户以及多个动态对象之间。目标物图像采集设备耦接于显示设备，用以取得动态对象图像。用户图像采集设备耦接于显示设备，用以取得用户图像。处理装置耦接显示设备。处理装置用以于动态对象图像中识别动态对象，并跟踪动态对象，处理装置更用以于用户图像中识别至少一用户并选定被服务对象，采集被服务对象的脸部特征并判断该脸部特征是否匹配多个脸部特征点，若脸部特征匹配该些脸部特征点，则处理装置检测被服务对象的视线，其中视线穿越显示设备以注视动态对象的目标对象，若脸部特征未匹配脸部特征点，则该处理装置执行图像分割以将用户图像分割成多张待识别图像，用户图像采集设备对于待识别图像的每一者分别进行用户识别；其中处理装置更用以根据视线识别被服务对象注视的目标对象，生成对应于被服务对象的脸部位置三维坐标以及对应于目标对象的位置三维坐标以及目标对象的深度宽度信息，据以计算视线穿越显示设备的交点位置，并将对应于目标对象的虚拟信息显示于显示设备的交点位置。
6.本发明提供一种主动式互动导览方法，适用于具有可透光的显示设备、目标物图像采集设备、用户图像采集设备以及处理装置的主动式互动导览系统，其中显示设备设置于至少一用户以及多个动态对象之间，处理装置用以执行主动式互动导览方法。主动式互动导览方法包括：藉由目标物图像采集设备取得动态对象图像，于动态对象图像中识别动
态对象，并跟踪动态对象；藉由用户图像采集设备取得用户图像，于用户图像中识别至少一用户并选定被服务对象，采集被服务对象的脸部特征并判断脸部特征是否匹配多个脸部特征点，若脸部特征匹配脸部特征点，则检测被服务对象的视线，其中视线穿越显示设备以注视动态对象的目标对象，若脸部特征未匹配脸部特征点，则执行图像分割以将用户图像分割成多张待识别图像，对于待识别图像的每一者分别进行用户识别；根据视线识别被服务对象注视的目标对象，生成对应于被服务对象的脸部位置三维坐标以及对应于目标对象的位置三维坐标以及目标对象的深度宽度信息，据以计算视线穿越显示设备的交点位置，并将对应于目标对象的虚拟信息显示于显示设备的交点位置。
7.本发明提供一种主动式互动导览系统，包括可透光的显示设备、目标物图像采集设备、用户图像采集设备以及处理装置。可透光的显示设备设置于至少一用户以及多个动态对象之间。目标物图像采集设备耦接于显示设备，用以取得动态对象图像。用户图像采集设备耦接于显示设备，用以取得用户图像。处理装置耦接显示设备。处理装置用以于动态对象图像中识别动态对象，并跟踪动态对象，处理装置更用以于用户图像中识别至少一用户并根据服务场域范围选定被服务对象，检测被服务对象的视线，其中服务场域范围具有初始尺寸，视线穿越显示设备以注视动态对象的目标对象。其中处理装置更用以根据视线识别被服务对象注视的目标对象，生成对应于被服务对象的脸部位置三维坐标以及对应于目标对象的位置三维坐标以及目标对象的深度宽度信息，据以计算视线穿越显示设备的交点位置，并将对应于目标对象的虚拟信息显示于显示设备的交点位置。
8.基于上述，本发明所述的主动式互动导览系统以及主动式互动导览方法能实时跟踪观赏用户的视线方向，稳定跟踪移动目标对象，并且主动地显示与目标对象相应的虚拟信息，提供高精准的扩增实境信息，以及舒适的非接触式互动体验。本发明也能整合内外感知识别以及虚实融合、系统虚实融合配对演算核心，主动由内感知将游客视线所观看的角度，再与外感知ai目标对象物识别，实现扩增实境的应用。另外，本发明也优化虚实融合显示位置校正算法以进行偏移校正方法，提升远距离用户脸部识别，并且筛选被服务对象的优先级，可大大解决人力不足问题，打造知识、信息零距离传达的互动体验。
9.以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
10.图1是根据本发明的一实施例所绘示的主动式互动导览系统的方块图；
11.图2是根据本发明的一实施例所绘示的主动式互动导览系统的示意图；
12.图3a是根据本发明的一实施例所绘示的执行图像分割以识别远距离用户的示意图；
13.图3b是根据本发明的一实施例所绘示的执行图像分割以识别远距离用户的示意图；
14.图3c是根据本发明的一实施例所绘示的执行图像分割以识别远距离用户的示意图；
15.图3d是根据本发明的一实施例所绘示的执行图像分割以识别远距离用户的示意图；
16.图3e是根据本发明的一实施例所绘示的执行图像分割以识别远距离用户的示意
图；
17.图4是根据本发明的一实施例所绘示的主动式互动导览系统挑选被服务对象的示意图；
18.图5是根据本发明的一实施例所绘示的调整服务场域范围的示意图；
19.图6是根据本发明的一实施例所绘示的主动式互动导览方法的流程图；
20.图7是根据本发明的一实施例所绘示的主动式互动导览方法的流程图。
21.附图标号说明
22.1：主动式互动导览系统；
23.110：显示设备；
24.120：目标物图像采集设备；
25.130：用户图像采集设备；
26.140：处理装置；
27.150：数据库；
28.a1～a20：临时图像区块；
29.area1：物件场域；
30.area2：实施场域；
31.area3：服务场域；
32.cp：交点位置；
33.cut1～cut8：分割线；
34.faruser：远距离用户；
35.fr、fr’：识别结果；
36.img、img’：用户图像；
37.img1：中央待识别图像；
38.img2～img9：周边待识别图像；
39.obj：动态对象；
40.p1：聚焦点；
41.seruser：被服务对象；
42.s1、s2、s3：视线；
43.s610、s620、s630、s640、s650、s660、s670、s680、s711、s712、s713、s714、s715、s721、s722、s723、s724、s725、s726a、s726b、s727、s728、s740、s750：步骤；
44.ser_range：服务场域范围；
45.ser_range_l：左范围；
46.ser_range_r：右范围；
47.tarobj：目标对象；
48.user：用户；
49.vinfo：虚拟信息；
50.vf：显示对象框。
具体实施方式
51.下面结合附图对本发明的结构原理和工作原理作具体的描述：
52.本发明的部份范例实施例接下来将会配合附图来详细描述，以下的描述所引用的组件符号，当不同附图出现相同的组件符号将视为相同或相似的组件。这些范例实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些范例实施例仅为本发明的专利申请范围中的方法、装置以及系统的范例。
53.图1是根据本发明的一实施例绘示主动式互动导览系统1的方块图。首先通过图1介绍主动式互动导览系统1中的各个构件以及配置关系，详细功能将配合后续实施例的流程图一并发明。
54.请参考图1。本发明的主动式互动导览系统1包括可透光的显示设备110、目标物图像采集设备120、用户图像采集设备130、处理装置140以及数据库150。其中处理装置140可以通过无线、有线或电性连接于显示设备110、目标物图像采集设备120、用户图像采集设备130以及数据库150。
55.显示设备110设置于至少一用户以及多个动态对象之间。于实作上，显示设备110可例如是液晶显示器(liquid crystal display，lcd)、场色序(field sequential color)液晶显示器、发光二极管(light emitting diode，led)显示器、电湿润显示器等穿透式可透光显示器，或者是投影式可透光显示器。
56.目标物图像采集设备120以及用户图像采集设备130可分别耦接于显示设备130并设置于显示设备110上，或者是仅耦接于显示设备130但各自设置于显示设备110附近。目标物图像采集设备120以及用户图像采集设备130的图像采集方向分别朝向显示设备110的不同方向，即目标物图像采集设备120的图像采集方向朝向具有多个动态对象的方向，而用户图像采集设备130的图像采集方向朝向实施场域中的至少一用户的方向。目标物图像采集设备120用以取得多个动态对象的动态对象图像，而用户图像采集设备130用以取得实施场域中的至少一用户的用户图像。
57.于实作上，目标物图像采集设备120包括rgb图像感测模块、深度感测模块、惯性感测模块以及gps定位感测模块。目标物图像采集设备120可以通过rgb图像感测模块或者是rgb图像感测模块搭配深度感测模块、惯性感测模块或gps定位感测模块来对多个动态对象进行图像识别定位，其中rgb图像感测模块可包括可见光传感器或非可见光传感器如红外线传感器等。此外，目标物图像采集设备120更可以例如是光学定位器来对动态对象进行光学空间定位。只要是可以定位出动态对象所在位置信息的装置或其组合，皆属于目标物图像采集设备120的范畴。
58.用户图像采集设备130包括rgb图像感测模块、深度感测模块、惯性感测模块以及gps定位感测模块。用户图像采集设备130可以通过rgb图像感测模块或者是rgb图像感测模块搭配深度感测模块、惯性感测模块或gps定位感测模块来对至少一用户进行图像识别定位，其中rgb图像感测模块可包括可见光传感器或非可见光传感器如红外线传感器等。只要是可以定位出至少一用户所在位置信息的装置或其组合，皆属于用户图像采集设备130的范畴。
59.于本发明实施例中，上述的图像采集设备可用以采集图像并且包括具有透镜以及感光组件的摄像镜头。上述的深度传感器可用以检测深度信息，其可以利用主动式深度感
测技术以及被动式深度感测技术来实现。主动式深度感测技术可藉由主动发出光源、红外线、超声波、激光等作为信号搭配时差测距技术来计算深度信息。被动式深度感测技术可以藉由两个图像采集设备以不同视角采集其前方的两张图像，以利用两张图像的视差来计算深度信息。
60.处理装置140用以控制主动式互动导览系统1的作动，其可包括内存以及处理器(图1未示出)。内存可以例如是任意型式的固定式或可移动式随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。处理器可以例如是中央处理单元(central processing unit，cpu)、应用处理器(application processor，ap)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，dsp)、图像信号处理器(image signal processor，isp)、图形处理器(graphics processing unit，gpu)或其他类似装置、集成电路及其组合。
61.数据库150耦接处理装置140，用以储存提供处理装置140进行特征比对的数据。数据库150可以任意型式的提供储存数据或程序的存储媒体，例如是任意型式的固定式或可移动式随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。
62.在本实施例中，处理装置140可以是内建于显示设备110或连接显示设备110的计算器装置。目标物图像采集设备120以及用户图像采集设备130可以是分别设置于主动式互动导览系统1所属场域相对于显示设备110的相对两侧等，用以对用户以及动态对象进行定位，并且通过各自的通信接口以有线或是无线的方式传输信息至处理装置140。于一些实施例中，目标物图像采集设备120以及用户图像采集设备130也可各自具有处理器与内存，并具有可根据图像数据进行对象识别与对象跟踪的计算能力。
63.图2是根据本发明的一实施例所绘示的主动式互动导览系统1的示意图。请参照图2，显示设备110的一侧面向物件场域area1，而显示设备110的另一侧面向实施场域area2。目标物图像采集设备120以及用户图像采集设备130均耦接于显示设备110，目标物图像采集设备120的图像采集方向朝向对象场域area1，而用户图像采集设备130的图像采集方向朝向实施场域area2。其中，实施场域area2中包含了服务场域area3，欲通过显示设备110观看动态对象obj所对应的虚拟信息的用户可站立于服务场域area3。
64.动态对象obj位于对象场域area1，图2中所示的动态对象obj仅是示意，动态对象obj可只有一个，或者是多个。观看动态对象obj的用户user位于实施场域area2或服务场域area3，图2中所示的用户user仅是示意，用户user可只有一位，或者是多位。
65.用户user可于服务场域area3通过显示设备110观看位于对象场域area1的动态对象obj。于一些实施例中，目标物图像采集设备120用以取得动态对象obj的动态对象图像，处理装置140于动态对象图像中识别动态对象obj的空间位置信息，并跟踪动态对象obj。而用户图像采集设备130用以取得用户user的用户图像，处理装置140于用户图像中识别用户user的空间位置信息，并选定被服务对象seruser。
66.当用户user站在服务场域area3时，用户user在用户图像采集设备130所取得的用户图像中占比适中，处理装置140可通过一般的人脸识别方法识别用户user并选定被服务对象seruser。但倘若用户user没有站在服务场域area3而是站在实施场域area2时，此时称
用户为远距离用户faruser，用户图像采集设备130亦可拍摄远距离用户faruser以取得用户图像。但由于远距离用户faruser在用户图像中的占比太小，处理装置140可能无法通过一般的人脸识别方法识别远距离用户faruser，并从远距离用户faruser中选定被服务对象seruser。
67.于一实施例中，数据库150储存多个脸部特征点。当处理装置140于用户图像中识别用户user并选定被服务对象seruser后，处理装置140采集被服务对象seruser的脸部特征，并判断脸部特征是否匹配多个脸部特征点。此处的脸部特征为人脸上眼睛、鼻子、嘴巴、眉毛、脸型等人脸上的特征，一般来说，脸部特征点会有468个，一旦采集出的脸部特征匹配默认的脸部特征点时，则可有效地进行用户识别。
68.若处理装置140判断脸部特征匹配多个脸部特征点，代表用户user在用户图像采集设备130所取得的用户图像中占比适中，处理装置140可通过一般的人脸识别方法识别用户user并选定被服务对象seruser。此时，处理装置140利用脸部特征点计算被服务对象seruser的脸部位置以检测被服务对象seruser的视线s1的视线方向，并生成对应于被服务对象seruser的编号(id)以及脸部位置三维坐标(xu,yu,zu)。
69.其中视线s1是表示当被服务对象seruser的视线穿越显示设备110注视多个动态对象obj中的一目标对象tarobj时，眼睛聚焦在目标对象tarobj的一部位。图2中所示的视线s2或者是视线s3则是表示当被服务对象seruser的视线穿越显示设备110注视多个动态对象obj中的一目标对象tarobj时，眼睛聚焦在目标对象tarobj的其他部位。
70.若处理装置140判断脸部特征未匹配多个脸部特征点，有可能是没有任何用户站在实施场域area2和服务场域area3，或者是有远距离用户faruser站在实施场域area2，也可能是用户图像采集设备130需要执行补光机制，以提高用户图像的清晰度。当处理装置140检测到于实施场域area2有远距离用户faruser时，会先执行图像分割以将用户图像分割成多张待识别图像，其中多张待识别图像中的至少一者中会包括远距离用户faruser，如此一来，远距离用户faruser在那一张待识别图像中的占比会提高，将有利于处理装置140对远距离用户faruser进行用户识别，于多张待识别图像中识别远距离用户faruser的空间位置信息。处理装置140对于多张待识别图像的每一者分别进行用户识别，于具有远距离用户faruser的那一张待识别图像中采集远距离用户faruser的脸部特征，并利用脸部特征点计算远距离用户faruser中的被服务对象seruser的脸部位置及视线s1的视线方向。
71.然而，一般的图像分割技术大多是以多条分割线直接将图像分割成多张小图像。若是以一般的图像分割技术来分割本发明所述的用户图像，分割线极有可能会刚好落在用户图像中的远距离用户faruser的人脸，如此一来，处理装置140将无法有效地对远距离用户faruser进行用户识别。
72.因此，本发明一实施例的处理装置140在执行图像分割时，将通过临时分割线将用户图像暂时区分成多个临时图像区块，而后再基于临时图像区块将用户图像分割成多张待识别图像。并且，多张待识别图像中的一者与相邻的另一者具有重叠区域，此处所说的「相邻」可为上下相邻、左右相邻或对角线相邻。重叠区域是为了确保用户图像中的远距离用户faruser的人脸能够完整地保留于待识别图像之中。接下来将详细说明本发明所述的处理装置140如何执行图像分割以识别远距离用户faruser。
73.图3a～3e是根据本发明的一实施例所绘示的执行图像分割以识别远距离用户的
示意图。请先参考图3a、3b。首先，处理装置140可通过临时分割线cut1～cut8将用户图像img暂时区分成多个临时图像区块a1～a20。而后，处理装置140再基于临时图像区块a1～a20将用户图像img分割成多张待识别图像。其中，多张待识别图像包含一个中央待识别图像以及多个周边待识别图像。
74.举例来说，如图3b、3c所示，处理装置140基于临时图像区块a7、a8、a9、a12、a13、a14、a17、a18以及a19分割出中央待识别图像img1，处理装置140基于临时图像区块a4、a5、a9以及a10分割出周边待识别图像img2，处理装置140基于临时图像区块a9、a10、a14、a15、a19以及a20分割出周边待识别图像img3，处理装置140基于临时图像区块a19、a20、24以及a25分割出周边待识别图像img4，处理装置140基于临时图像区块a1、a2、a6以及a7分割出周边待识别图像img5，处理装置140基于临时图像区块a6、a7、a11、a12、a16以及a17分割出周边待识别图像img6，处理装置140基于临时图像区块a16、a17、a21以及a22分割出周边待识别图像img7，处理装置140基于临时图像区块a2、a3、a4、a7、a8以及a9分割出周边待识别图像img8，处理装置140基于临时图像区块a17、a18、a19、a22、a23以及a24分割出周边待识别图像img9。
75.以中央待识别图像img1为例，与中央待识别图像img1互为上下相邻的待识别图像为周边待识别图像img8以及周边待识别图像img9。在中央待识别图像img1与周边待识别图像img8之间具有重叠区域，包括临时图像区块a7、a8、a9。在中央待识别图像img1与周边待识别图像img9之间也具有重叠区域，包括临时图像区块a17、a18、a19。
76.与中央待识别图像img1互为左右相邻的待识别图像为周边待识别图像img3以及周边待识别图像img6。在中央待识别图像img1与互为左右相邻的周边待识别图像img3之间具有重叠区域，包括临时图像区块a9、a14、a19。在中央待识别图像img1与互为左右相邻的周边待识别图像img6之间具有重叠区域，包括临时图像区块a7、a12、a17。
77.而与中央待识别图像img1互为对角线相邻的待识别图像为周边待识别图像img2、周边待识别图像img4、周边待识别图像img5以及周边待识别图像img7。在中央待识别图像img1与互为对角线相邻的周边待识别图像img2之间具有重叠区域，包括临时图像区块a9。
78.此外，例如周边待识别图像img5以及周边待识别图像img6是互为上下相邻的待识别图像，在两者之间也具有重叠区域，包括临时图像区块a6、a7。例如周边待识别图像img5以及周边待识别图像img8是互为左右相邻的待识别图像，在两者之间也具有重叠区域，包括临时图像区块a2、a7。
79.当处理装置140将用户图像img分割成中央待识别图像img1以及周边待识别图像img2～img9之后，用户图像采集设备130会针对中央待识别图像img1以及周边待识别图像img2～img9每一者进行脸部识别。如图3d所示，处理装置140在中央待识别图像img1中识别到用户的脸，并产生识别结果fr。当处理装置140针对每一张待识别图像进行脸部识别并得到对应于每一张待识别图像的识别结果之后，如图3e所示，处理装置140将中央待识别图像img1以及周边待识别图像img2～img9融合为识别后用户图像img’，并且根据识别结果fr’识别远距离用户faruser的空间位置信息。
80.于一实施例中，数据库150储存对应动态对象obj每一者的多个对象特征点。其中当处理装置140根据被服务对象seruser的视线s1识别出被服务对象seruser注视的目标对象tarobj后，处理装置140采集目标对象tarobj的像素特征，将像素特征与对象特征点进行
比对；倘若像素特征匹配对象特征点，处理装置140生成对应于目标对象tarobj的编号、对应于目标对象tarobj的位置三维坐标(xo,yo,zo)以及目标对象tarobj的深度宽度信息(wo,ho)。
81.处理装置140可根据被服务对象seruser的空间位置信息以及目标对象tarobj的空间位置信息来决定虚拟信息vinfo于显示设备110上的显示位置。详细来说，处理装置140根据被服务对象seruser的脸部位置三维坐标(xu,yu,zu)以及目标对象tarobj的位置三维坐标(xo,yo,zo)、深度宽度信息(ho,wo)计算被服务对象seruser的视线s1穿越显示设备110的交点位置cp，并将对应于目标对象tarobj的虚拟信息vinfo显示于显示设备110的交点位置cp。于图2中，虚拟信息vinfo可显示在一个显示对象框vf中，该显示对象框vf的中心点为交点位置cp。
82.具体来说，显示虚拟信息vinfo的显示位置可视为被服务对象seruser观看目标对象tarobj时视线s1穿越显示设备110的落点或区域。藉此，处理装置140可在交点位置cp利用显示对象框vf来显示虚拟信息vinfo。更具体而言，基于各式需求或不同应用，处理装置140可决定虚拟信息vinfo的实际显示位置，以让被服务对象seruser可通过显示设备110看到迭合于目标对象tarobj上的虚拟信息vinfo。虚拟信息vinfo可视为基于目标对象tarobj而扩增的扩增实境内容。
83.另外，处理装置140也会判断对应于目标对象tarobj的虚拟信息vinfo是否迭合显示于显示设备110的交点位置cp。倘若处理装置140判断虚拟信息vinfo未迭合显示于显示设备110的交点位置cp，处理装置140针对虚拟信息vinfo的显示位置进行偏移校正。举例来说，处理装置140可藉由信息偏移校正方程式对虚拟信息vinfo的位置进行偏移校正，优化虚拟信息vinfo的实际显示位置。
84.于前述段落有叙及，当处理装置140于用户图像中识别用户user并选定被服务对象seruser后，采集被服务对象seruser的脸部特征，判断脸部特征是否匹配多个脸部特征点，利用脸部特征点计算被服务对象seruser的脸部位置及视线s1的视线方向，并生成对应于被服务对象seruser的编号(id)以及脸部位置三维坐标(xu,yu,zu)。
85.当多个用户user在服务场域area3内时，处理装置140于用户图像中识别该至少一用户，通过用户筛选机制于从服务场域area3的多个用户user中挑选出被服务对象seruser。图4是根据本发明的一实施例所绘示的主动式互动导览系统挑选被服务对象seruser的示意图，请同时参考图2和图4。处理装置140可滤除服务场域area3以外的用户，从服务场域area3的用户user中筛选出被服务对象seruser。于一实施例中，可以根据用户user所处的位置远近，挑选离用户图像采集设备130较近的用户user作为被服务对象seruser。于另一实施例中，可以根据用户user所处的位置，挑选离用户图像采集设备130的中心较近的用户user作为被服务对象seruser。于另一实施例中，也可以如图4中所示，根据用户user的左右关系，挑选相对处在中间的用户user作为被服务对象seruser。
86.一旦处理装置140从用户图像img识别用户user并选定被服务对象seruser后，用户图像img的底部会显示服务场域范围ser_range，在用户图像img上的被服务对象seruser的脸部会被标记聚焦点p1，并且显示被服务对象seruser距离用户图像采集设备130的距离(例如873.3mm)。此时，用户图像采集设备130会先滤除掉其他用户user，以更精准地聚焦于被服务对象seruser。
87.当处理装置140于用户图像img中选定被服务对象seruser后，采集被服务对象seruser的脸部特征，利用脸部特征点计算被服务对象seruser的脸部位置及视线的视线方向，并生成对应于被服务对象seruser的编号(id)以及脸部位置三维坐标(xu,yu,zu)，其中聚焦点p1的位置可位于被服务对象seruser的脸部位置三维坐标(xu,yu,zu)。另外，处理装置140也会根据被服务对象seruser与用户图像采集设备130的距离生成脸部深度信息(ho)。
88.当被服务对象seruser于服务场域area3的范围内左右移动时，处理装置140以被服务对象seruser的脸部位置三维坐标(xu,yu,zu)中的水平坐标xu为中心点，根据被服务对象seruser的位置动态平移服务场域范围ser_range。图5是根据本发明的一实施例所绘示的调整服务场域范围ser_range的示意图，请参考图5。当被服务对象seruser于服务场域area3的范围内左右移动时，服务场域范围ser_range会跟随着被服务对象seruser的脸部位置(聚焦点p1)为中心点动态左右平移，但服务场域范围ser_range的尺寸可维持不变。
89.服务场域范围ser_range可具有初始尺寸(例如60cm)或者是可变动尺寸。当被服务对象seruser于服务场域area3的范围内前后移动时，随着被服务对象seruser与用户图像采集设备130之间的距离不同，也可适当调整服务场域范围ser_range的尺寸。如图5所示，处理装置140以被服务对象seruser的脸部位置(聚焦点p1)为中心点，根据被服务对象seruser的脸部深度信息(ho)调整服务场域范围ser_range的左右尺寸，即调整服务场域范围ser_range的左范围ser_range_l以及右范围ser_range_r。
90.于一实施例中，处理装置140可根据脸部深度信息(ho)计算服务场域范围ser_range的左范围ser_range_l以及右范围ser_range_r，如下：
[0091][0092]
其中，width是指相机分辨率的宽度值，例如相机分辨率1280x720，则width为1280，又例如相机分辨率为1920x1080，则width为1920。fovw为用户图像采集设备130的视野宽度。
[0093]
一旦被服务对象seruser离开服务场域area3的范围时，处理装置140便无法于服务场域范围ser_range检测到被服务对象seruser。于一实施例中，用户图像采集设备130会重置服务场域范围ser_range的尺寸，并且将服务场域范围ser_range移至初始位置，例如底部中央。服务场域范围ser_range移至初始位置的方式，可以是渐进式地缓慢移动至初始位置，也可以是立即移动至初始位置。于另一实施例中，处理装置140也可不将服务场域范围ser_range移至初始位置，而是通过用户筛选机制于从服务场域area3的多个用户user中再挑选下一位被服务对象seruser，当挑选到下一位被服务对象seruser后，处理装置140再以下一位被服务对象seruser的脸部位置三维坐标(xu,yu,zu)中的水平坐标xu为中心点，根据下一位被服务对象seruser的位置动态平移服务场域范围ser_range。
[0094]
于一实施例中，本发明还提供一种主动式互动导览系统，可通过用户筛选机制于从服务场域的多个用户中挑选出被服务对象，并根据被服务对象的视线识别被服务对象注视的目标对象，将对应于目标对象的虚拟信息显示于显示设备的交点位置。请再参考图1、2。主动式互动导览系统1包括可透光的显示设备110、目标物图像采集设备120、用户图像采
集设备130以及处理装置140。可透光的显示设备110设置于至少一用户user以及多个动态对象obj之间。目标物图像采集设备120耦接于显示设备110，用以取得动态对象obj的动态对象图像。用户图像采集设备130耦接于显示设备110，用以取得用户user的用户图像。
[0095]
处理装置140耦接显示设备110。处理装置140用以于动态对象图像中识别动态对象obj，并跟踪动态对象obj。处理装置更用以于用户图像中识别至少一用户user，并根据服务场域area3的范围选定被服务对象seruser，检测被服务对象seruser的视线s1。其中服务场域area3的范围具有初始尺寸，被服务对象seruser的视线s1穿越显示设备110以注视动态对象obj的目标对象tarobj。其中处理装置140更用以根据被服务对象seruser的视线s1识别被服务对象seruser注视的目标对象tarobj，生成对应于被服务对象seruser的脸部位置三维坐标(xu,yu,zu)以及对应于目标对象tarobj的位置三维坐标以及目标对象的深度宽度信息(ho,wo)，据以计算被服务对象seruser的视线s1穿越显示设备110的交点位置cp，并将对应于目标对象tarobj的虚拟信息vinfo显示于显示设备110的交点位置cp。详细作法已于前面段落叙述，此处不再多做赘述。
[0096]
于一实施例中，当被服务对象seruser移动时，处理装置140以被服务对象seruser的该脸部位置三维坐标(xu,yu,zu)为中心点动态调整服务场域area3的范围的左右尺寸。
[0097]
于一实施例中，当处理装置140于用户图像中的服务场域area3的范围未识别到被服务对象seruser时，将服务场域area3的范围重置为该初始尺寸。
[0098]
本发明所述的目标物图像采集设备120、用户图像采集设备130以及处理装置140是采用分别进行包含使用平行运算的程序代码撰写方式，并搭配多核心的中央处理器采用多线程进行平行处理。
[0099]
图6是根据本发明的一实施例所绘示的主动式互动导览方法6的流程图，请同时参照图1、图2以及图6，图6的主动式互动导览方法6的流程可由图1与图2的主动式互动导览系统1来实现。在此，用户user(被服务对象seruser)可通过主动式互动导览系统1的显示设备110来观看动态对象obj、目标对象tarobj及其对应的虚拟信息vinfo。
[0100]
于步骤s610，藉由目标物图像采集设备120取得动态对象图像，于动态对象图像中识别动态对象obj，并跟踪动态对象obj。于步骤s620，藉由用户图像采集设备130取得用户图像，于用户图像中识别用户并选定被服务对象seruser。如同前述，目标物图像采集设备120以及用户图像采集设备130均可包括rgb图像感测模块、深度感测模块、惯性感测模块以及gps定位感测模块，针对用户user、被服务对象seruser、动态对象obj以及目标对象tarobj的所在位置进行定位。
[0101]
于步骤s630，采集被服务对象seruser的脸部特征，并判断脸部特征是否匹配多个脸部特征点。若脸部特征匹配多个脸部特征点，则于步骤s640，检测被服务对象seruser的视线s1。若脸部特征未匹配多个脸部特征点，则于步骤s650，执行图像分割以将用户图像分割成多张待识别图像，对于多张待识别图像的每一者分别进行用户识别，直到当多张待识别图像中的其中至少一张的被服务对象seruser的脸部特征匹配多个脸部特征点时，则于步骤s640，检测被服务对象seruser的视线s1。其中视线s1穿越显示设备110以注视动态对象obj的目标对象tarobj。
[0102]
检测被服务对象seruser的视线s1后，接着，于步骤s660，根据被服务对象seruser的视线s1识别被服务对象seruser注视的目标对象tarobj，生成对应于被服务对象seruser
的脸部位置三维坐标(xu,yu,zu)以及对应于目标对象tarobj的位置三维坐标(xo,yo,zo)以及目标对象tarobj的深度宽度信息(ho,wo)。于步骤s670，根据被服务对象seruser的脸部位置三维坐标(xu,yu,zu)以及目标对象tarobj的位置三维坐标(xo,yo,zo)、深度宽度信息(ho,wo)计算被服务对象seruser的视线s1穿越显示设备110的交点位置cp。于步骤s680，将对应于目标对象tarobj的虚拟信息vinfo显示于显示设备110的交点位置cp。
[0103]
图7是根据本发明的一实施例所绘示的主动式互动导览方法7的流程图，主要是更进一步说明图6所示主动式互动导览方法6中的步骤s610～步骤660。请参照图2、7。于步骤s711，藉由目标物图像采集设备120采集动态对象图像。于步骤s712，根据被服务对象seruser的视线s1识别出被服务对象seruser注视的目标对象tarobj。于步骤s713，采集目标对象tarobj的像素特征。于步骤s714，将像素特征与数据库150储存的对应动态对象obj每一者的多个对象特征点进行比对。倘若像素特征不匹配数据库150储存的对象特征点，则回到步骤s711继续采集动态对象图像。倘若像素特征匹配对象特征点，则于步骤s715，生成对应于目标对象tarobj的编号、对应于目标对象tarobj的位置三维坐标(xo,yo,zo)以及目标对象tarobj的深度宽度信息(wo,ho)。
[0104]
另一方面，于步骤s721，藉由用户图像采集设备130采集用户图像。于步骤s722，识别用户user并选定被服务对象seruser。于步骤s723，采集被服务对象seruser的脸部特征。于步骤s724，判断被服务对象seruser的脸部特征是否匹配多个脸部特征点。倘若被服务对象seruser的脸部特征匹配数据库150储存的脸部特征点，则于步骤s725，检测被服务对象seruser的视线s1。
[0105]
倘若被服务对象seruser的脸部特征并不匹配数据库150储存的脸部特征点，一方面于步骤s726a，执行图像分割以将用户图像分割成多张待识别图像，对于多张待识别图像的每一者分别进行用户识别，直到多张待识别图像中的其中至少一张的被服务对象seruser的脸部特征匹配多个脸部特征点，则于步骤s725，检测被服务对象seruser的视线s1。另一方面于步骤s726b，对用户图像采集设备130执行补光机制，以提高用户图像的清晰度。
[0106]
检测被服务对象seruser的视线s1后，接着，于步骤s727，利用脸部特征点计算被服务对象seruser的脸部位置及视线s1的视线方向。于步骤s728，生成对应于被服务对象seruser的编号(id)以及脸部位置三维坐标(xu,yu,zu)。
[0107]
当目标对象tarobj的编号、对应于目标对象tarobj的位置三维坐标(xo,yo,zo)、目标对象tarobj的深度宽度信息(wo,ho)、对应于被服务对象seruser的编号(id)以及脸部位置三维坐标(xu,yu,zu)都已经被生成之后，于步骤s740，根据被服务对象seruser的脸部位置三维坐标(xu,yu,zu)以及目标对象tarobj的位置三维坐标(xo,yo,zo)、深度宽度信息(ho,wo)计算被服务对象seruser的视线s1穿越显示设备110的交点位置cp。于步骤s750，将对应于目标对象tarobj的虚拟信息vinfo显示于显示设备110的交点位置cp。
[0108]
于一实施例中，本发明所述的主动式互动导览方法可判断对应于目标对象tarobj的虚拟信息vinfo是否迭合显示于显示设备110的交点位置cp；倘若判断虚拟信息vinfo未迭合显示于显示设备110的交点位置cp，可藉由信息偏移校正方程式对虚拟信息vinfo的位置进行偏移校正。
[0109]
若被服务对象seruser在用户图像中的占比太小，造成无法采集被服务对象
seruser的脸部特征，并利用脸部特征点计算被服务对象seruser的脸部位置及视线s1的视线方向时，本发明所述的主动式互动导览方法可先将用户图像分割成多张待识别图像。该些待识别图像包含中央待识别图像以及多个周边待识别图像，其中该些待识别图像中的一者与相邻的另一者具有重叠区域，而该些待识别图像中的一者与所述相邻的另一者可为上下相邻、左右相邻或对角线相邻。详细作法已于前面段落详述，此处不再赘述。
[0110]
当多个用户user在服务场域area3内时，本发明所述的主动式互动导览方法可藉由处理装置140于用户图像中识别至少一用户，通过用户筛选机制于从服务场域area3的多个用户user中挑选出被服务对象seruser。一旦从用户图像img识别用户user并选定被服务对象seruser后，用户图像img的底部会显示服务场域范围ser_range，以更精准地聚焦于被服务对象seruser。服务场域范围ser_range可具有初始尺寸或者是可变动尺寸。
[0111]
当在用户图像img中选定被服务对象seruser后，采集被服务对象seruser的脸部特征，利用脸部特征点计算被服务对象seruser的脸部位置及视线的视线方向，并生成对应于被服务对象seruser的编号(id)以及脸部位置三维坐标(xu,yu,zu)，其中聚焦点p1的位置可位于被服务对象seruser的脸部位置三维坐标(xu,yu,zu)。另外，也会根据被服务对象seruser与用户图像采集设备130的距离生成脸部深度信息(ho)。
[0112]
当被服务对象seruser于服务场域area3的范围内左右移动时，本发明所述的主动式互动导览方法会以被服务对象seruser的脸部位置三维坐标(xu,yu,zu)中的水平坐标xu为中心点，根据被服务对象seruser的位置动态平移服务场域范围ser_range。当被服务对象seruser于服务场域area3的范围内左右移动时，服务场域范围ser_range会跟随着被服务对象seruser的脸部位置(聚焦点p1)为中心点动态左右平移，但服务场域范围ser_range的尺寸可维持不变。
[0113]
当被服务对象seruser于服务场域area3的范围内前后移动时，随着被服务对象seruser与用户图像采集设备130之间的距离不同，也可适当调整服务场域范围ser_range的宽度。详细作法已于前面段落详述，此处不再赘述。
[0114]
综上所述，本发明的实施例所述的主动式互动导览系统以及主动式互动导览方法具有实时跟踪观赏用户的视线方向，稳定跟踪移动目标对象，并且主动地显示与目标对象相应的虚拟信息，提供高精准的扩增实境信息，以及舒适的非接触式互动体验。本发明的实施例也能整合内外感知识别以及虚实融合、系统虚实融合配对演算核心，主动由内感知将游客视线所观看的角度，再与外感知ai目标对象物识别，实现扩增实境的应用。另外，本发明的实施例也优化虚实融合显示位置校正算法以进行偏移校正方法，提升远距离用户脸部识别，并且筛选被服务对象的优先级，可大大解决人力不足问题，打造知识、信息零距离传达的互动体验。
[0115]
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

技术特征：
1.一种主动式互动导览系统，其特征在于，包括：可透光的显示设备，设置于至少一用户以及多个动态对象之间；目标物图像采集设备，耦接于该显示设备，用以取得动态对象图像；用户图像采集设备，耦接于该显示设备，用以取得用户图像；以及处理装置，耦接该显示设备，该处理装置用以于该动态对象图像中识别该些动态对象，并跟踪该些动态对象，以及于该用户图像中识别该至少一用户并选定一被服务对象，采集该被服务对象的脸部特征并判断该脸部特征是否匹配多个脸部特征点，若该脸部特征匹配该些脸部特征点，则该处理装置检测该被服务对象的视线，若该脸部特征未匹配该些脸部特征点，则该处理装置执行图像分割以将该用户图像分割成多张待识别图像，对于该些待识别图像的每一者分别进行用户识别以检测该被服务对象的该视线，其中该视线穿越该显示设备以注视该些动态对象的一目标对象；其中该处理装置更用以根据该视线识别该被服务对象注视的该目标对象，生成对应于该被服务对象的脸部位置三维坐标以及对应于该目标对象的位置三维坐标以及该目标对象的深度宽度信息，据以计算该视线穿越该显示设备的交点位置，并将对应于该目标对象的虚拟信息显示于该显示设备的该交点位置。2.根据权利要求1所述的主动式互动导览系统，其特征在于，该些待识别图像包含一中央待识别图像以及多个周边待识别图像。3.根据权利要求1所述的主动式互动导览系统，其特征在于，该些待识别图像中的一者与相邻的另一者具有重叠区域。4.根据权利要求3所述的主动式互动导览系统，其特征在于，该些待识别图像中的一者与所述相邻的另一者可为上下相邻、左右相邻或对角线相邻。5.根据权利要求1所述的主动式互动导览系统，其特征在于，该目标物图像采集设备、该用户图像采集设备以及该处理装置是采用分别进行包含使用平行运算的程序代码撰写方式，并搭配多核心的中央处理器采用多线程进行平行处理。6.根据权利要求1所述的主动式互动导览系统，其特征在于，该用户图像采集设备包括rgb图像感测模块、深度感测模块、惯性感测模块以及gps定位感测模块。7.根据权利要求1所述的主动式互动导览系统，其特征在于，若该脸部特征匹配该些脸部特征点，则该处理装置利用该些脸部特征点计算该被服务对象的脸部位置及该视线的视线方向，并生成对应于该被服务对象的编号以及该脸部位置三维坐标。8.根据权利要求7所述的主动式互动导览系统，其特征在于，该处理装置于该用户图像中识别该至少一用户并根据一服务场域范围选定该被服务对象，其中该服务场域范围具有一初始尺寸。9.根据权利要求8所述的主动式互动导览系统，其特征在于，当该被服务对象移动时，该处理装置以该被服务对象的该脸部位置三维坐标为中心点动态调整该服务场域范围的左右尺寸。10.根据权利要求9所述的主动式互动导览系统，其特征在于，当该处理装置于该用户图像中的该服务场域范围未识别到该被服务对象时，将该服务场域范围重置为该初始尺寸。11.根据权利要求1所述的主动式互动导览系统，其特征在于，更包括：
数据库，耦接该处理装置，用以储存对应该些动态对象每一者的多个对象特征点；其中当该处理装置识别出该被服务对象注视的该目标对象后，该处理装置采集该目标对象的像素特征，将该像素特征与该些对象特征点进行比对；倘若该像素特征匹配该些对象特征点，该处理装置生成对应于该目标对象的编号、对应该目标对象的该位置三维坐标以及该目标对象的深度宽度信息。12.根据权利要求1所述的主动式互动导览系统，其特征在于，该处理装置判断对应于该目标对象的该虚拟信息是否迭合显示于该显示设备的该交点位置；倘若该虚拟信息未迭合显示于该显示设备的该交点位置，该处理装置针对该虚拟信息的位置进行偏移校正。13.一种主动式互动导览方法，适用于具有可透光的显示设备、目标物图像采集设备、用户图像采集设备以及处理装置的主动式互动导览系统，其特征在于，该显示设备设置于至少一用户以及多个动态对象之间，该处理装置用以执行该主动式互动导览方法，该主动式互动导览方法包括：藉由该目标物图像采集设备取得动态对象图像，于该动态对象图像中识别该些动态对象，并跟踪该些动态对象；藉由该用户图像采集设备取得用户图像，于该用户图像中识别该至少一用户并选定一被服务对象，采集该被服务对象的脸部特征并判断该脸部特征是否匹配多个脸部特征点，若该脸部特征匹配该些脸部特征点，则检测该被服务对象的视线，若该脸部特征未匹配该些脸部特征点，则执行图像分割以将该用户图像分割成多张待识别图像，对于该些待识别图像的每一者分别进行用户识别以检测该被服务对象的该视线，其中该视线穿越该显示设备以注视该些动态对象的一目标对象；以及根据该视线识别该被服务对象注视的该目标对象，生成对应于该被服务对象的脸部位置三维坐标以及对应于该目标对象的位置三维坐标以及该目标对象的深度宽度信息，据以计算该视线穿越该显示设备的交点位置，并将对应于该目标对象的虚拟信息显示于该显示设备的该交点位置。14.根据权利要求13所述的主动式互动导览方法，其特征在于，该些待识别图像包含一中央待识别图像以及多个周边待识别图像。15.根据权利要求13所述的主动式互动导览方法，其特征在于，该些待识别图像中的一者与相邻的另一者具有重叠区域。16.根据权利要求15所述的主动式互动导览方法，其特征在于，该些待识别图像中的一者与所述相邻的另一者可为上下相邻、左右相邻或对角线相邻。17.根据权利要求13所述的主动式互动导览方法，其特征在于，更包括：若该脸部特征匹配该些脸部特征点，则利用该些脸部特征点计算该被服务对象的脸部位置及该视线的视线方向；以及生成对应于该被服务对象的编号以及该脸部位置三维坐标。18.根据权利要求17所述的主动式互动导览方法，其特征在于，藉由该用户图像采集设备取得用户图像，于该用户图像中识别该至少一用户并选定该被服务对象的步骤更包括：于该用户图像中识别该至少一用户并根据一服务场域范围选定该被服务对象，其中该服务场域范围具有一初始尺寸。
19.根据权利要求18所述的主动式互动导览方法，其特征在于，更包括：当该被服务对象移动时，以该被服务对象的该脸部位置三维坐标为中心点动态调整该服务场域范围的左右尺寸。20.根据权利要求19所述的主动式互动导览方法，其特征在于，更包括：当于该用户图像中的该服务场域范围未识别到该被服务对象时，将该服务场域范围重置为该初始尺寸。21.根据权利要求13所述的主动式互动导览方法，其特征在于，更包括：当识别出该被服务对象注视的该目标对象后，采集该目标对象的像素特征，将该像素特征与该些对象特征点进行比对；以及倘若该像素特征匹配该些对象特征点，生成对应于该目标对象的编号、对应该目标对象的该位置三维坐标以及该目标对象的深度宽度信息。22.根据权利要求13所述的主动式互动导览方法，其特征在于，更包括：判断对应于该目标对象的该虚拟信息是否迭合显示于该显示设备的该交点位置；以及倘若该虚拟信息未迭合显示于该显示设备的该交点位置，针对该虚拟信息的位置进行偏移校正。23.一种主动式互动导览系统，其特征在于，包括：可透光的显示设备，设置于至少一用户以及多个动态对象之间；目标物图像采集设备，耦接于该显示设备，用以取得动态对象图像；用户图像采集设备，耦接于该显示设备，用以取得用户图像；以及处理装置，耦接该显示设备，该处理装置用以于该动态对象图像中识别该些动态对象，并跟踪该些动态对象，该处理装置更用以于该用户图像中识别该至少一用户并根据一服务场域范围选定一被服务对象，检测该被服务对象的视线，其中该服务场域范围具有一初始尺寸，该视线穿越该显示设备以注视该些动态对象的一目标对象；其中该处理装置更用以根据该视线识别该被服务对象注视的该目标对象，生成对应于该被服务对象的脸部位置三维坐标以及对应于该目标对象的位置三维坐标以及该目标对象的深度宽度信息，据以计算该视线穿越该显示设备的交点位置，并将对应于该目标对象的虚拟信息显示于该显示设备的该交点位置。24.根据权利要求23所述的主动式互动导览系统，其特征在于，当该被服务对象移动时，该处理装置以该被服务对象的该脸部位置三维坐标为中心点动态调整该服务场域范围的左右尺寸。25.根据权利要求24所述的主动式互动导览系统，其特征在于，当该处理装置于该用户图像中的该服务场域范围未识别到该被服务对象时，将该服务场域范围重置为该初始尺寸。

技术总结
本发明提供一种主动式互动导览系统，包括显示设备、目标物图像采集设备、用户图像采集设备以及处理装置。目标物图像采集设备取得动态对象图像。用户图像采集设备取得用户图像。处理装置自用户图像识别并选定被服务对象，采集被服务对象的脸部特征。若脸部特征匹配脸部特征点，则处理装置检测被服务对象的视线并据以识别被服务对象注视的目标对象，生成对应于被服务对象的脸部位置三维坐标、对应于目标对象的位置三维坐标以及深度宽度信息，据以计算视线穿越显示设备的交点位置，并将目标对象的虚拟信息显示于显示设备的交点位置。虚拟信息显示于显示设备的交点位置。虚拟信息显示于显示设备的交点位置。


技术研发人员：刘得鋕 郑莛薰 赵玉如 陈健龙 林郁欣
受保护的技术使用者：财团法人工业技术研究院
技术研发日：2023.01.05
技术公布日：2023/7/12