以低时延发送多条应用数据的方法和装置与流程

1.本公开的各种实施例涉及通过电子装置向可穿戴显示装置(例如，ar眼镜)发送多个应用的图形数据的方法和装置。


背景技术：

2.随着数字技术的发展，已经广泛使用了各种类型的电子装置，诸如移动通信终端、个人数字助理(pda)、电子调度器、智能手机、平板个人计算机(pc)、可穿戴显示装置。如上所述的电子装置在硬件部分和/或软件部分不断改进，以支持和增加其功能。
3.例如，电子装置可以通过诸如蓝牙和wi-fi直连的短程无线通信连接到可穿戴显示装置、无线音频输出装置(例如，耳机或头戴式耳机)、膝上型计算机，以输出或交换信息(或内容)。例如，电子装置可以经由短程通信连接到无线音频输出装置，以通过无线音频输出装置输出音乐或视频的声音。可穿戴显示装置可以包括ar眼镜、智能眼镜或头戴式装置(例如，头戴式显示器(hmd))。电子装置可以连接到可穿戴显示装置，以通过可穿戴显示装置输出被应用了诸如虚拟现实(vr)、增强现实(ar)和/或混合现实(mr)的扩展现实(xr)技术的各种内容。例如，可穿戴显示装置可以将各种数字内容(例如，虚拟图像)重叠(或覆盖)到真实世界上，并将其作为单个图像提供。
4.可穿戴显示装置被穿戴在最靠近用户眼睛的区域，因此当通过眼镜显示数据的延迟发生时，可用性可能降低。可穿戴显示装置可以从电子装置接收图形数据并将其显示在眼镜上，并且在电子装置和可穿戴显示装置之间共享屏幕的传统技术可以对应于将多条图形数据组合为一条图形数据并将其发送。由于多条图形数据被组合为一条图形数据并被发送，所以当一条图形数据由于安全问题而需要额外的数据处理时，在针对该一条图形数据执行额外的数据处理时，不需要额外的数据处理的其它多条图形数据可能不被发送。在这种情况下，根据图形数据传输的延迟可能发生在电子装置中，因此可穿戴显示装置显示图形数据的延迟可能发生。
5.可穿戴显示装置被穿戴在最靠近用户眼睛的区域，因此当通过眼镜显示数据的延迟发生时，可用性可能降低。可穿戴显示装置可以从电子装置接收图形数据并将其显示在眼镜上，并且在电子装置和可穿戴显示装置之间共享屏幕的传统技术可以对应于将多条图形数据组合为一条图形数据并发送该条图形数据。由于多条图形数据被组合为一条图形数据并被发送，所以当一条图形数据由于安全问题而需要额外的数据处理时，在针对该一条图形数据执行额外的数据处理时，不需要额外的数据处理的其它多条图形数据可能不被发送。在这种情况下，根据图形数据传输的延迟可能发生在电子装置中，因此可穿戴显示装置显示图形数据的延迟可能发生。


技术实现要素：

6.技术问题
7.各种实施例可以提供一种用于最小化图形数据在可穿戴显示装置中的显示延迟
的方法和装置，其中当多个应用的图形数据从电子装置被发送到可穿戴显示装置时，根据图形数据是否需要额外的数据处理，不需要额外的数据处理的多条图形数据可以被组合为一条并被发送，并且需要额外的数据处理的图形数据可以被单独发送。
8.问题的解决方案
9.根据本公开的各种实施例的电子装置可以包括通信模块、存储器以及可操作地连接到通信模块和存储器的处理器，其中，该处理器被配置为通过通信模块连接到可穿戴显示装置，从可穿戴显示装置接收用户的注视(gaze)信息，确定与注视信息相对应的、要在屏幕上显示的第一应用和第二应用，识别所确定的第一应用和第二应用的简档，并且基于识别出的简档，组合与第一应用相对应的图形数据和与第二应用相对应的图形数据并将其发送到可穿戴显示装置、或者将与第一应用相对应的图形数据和与第二应用相对应的图形数据中的每一个发送到可穿戴显示装置。
10.根据本公开的各种实施例的电子装置可以包括通信模块、存储器、显示模块以及可操作地连接到通信模块、存储器和显示模块的处理器，其中，该处理器被配置为通过通信模块连接到外部电子装置，跟踪穿戴电子装置的用户的注视，将跟踪的用户的注视信息发送到外部电子装置，从外部电子装置接收与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据，在显示模块上显示第一图形数据，并且对第二图形数据执行额外的数据处理并在显示模块上显示该第二图形数据。
11.根据本公开的各种实施例的电子装置的操作方法可以包括：在其中通过电子装置的通信模块连接到了可穿戴显示装置的状态下，从可穿戴显示装置接收用户的注视信息，确定与注视信息相对应的、要在屏幕上显示的第一应用和第二应用，识别所确定的第一应用和第二应用的简档，以及基于识别出的简档，组合与第一应用相对应的图形数据和与第二应用相对应的图形数据并将其发送到可穿戴显示装置、或者将与第一应用相对应的图形数据和与第二应用相对应的图形数据中的每一个发送到可穿戴显示装置。
12.发明的有益效果
13.根据各种实施例，当多个应用的图形数据被发送时，需要额外的数据处理的图形数据和不需要额外的数据处理的图形数据被分开发送，由此在可穿戴显示装置中显示图形数据的延迟可以被最小化。
14.根据各种实施例，穿戴可穿戴显示装置的用户的注视可以被跟踪，要发送的应用的图形数据可以基于用户的注视来确定，并且基于在所确定的应用中配置的优先级、保护或非保护指示、或者类别中的至少一个，多条图形数据可以被组合为一条图形数据并发送，或者每条图形数据可以被单独发送。
15.根据各种实施例，需要保护的图形数据和不需要保护的图形数据基于应用的简档被分开发送，由此可以确保低时延数据传输，并且可以在可以保护需要保护的图形数据时提供稳定的传输环境。
16.根据各种实施例，在维持低时延传输并提供无缝显示环境时，可以无延迟地稳定发送需要保护的图形数据。
17.根据各种实施例，根据被包括在用户的注视中的应用的图形数据的传输的传输数据被减少，并且具有未被包括在用户的注视中的应用的外部装置的网络被临时改变到睡眠模式，由此可以减少消耗电流。
附图说明
18.图1是根据各种实施例的网络环境中的电子装置的框图；
19.图2示出了根据各种实施例的可穿戴显示装置和电子装置之间的网络环境；
20.图3示意性地示出了根据各种实施例的电子装置的配置；
21.图4是示出根据各种实施例的电子装置和可穿戴显示装置之间的操作方法的流程图；
22.图5是示出根据各种实施例的电子装置的操作方法的流程图；
23.图6a至图6c示出了根据各种实施例的图形数据在电子装置中的传输的示例；
24.图7是示出根据各种实施例的由电子装置基于用户的注视来发送图形数据的方法的流程图；
25.图8示出了根据各种实施例的电子装置和可穿戴显示装置之间的图形数据处理配置；
26.图9是示出根据各种实施例的操作可穿戴显示装置的方法的流程图；
27.图10a和图10b示出了根据各种实施例的由可穿戴显示装置基于用户的注视显示图形数据的示例；和
28.图11示出了根据各种实施例的控制连接到可穿戴显示装置的外部装置的示例。
具体实施方式
29.根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
30.应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可以包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可以包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
31.如与本公开的各种实施例关联使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小
单元或部分。例如，根据实施例，可以以专用集成电路(asic)的形式来实现模块。
32.图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
33.参考图1，网络环境100中的电子装置101可经由第一网络198(例如，短程无线通信网络)与电子装置102进行通信、或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(sim)196或天线模块197。在一些实施例中，可以从电子装置101中省略上述部件中的至少一个(例如，11连接端178)、或者可以将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可以将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)11。
34.处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据实施例，作为所述数据处理或计算的至少部分，处理器120可以将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理器(cpu)或应用处理器(ap))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(gpu)、神经处理单元(npu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少、或者被适配为专用于特定的功能。可以将辅助处理器123实现为与主处理器121分离、或者实现为主处理器121的部分。
35.在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置1011的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些、或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可以将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可以包括专用于人工智能模型处理的硬件结构。可以通过机器学习来生成人工智能模型。例如，可以通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(dnn)、卷积神经网络(cnn)、循环神经网络(rnn)、受限玻尔兹曼机(rbm)、深度置信网络(dbn)、双向循环深度神经网络(brdnn)或深度q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可以包括除了硬件结构以外的软件结构。
36.存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块
176)使用的各种数据。所述各种数据可以包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
37.可以将程序140作为软件存储在存储器130中，并且程序140可以包括例如操作系统(os)142、中间件144或应用146。
38.输入模块150可以从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
39.声音输出模块155可以将声音信号输出到电子装置101的外部。声音输出模块155可以包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可以将接收器实现为与扬声器分离，或实现为扬声器的部分。
40.显示模块160可以向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可以包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
41.音频模块170可以将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音、或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
42.传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可以包括例如姿势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
43.接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
44.连接端178可以包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可以包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
45.触觉模块179可以将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
46.相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可以包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
47.电力管理模块188可管理对电子装置101的供电。根据实施例，可以将电力管理模块188实现为例如电力管理集成电路(pmic)的至少部分。
48.电池189可以对电子装置101的至少一个部件供电。根据实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
49.通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可以包括能够与处理器120(例如，应用处理器(ap))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短程通信网络，诸如蓝牙、无线保真(wi-fi)直连或红外数据协会(irda))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5g网络、下一代通信网络、互联网或计算机网络(例如，lan或广域网(wan)))与外部电子装置进行通信。可以将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可以将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
50.无线通信模块192可支持在4g网络之后的5g网络以及下一代通信技术(例如新无线电(nr)接入技术)。nr接入技术可支持增强型移动宽带(embb)、大规模机器类型通信(mmtc)或超可靠低延时通信(urllc)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模mimo)、全维mimo(fd-mimo)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现embb的峰值数据速率(例如，20gbps或更大)、用于实现mmtc的丢失覆盖(例如，164db或更小)或者用于实现urllc的u平面延迟(例如，对于下行链路(dl)和上行链路(ul)中的每一个为0.5ms或更小、或者1ms或更小的往返)。
51.天线模块197可以将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可以包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(pcb))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(rfic))可附加地形成为天线模块197的一部分。
52.根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可以包括印刷电路板、射频集成电路(rfic)和多个天线(例如，阵列天线)，其中，rfic设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
53.上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出
(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
54.根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置、或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可以在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务、或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分、或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可以在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(mec)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低时延服务。在另一个实施例中，外部电子装置104可以包括物联网(iot)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可应用于基于5g通信技术或iot相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
55.可以将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可以在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可以包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
56.根据实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd-rom))的形式来发布计算机程序产品、或者可经由应用商店(例如，play store
tm
)在线发布(例如，下载或上传)计算机程序产品、或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的、或者可以将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
57.根据各种实施例，上述部件中的每个部件(例如，模块或程序)可以包括单个实体
或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件、或者可添加一个或更多个其它部件。可选择地或者另外地，可以将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行、或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略、或者可添加一个或更多个其它操作。
58.图2示出了根据各种实施例的可穿戴显示装置和电子装置之间的网络环境。
59.参考图2，根据各种实施例的电子装置(例如，图1的电子装置101)可以连接200到可穿戴显示装置201。电子装置101和可穿戴显示装置201可以彼此有线连接或者彼此无线配对。例如，电子装置101可以通过诸如蓝牙、低功率蓝牙、wi-fi、wi-fi直连或超宽带(uwb)的短程无线通信210连接到可穿戴显示装置201。用于配对装置的方法对应于相关技术，因此可以省略对其的详细描述。根据各种实施例，电子装置101可以包括智能手机、平板个人计算机(pc)和/或膝上型计算机(笔记本)。可穿戴显示装置201可以包括ar眼镜、智能眼镜或头戴式装置(例如，头戴式显示器(hmd))。
60.可穿戴显示装置201可以直接生成(例如，基于存储的或经处理的数据执行生成)用于ar或vr服务的相关数据(例如，ar图像)、或者从外部(例如，电子装置101或服务器(例如，图1的服务器108))获取该相关数据，以通过显示器(未示出)显示该相关数据。例如，可穿戴显示装置201可穿戴在用户的身体(例如，面部)上，并且可以通过将各种数字内容(例如，ar图像)重叠到真实世界上，通过显示器显示图像(例如，ar屏幕)。根据实施例，可穿戴显示装置201可以从电子装置101接收图像数据(例如，ar图像)，并且通过显示器一起显示接收到的图像数据和真实世界数据。
61.根据实施例，当可穿戴显示装置201通信地连接到电子装置101时，可穿戴显示装置201周期性地将关于通过可穿戴显示装置201的相机(未示出)捕获到的图像的信息和用户的注视信息(例如，视场(fov)或视角(aov))发送到电子装置101，和/或可以在可穿戴显示装置201的状态的改变(例如，位置或方向的改变)发生时将可穿戴显示装置201的状态的改变(例如，位置或方向的改变)发送到电子装置101。根据实施例，当可穿戴显示装置201通信地连接到电子装置101时，可穿戴显示装置201可以向电子装置101提供(例如，发送)至少一条信息，诸如图像信息、注视信息、装置信息、感测信息、功能信息和/或位置信息。
62.根据各种实施例，电子装置101可以基于穿戴可穿戴显示装置201的用户的注视信息和每个应用的简档，组合多条图形数据并发送组合的数据、或者可以发送多条图形数据中的每一条。例如，电子装置101可以基于用户注视信息在与多个应用相对应的多条图形数据中确定至少两个应用。应用的简档可以由应用开发者配置，并且可以包括例如优先级、保护或非保护指示或者类别中的至少一个。电子装置101可以基于应用的简档来识别(或确定)与应用相对应的图形数据是否需要额外的数据处理(例如，图形数据是否需要额外的处理(例如，保护)或者不需要额外的处理(例如，非保护))。
63.根据各种实施例，应用的优先级可以被分为“高”(或3)、“中”(或2)和“低”(或1)。具有“高”优先级的应用可以对应于其屏幕需要被优先化进行数据保护而不考虑时延的应
用(例如，金融)。具有“中”优先级的应用不太需要低时延，因此可以是其传输环境可以根据网络或外部环境灵活改变的应用。具有“低”优先级的应用可以对应于要求针对即时反馈的低时延的应用(例如，游戏)。
64.当优先级为“高”时，单独传输是可能的，当优先级为“中”时，组合传输或单独传输是可能的，而当优先级为“低”时，仅组合传输是可能的。例如，当优先级为“高”时，可以确定单独传输，而不管应用的保护或非保护指示。可替代地，当优先级为“中”时，可以根据应用的保护或非保护指示来确定组合传输或单独传输。当优先级为“低”时，可以确定组合传输，而不管应用的保护或非保护指示。可替代地，当优先级为“高”或“中”时，组合传输或单独传输是可能的，而当优先级为“低”时，仅组合传输是可能的。这仅是实现方式问题，并且本公开不限于以上描述。
65.根据各种实施例，应用的保护或非保护指示可以被分为“真”(或0)和“假”(或1)。当保护或非保护指示对应于“真”时，单独传输是可能的，而当保护或非保护指示对应于“假”时，仅组合传输是可能的。例如，当应用的开发者没有配置保护或非保护指示时，保护或非保护指示可以被配置为“假”。应用的类别可以包括电话呼叫、社交(例如，消息或信使)、社交网络服务(sns)、视频(例如，视频再现)、游戏、音频(例如，音频再现)、导航、地图、互联网或金融中的至少一个。当类别被配置为“金融”时，单独传输是可能的，而对于其他类别，组合传输或单独传输是可能的。应用的类别是用于帮助理解本公开的示例，并且可以有更多或更少的类别。本公开不限于以上描述。
66.根据各种实施例，在两个确定的应用的简档中，当需要额外的数据处理的应用被包括时，电子装置101可以确定发送与这些应用相对应的各条图形数据。可替代地，在两个确定的应用的简档中，当需要额外的数据处理的应用不被包括时，电子装置101可以确定组合与这些应用相对应的图形数据并将其发送。需要额外的数据处理的应用可以指在图形数据被显示或发送时需要额外的数据处理工作的应用。额外的数据处理工作对应于例如根据内容保护执行加密的操作(例如，高带宽数字内容保护(hdcp))，并且可以指除了与通常在电子装置101显示或发送图形数据时执行的编码或打包相对应的预处理操作之外的操作。为了帮助理解本公开，hdcp被描述为示例，但是额外的数据处理工作不限于此。电子装置101可以在发送图形数据时在与需要额外的数据处理的应用相对应的图形数据中包括标识符。标识符可以被包括在分组的报头字段中。可替代地，可穿戴显示装置201可以基于应用的简档来识别图形数据是否需要额外的数据处理。
67.当需要额外的数据处理工作时，这可能意味着由于额外的数据处理工作，电子装置101需要更多的时间来将图形数据发送到可穿戴显示装置201。在这种情况下，传输延迟可能根据额外的数据处理工作而发生。在要发送的图形数据中，当存在需要额外的数据处理工作的图形数据时，电子装置101可以不组合该图形数据和另外的图形数据，而是首先发送不需要额外的数据处理工作的图形数据，然后稍后发送已经对其执行了额外的数据处理工作的图形数据。例如，当电子装置101需要发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据，并且第一图形数据和第二图形数据之一需要额外的数据处理工作时，电子装置101可以首先预处理不需要额外的数据处理工作的第一图形数据，并且可以对第二图形数据执行预处理和额外的数据处理，然后将其发送。可替代地，当第一图形数据和第二图形数据都不需要额外的数据处理工作时，电子装置101可以组合并预处理第
一图形数据和第二图形数据，然后将其发送。
68.根据各种实施例，第一图形数据的一部分可能需要额外的数据处理，但第一图形数据的另一部分可能不需要额外的数据处理。电子装置101可以将第一图形数据分为需要额外的数据处理的一部分和不需要额外的数据处理的另一部分，并发送它们。例如，电子装置101可以预处理(例如，执行编码或打包)第二图形数据和第一图形数据的不需要额外的数据处理的另一部分，并发送它们，并且可以对需要额外的数据处理的第一图形数据的一部分执行预处理和额外的数据处理(例如，编码、加密或打包)，然后将其发送到可穿戴显示装置201。
69.根据各种实施例，电子装置101可以将通信信道分类为用于单独传输的通信信道和用于组合传输的通信信道。例如，在用于单独传输的通信信道的情况下，考虑到由于额外的数据处理导致的时间延迟，与用于组合传输的通信信道的情况相比，传输速度可以更快或者传输带宽可以更宽。电子装置101可以基于单独传输或组合传输来配置用户数据报协议(udp)、传输协议、带宽、传输线程优先级以及在传输失败的情况下是否激活重传过程，以便使用通信信道。
70.根据各种实施例，电子装置101可以根据应用的优先级来划分通信信道。例如，当应用的优先级是“高”时，电子装置101可以配置具有基于udp的传输协议或稳定传输带宽、或者激活在传输失败的情况下的重传过程的第一通信信道。当应用的优先级是“中”时，电子装置101可以配置具有基于udp的传输协议、可变传输带宽或中等传输线程优先级的第二通信信道。当应用的优先级为“低”时，电子装置101可以配置具有基于udp的传输协议、高传输带宽或最高传输线程优先级、或者去激活在传输失败的情况下的重传过程的第三通信信道。
71.根据各种实施例，可穿戴显示装置201可以根据从电子装置101接收图形数据的顺序来显示图形数据。例如，在可穿戴显示装置201需要根据用户的注视显示第一图形数据和第二图形数据的情况下，当第一图形数据和第二图形数据被组合为一条图形数据并从电子装置101被接收到时，可穿戴显示装置201可以对通过组合第一图形数据和第二图形数据而获得的该一条图形数据进行解包和解码，并对其进行显示。解包和解码可以指通常被执行以显示接收到的图形数据的预处理操作。可穿戴显示装置201可以以与传统方式相同的方式来预处理不需要除预处理操作之外的额外数据处理的多条图形数据，并且对其进行显示。当从电子装置101接收到第一图形数据和第二图形数据中的每一个时，可穿戴显示装置201可以预处理(例如，解包和解码)较早接收到的第一图形数据，并对其进行显示，并且可以对稍后接收到的第二图形数据执行预处理和额外的数据处理，并对其进行显示。额外的数据处理操作可以对应于解密经加密内容的操作(例如，hdcp)，并且可以指除了在处理接收到的图形数据时执行的解包和解码的预处理操作之外的操作。
72.图3示意性地示出了根据各种实施例的电子装置的配置。
73.可以示出根据各种实施例的与电子装置(例如，图1的电子装置101)支持ar或vr服务相关的配置的示例。根据实施例，图3所示的电子装置101可以包括参考图1的描述中的电子装置101的所有或至少一些元件。根据实施例，图3示出了电子装置101对应于可穿戴显示装置201的示例。
74.参考图3，电子装置101可以包括处理器120(例如，图1的处理器120)、存储器130
(例如，图1的存储器130)、显示模块160(例如，图1的显示模块160)、传感器模块176(例如，图1的传感器模块176)、相机模块180(例如，相机模块180)、电池189(例如，图1的电池189)和/或通信模块(例如，图1的通信模块190)。例如根据实施例，电子装置101可以通过连接端子330(例如，usb type-c)连接到外部电子装置(未示出)。例如，电子装置101可以通过连接端子330从外部电子装置接收电力，并对电池189充电。
75.根据实施例，电子装置101中包括的元件可以被理解为，例如，硬件模块(例如，电路)。图3所示的电子装置101的元件可以被省略、或者用其他元件代替、或者可以向其添加额外的元件。例如，当电子装置101对应于可穿戴显示装置201时，第一显示模块351和第二显示模块353可以被包括，而当电子装置101对应于智能手机时，第一显示模块351和第二显示模块353可以不被包括。
76.根据实施例，处理器120可以执行存储在存储器130中的程序(例如，图1的程序140)以控制至少一个其他元件(例如，硬件或软件元件)，并且可以执行各种数据处理或计算。根据实施例，处理器120可以向用户提供增强现实服务。处理器120可以通过显示模块160输出至少一个虚拟对象，使得该至少一个虚拟对象将被显示为重叠在与穿戴电子装置101的用户的注视(例如，fov或aov)相对应的实际空间上。
77.根据实施例，电子装置101的显示模块160可以包括至少一块玻璃。根据实施例，第一玻璃包括第一显示模块351的至少一部分，第二玻璃可以包括第二显示模块353的至少一部分。例如，第一显示模块351和/或第二显示模块353中的每一个可以被包括在显示面板中。显示面板可以包括透明元件，使得用户可以通过显示模块160辨识实际空间。显示模块160可以在显示面板的至少一部分上显示至少一个虚拟对象，从而向穿戴电子装置101的用户示出虚拟对象重叠在实际空间上。
78.根据各种实施例，第一显示模块351和/或第二显示模块353可以包括聚光透镜和/或透明波导。例如，透明波导可以至少部分地位于第一显示模块351和/或第二显示模块353的一部分中。根据实施例，第一显示模块351和/或第二显示模块353可以接收发射的光，并允许发射的光通过形成在第一显示模块351和/或第二显示模块353中的波导和/或波路径(例如，波导)被传送到用户。波导可以由玻璃或聚合物制成，并且可以包括形成在其一个内表面或外表面上的纳米图案，例如多边形或弯曲形状的光栅结构。根据实施例，发射的光可以在波导内传播或反射，并且可以被传送到用户。
79.例如，用户的注视可以包括用户可以辨识事物(例如，对象)的角度和/或范围。根据实施例，显示模块160可以包括与用户双眼中的左眼相对应的第一显示模块351和与右眼相对应的第二显示模块353。根据实施例，处理器120可以从存储器130加载与显示模块160的性能(例如，分辨率、帧速率、显示区域的大小和/或锐度)相关的配置信息，并且可以基于该配置信息调整显示模块160的性能。
80.根据实施例，电子装置101的传感器模块176可以包括接近传感器321、照度传感器322和/或陀螺仪传感器323。根据实施例，接近传感器321可以检测到对象变得邻近电子装置101。照度传感器322可以测量电子装置101周围的亮度。根据实施例，处理器120可以通过使用照度传感器322来识别电子装置101周围的亮度，并且可以基于亮度来改变与显示模块160的亮度相关的配置信息。例如，当电子装置101的亮度高于预配置的亮度时，处理器120可以配置更高的显示模块160亮度，以增加用户的可视性。根据实施例，陀螺仪传感器323可
以检测电子装置101的姿态和位置。例如，陀螺仪传感器323可以检测电子装置101是否被正确穿戴在用户的头部。在另一个示例中，陀螺仪传感器323可以检测电子装置101或穿戴电子装置101的用户的移动。
81.根据实施例，电子装置101可以通过通信模块190(例如，无线通信电路)执行与另一个电子装置(例如，图1的电子装置102或104)的无线通信。例如，电子装置101和便携式电子装置(例如，智能手机)可以执行无线通信，并且可以彼此交换指令和/或数据。根据实施例，电子装置101可以至少部分地由另一个外部电子装置(例如，便携式电子装置)控制。例如，电子装置101可以在另一个外部电子装置的控制下执行至少一个功能。
82.根据各种实施例，电子装置101可以通过电子装置101的相机(例如，图1的相机模块180)向另一个电子装置发送关于距位于实际空间中的对象的距离的信息、关于用户的注视的信息和关于用户的姿势的信息。根据实施例，电子装置101的相机模块180可以包括姿势相机311、眼睛跟踪相机313、距离测量相机(深度相机)315和/或红绿蓝(rgb)相机317。
83.根据实施例，姿势相机311可以检测用户的移动。例如，一个或多个姿势相机311可以被布置在电子装置101中，并且姿势相机311可以检测用户的手在预配置距离内的移动。姿势相机311可以包括用于辨识与电子装置101周围的空间相关的信息(例如，位置和/或方向)的同步定位和绘图(slam)相机。姿势相机311的姿势辨识区域可以基于姿势相机311的捕获范围来配置。
84.根据实施例，眼睛跟踪相机313可以跟踪用户的左眼和右眼的移动。根据实施例，处理器120可以通过使用眼睛跟踪相机313来识别左眼的注视方向和右眼的注视方向(例如，用户的注视信息)。例如，眼睛跟踪相机313可以包括用于识别左眼的注视方向的第一眼睛跟踪相机(未示出)和用于识别右眼的注视方向的第二眼睛跟踪相机(未示出)。根据实施例，距离测量相机315可以测量距位于电子装置101前方的对象的距离。距离测量相机315可以包括飞行时间(tof)相机和/或深度相机。根据实施例，距离测量相机315可以在电子装置101的前向(front direction)上捕获图像，并且眼睛跟踪相机313可以在与距离测量相机315的图像捕获方向相反的方向上捕获图像。
85.根据另一个实施例，电子装置101可以通过使用距离测量相机315来测量距对象的距离。根据实施例，电子装置101可以通过眼睛跟踪相机313来辨识位于用户注视的注视方向(例如，fov)上的对象之一，并且可以根据距对应对象的距离通过深度相机来计算深度、或者可以根据距对应对象的距离通过tof相机来测量距离。根据实施例，rgb相机317可以检测与对象的颜色相关的信息和关于距对象的距离的信息。根据实施例，电子装置101可以通过集成距离测量相机315和rgb相机317来包括一种类型的相机。根据实施例，相机模块180中包括的姿势相机311、眼睛跟踪相机313、距离测量相机315和/或rgb相机317中的每一个可以被包括在电子装置101中；或者姿势相机311、眼睛跟踪相机313、距离测量相机315和/或rgb相机317中的一些可以被实现为一个集成的相机。例如，距离测量相机315和rgb相机317可以被实现为一个集成的相机。
86.根据本公开的各种实施例的电子装置(例如，图1的电子装置101)可以包括通信模块(例如，图1的通信模块190)、存储器(例如，图1的存储器130)和可操作地连接到通信模块和存储器的处理器(例如，图1的处理器120)，其中该处理器被配置为通过通信模块连接到可穿戴显示装置(例如，图2的可穿戴显示装置201)，从可穿戴显示装置接收用户的注视信
息，确定与注视信息相对应的、要在屏幕上显示的第一应用和第二应用，识别所确定的第一应用和第二应用的简档，并且基于识别出的简档，组合与第一应用相对应的图形数据和与第二应用相对应的图形数据并将其发送到可穿戴显示装置、或者将与第一应用相对应的图形数据和与第二应用相对应的图形数据中的每一个发送到可穿戴显示装置。
87.当第一应用和第二应用之一对应于需要额外的数据处理以显示应用执行屏幕的应用时，处理器可以被配置为发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据中的每一个。
88.当第一图形数据需要额外的数据处理而第二图形数据不需要额外的数据处理时，处理器可以被配置为预处理第二图形数据并将其发送到可穿戴显示装置，并对第一图形数据执行预处理和额外的数据处理，然后将其发送到可穿戴显示装置。
89.处理器可以被配置为在预处理第二图形数据并将其发送到可穿戴式显示装置时对第一图形数据执行预处理和额外的数据处理，并将已经对其执行了预处理和额外的数据处理的第一图形数据发送到可穿戴式显示装置。
90.处理器可以被配置为预处理第二图形数据并通过第一通信信道将其发送，对第一图形数据执行预处理和额外的数据处理，然后通过不同于第一通信信道的第二通信信道将其发送。
91.当第一图形数据的一部分需要额外的数据处理而第一图形数据的另一部分不需要额外的数据处理时，处理器被配置为组合并预处理第二图形数据和第一图形数据的该另一部分，并将其发送到可穿戴显示装置，并对第一图形数据的该一部分执行预处理和额外的数据处理，然后将其发送到可穿戴显示装置。
92.当第一应用和第二应用对应于不需要额外的数据处理的应用时，处理器可以被配置为组合并预处理与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据，并发送它们。
93.简档可以包括优先级、保护或非保护指示或类别中的至少一个。
94.当根据优先级、保护或非保护指示或类别之一，第一应用和第二应用之一对应于需要额外的数据处理的应用时，处理器可以被配置为发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据中的每一个。
95.处理器可以被配置为根据每个应用的优先级来划分通信信道。
96.根据本公开的各种实施例的电子装置(例如，图2的可穿戴显示装置201)可以包括通信模块(例如，图1的通信模块190)、存储器(例如，图1的存储器130)、显示模块(例如，图1的显示模块160)以及可操作地连接到通信模块、存储器和显示模块的处理器(例如，图1的处理器120)，其中，该处理器被配置为通过通信模块连接到外部电子装置(例如，图1的电子装置101)，跟踪穿戴电子装置的用户的注视，将跟踪的用户的注视信息发送到外部电子装置，从外部电子装置接收与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据，在显示模块上显示第一图形数据，以及对第二图形数据执行额外的数据处理并在显示模块上显示该第二图形数据。
97.当第一图形数据不需要额外的数据处理，而第二图形数据需要额外的数据处理时，处理器可以被配置为预处理第一图形数据并在显示模块上显示该第一图形数据，并对第二图形数据执行预处理和额外的数据处理并在显示模块上将其显示。
98.处理器可以被配置为在预处理第一图形数据并在显示模块上将其显示时，对第二图形数据执行预处理和额外的数据处理，并在显示模块上显示已经对其执行了预处理和额外的数据处理的第二图形数据。
99.图4是示出根据各种实施例的电子装置和可穿戴显示装置之间的操作方法的流程图400。
100.参考图4，在操作401中，根据各种实施例的电子装置(例如，图1的电子装置101)可以连接到可穿戴显示装置(例如，图2的可穿戴显示装置201)。电子装置101和可穿戴显示装置201可以彼此有线连接或者彼此无线配对。例如，电子装置101可以通过诸如蓝牙、低功率蓝牙、wi-fi、wi-fi直连或uwb的短程无线通信连接到可穿戴显示装置201。根据各种实施例，电子装置101可以包括智能手机、平板pc和/或膝上型计算机。可穿戴显示装置201可以包括ar眼镜、智能眼镜或头戴式装置。当可穿戴显示装置201连接到电子装置101时，可穿戴显示装置201可以向电子装置101提供(例如，发送)至少一条信息，诸如图像信息、注视信息、装置信息、感测信息、功能信息和/或位置信息。用户可以在可穿戴显示装置201连接到电子装置101时穿戴可穿戴显示装置201。
101.在操作403中，电子装置101可以将与多个应用相对应的图形数据发送到可穿戴显示装置201。例如，基于用户输入，电子装置101可以将与第一应用(例如，消息应用)相对应的第一图形数据(例如，第一应用的执行屏幕)、与第二应用(例如，游戏应用)相对应的第二图形数据(例如，第二应用的执行屏幕)、以及与第三应用(例如，视频再现应用)相对应的第三图形数据(例如，第三应用的执行屏幕)发送到可穿戴式显示装置201。第一图形数据至第三图形数据与应用相关，这些应用中的每一个都在电子装置101中执行，但是可以以多窗口的形式在电子装置101的显示器(例如，图1的显示模块160)上显示。第一图形数据至第三图形数据可以被同时发送到可穿戴显示装置201、或者第一图形数据至第三图形数据中的每一个可以被发送到可穿戴显示装置201。
102.根据各种实施例，可穿戴显示装置201基于用户的注视显示图形数据，并且可以显示比在电子装置101的显示模块160上显示的信息更多的信息。因此，用户可以在电子装置101中执行第一应用以将与第一应用相对应的第一图形数据发送到可穿戴显示装置201，执行第二应用以将与第二应用相对应的第二图形数据发送到可穿戴显示装置201，以及执行第三应用以将与第三应用相对应的第三图形数据发送到可穿戴显示装置201。可替代地，当用户输入对应于预配置的输入(例如，特定姿势或对特定按钮的选择)时，电子装置101可以将与在电子装置101中执行的所有或一些应用相对应的图形数据发送到可穿戴显示装置201。在电子装置101中执行的所有或一些应用可以包括当前在电子装置101的显示模块160上显示的应用和不在电子装置101的显示模块160上显示但在后台执行的应用。
103.在操作405中，可穿戴显示装置201可以在显示器(例如，图3的第一显示模块351和第二显示模块353)上显示与多个应用相对应的多条图形数据。例如，当接收到第一图形数据至第三图形数据时，可穿戴显示装置201可以基于用户的注视显示第一图形数据至第三图形数据中的至少一个。例如，基于用户的注视，可穿戴显示装置201可以显示第一图形数据至第三图形数据之一，可以显示第一图形数据和第二图形数据、第二图形数据和第三图形数据、或者第一图形数据和第三图形数据、或者可以显示第一图形数据至第三图形数据。
104.在操作407中，可穿戴显示装置201可以跟踪用户的注视。可穿戴显示装置201可以
通过使用眼睛跟踪相机(例如，眼睛跟踪相机313)来跟踪用户的左眼和右眼的移动。根据实施例，可穿戴显示装置201可以通过使用眼睛跟踪相机313来识别左眼的注视方向和右眼的注视方向。例如，眼睛跟踪相机313可以包括用于识别左眼的注视方向的第一眼睛跟踪相机(未示出)和用于识别右眼的注视方向的第二眼睛跟踪相机(未示出)。
105.在操作409中，可穿戴显示装置201可以将用户的注视信息发送到电子装置101。注视信息可以表示视场(fov)或视角(aov)，并且可以包括左眼的注视信息和右眼的注视信息。在图4中，可以首先执行操作405，然后稍后执行操作409，但是操作405、407和409可以同时执行。这只是为了帮助理解本公开，并且本公开不限于此描述。
106.在操作411中，电子装置101可以基于注视信息确定要发送的应用。尽管通过可穿戴显示装置201提供了与多个应用相对应的多条图形数据，但是电子装置101可以根据用户的注视信息更新应用的图形数据并将其发送。例如，电子装置101可以基于注视信息将第一应用(例如，消息应用)和第三应用(例如，视频再现应用)确定为要发送的应用。可穿戴显示装置201的用户的注视可以当前朝向第一应用和第三应用。
107.在操作413中，电子装置101可以识别所确定的应用的简档。应用的简档可以由应用开发者配置，并且可以包括例如优先级、保护或非保护指示或者类别中的至少一个。应用的优先级可以被分为“高”(或3)、“中”(或2)和“低”(或1)。当优先级为“高”时，单独传输是可能的，当优先级为“中”时，组合传输或单独传输是可能的，而当优先级为“低”时，仅组合传输是可能的。应用的保护或非保护指示可以被分为“真”(或0)和“假”(或1)。当保护或非保护指示对应于“真”时，单独传输是可能的，而当保护或非保护指示对应于“假”时，仅组合传输是可能的。例如，当应用的开发者没有配置保护或非保护指示时，保护或非保护指示可以被配置为“假”。应用的类别可以包括电话呼叫、社交、sns、视频、游戏、音频、导航、地图、互联网或金融中的至少一个。当类别被配置为“金融”时，单独传输是可能的，而对于其他类别，组合传输或单独传输是可能的。
108.在操作415中，基于应用的简档，电子装置101可以组合多条图形数据并将其发送到可穿戴显示装置201、或者可以发送多条图形数据中的每一条。电子装置101可以基于应用的简档来识别(或确定)与应用相对应的图形数据是否需要额外的数据处理。例如，当第一应用的优先级为“2”，保护或非保护指示对应于“假”，并且类别对应于“社交”时，电子装置101可以确定第一应用不需要额外的处理。当第三应用的优先级对应于“3”，保护或非保护指示对应于“真”，并且类别对应于“视频”时，电子装置101可以确定第三应用需要额外的数据处理。在这种情况下，电子装置101可以发送第一图形数据和第三图形数据中的每一个而不进行组合。
109.例如，电子装置101可以预处理第一图形数据然后将其发送，并且可以对第三图形数据执行预处理和额外的数据处理以将其发送。电子装置101可以在预处理和发送第一图形数据时，对第三图形数据执行预处理和额外的数据处理，并且可以在对第三图形数据的预处理和额外的数据处理完成后立即发送第三图形数据。在这种情况下，可穿戴显示装置201可以根据接收图形数据的顺序来处理图形数据，以首先显示第一图形数据，然后显示第三图形数据。可穿戴显示装置201可以对第一图形数据进行解包和解码(例如，预处理)并将其显示，并且可以对第三图形数据进行解包，执行额外的数据处理和解码，然后将其显示。
110.根据各种实施例，电子装置101可以将通信信道分类为用于发送未对其执行额外
的数据处理的第一图形数据的通信信道(例如，组合传输通信信道)和用于发送对其执行了额外的数据处理的第三图形数据的通信信道(例如，单独传输通信信道)。与组合传输通信信道相比，单独传输通信信道可以具有更快的速度和稳定的带宽，并且可以对应于对由于传输失败而导致的重传过程的激活。可替代地，组合传输通信信道可以具有基于udp的传输协议、更宽(或可变)的传输带宽、中等传输线程优先级，并且可以对应于对由于传输失败而导致的重传过程的去激活。
111.与像传统方式那样的以下情况相比，本公开可以最小化可穿戴式显示装置201的图形数据显示延迟，在该情况中，第三图形数据需要进行额外的数据处理，在对第三图形数据执行预处理和额外的数据处理时，不发送第一图形数据，并且一旦对第三图形数据的预处理和额外的数据处理完成，就将第一图形数据和第三图形数据组合为一个图形数据并发送。
112.根据各种实施例，当第一应用的优先级为“2”，保护或非保护指示对应于“假”，并且类别对应于“社交”时，电子装置101可以确定第一应用不需要额外的数据处理。当第三应用的优先级是“2”，保护或非保护指示对应于“假”，并且类别对应于“视频”时，电子装置101可以确定第三应用不需要额外的数据处理。在这种情况下，电子装置101可以将第一图形数据和第三图形数据组合为一个图形数据并将其发送。可穿戴显示装置201可以接收第一图形数据和第三图形数据以对其进行解包和解码，并且可以显示第一图形数据和第三图形数据。
113.图5是示出根据各种实施例的电子装置的操作方法的流程图500。
114.参考图5，在操作501中，根据各种实施例的电子装置(例如，图1的电子装置101)的处理器(例如，图1的处理器120)可以连接到可穿戴显示装置(例如，图2的可穿戴显示装置201)。电子装置101和可穿戴显示装置201可以彼此有线连接或者彼此无线配对。例如，电子装置101可以通过诸如蓝牙、低功率蓝牙、wi-fi、wi-fi直连或uwb的短程无线通信连接到可穿戴显示装置201。根据各种实施例，电子装置101可以包括智能手机、平板pc和/或笔记本计算机。可穿戴显示装置201可以包括ar眼镜、智能眼镜或头戴式装置。当可穿戴显示装置201连接到电子装置101时，可穿戴显示装置201可以向电子装置101提供(例如，发送)至少一条信息，诸如图像信息、注视信息、装置信息、感测信息、功能信息和/或位置信息。用户可以在可穿戴显示装置201连接到电子装置101时穿戴可穿戴显示装置201。
115.在操作503中，处理器120可以从可穿戴显示装置201接收(或获取)用户的注视信息。可穿戴显示装置201可以通过使用眼睛跟踪相机(例如，图3的眼睛跟踪相机313)来跟踪用户的左眼和右眼的移动。根据实施例，可穿戴显示装置201可以通过使用眼睛跟踪相机313来识别左眼的注视方向和右眼的注视方向。例如，眼睛跟踪相机313可以包括用于识别左眼的注视方向的第一眼睛跟踪相机(未示出)和用于识别右眼的注视方向的第二眼睛跟踪相机(未示出)。可穿戴显示装置201可以向电子装置101发送用户的注视信息。注视信息可以表示视场(fov)或视角(aov)，并且可以包括左眼的注视信息和右眼的注视信息。
116.在操作505中，处理器120可以基于注视信息确定要发送的应用。当通过可穿戴显示装置201提供与多个应用相对应的多条图形数据时，处理器120可以根据用户的注视信息来更新应用的图形数据并将其发送。例如，可穿戴显示装置201可以提供包括与第一应用相对应的第一图形数据、与第二应用相对应的第二图形数据或与第三应用相对应的第三图形
数据的增强现实图像。在增强现实图像中包括的多条图形数据中，处理器120可以基于注视信息将第一应用(例如，消息应用)和第二应用(例如，视频再现应用)确定为要发送的应用。可穿戴显示装置201的用户的注视可以当前朝向第一应用和第二应用。
117.在操作507中，处理器120可以识别所确定的应用的简档。应用的简档可以由应用开发者配置，并且可以包括例如优先级、保护或非保护指示或者类别中的至少一个。应用的优先级可以被分为“高”(或3)、“中”(或2)和“低”(或1)。当优先级为“高”时，单独传输是可能的，当优先级为“中”时，组合传输或单独传输是可能的，而当优先级为“低”时，仅组合传输是可能的。应用的保护或非保护指示可以被分为“真”(或0)和“假”(或1)。当保护或非保护指示对应于“真”时，单独传输是可能的，而当保护或非保护指示对应于“假”时，仅组合传输是可能的。例如，当应用的开发者没有配置保护或非保护指示时，保护或非保护指示可以被配置为“假”。应用的类别可以包括电话呼叫、社交、sns、视频、游戏、音频、导航、地图、互联网或金融中的至少一个。当类别被配置为“金融”时，单独传输是可能的，而对于其他类别，组合传输或单独传输是可能的。
118.在操作508中，处理器120可以确定与要发送的应用相对应的图形数据是否包括需要额外的数据处理的图形数据。例如，当第一应用的优先级是“2”，保护或非保护指示对应于“假”，并且类别对应于“社交”时，并且当第二应用的优先级对应于“2”，保护或非保护指示对应于“假”，类别对应于“视频”时，处理器120可以确定第一应用和第二应用不需要额外的数据处理。在这种情况下，处理器120可以确定没有需要额外的数据处理的图形数据，并且可以执行操作509。
119.可替代地，当第一应用的优先级为“2”，保护或非保护指示对应于“假”，类别对应于“社交”时，并且当第二应用的优先级为“3”，保护或非保护指示对应于“真”，类别对应于“视频”时，处理器120可以确定第一应用不需要额外的数据处理，并且可以确定第二应用需要额外的数据处理。在这种情况下，处理器120可以确定存在需要额外的数据处理的图形数据，并且可以执行操作511。
120.当没有需要额外的数据处理的图形数据时，在操作509中，处理器120可组合并预处理第一图形数据和第二图形数据，并发送它们。处理器120可以将第一图形数据和第二图形数据组合为一个图形数据，对其进行预处理(例如，编码和打包)并发送。可穿戴显示装置201可以接收并预处理(例如，解包和解码)第一图形数据和第二图形数据，并且可以显示第一图形数据和第二图形数据。根据各种实施例，处理器120可以通过组合传输通信信道来发送组合的图形数据。与单独传输通信信道相比，组合传输通信信道具有更慢的速度和更宽(或可变)的带宽，并且可以对应于对由于传输失败而导致的重传过程的去激活。可替代地，组合传输通信信道可以具有基于udp的传输协议、更宽(或可变)的传输带宽、中等传输线程优先级，并且可以对应于对由于传输失败而导致的重传过程的去激活。
121.根据各种实施例，处理器120可以基于与第一图形数据相对应的第一应用或与第二图形数据相对应的第二应用的优先级来确定通信信道。当第一应用或第二应用的优先级为“高”时，处理器120可以配置具有基于udp的传输协议或稳定传输带宽、或者激活在传输失败的情况下的重传过程的第一通信信道。当第一应用或第二应用的优先级是“中”时，处理器120可以配置具有基于udp的传输协议、可变传输带宽或中等传输线程优先级的第二通信信道。当第一应用或第二应用的优先级为“低”时，处理器120可以配置具有基于udp的传
输协议、高传输带宽或最高传输线程优先级、或者去激活在传输失败的情况下的重传过程的第三通信信道。
122.当存在需要额外的数据处理的图形数据时，在操作511中，处理器120可以预处理并发送第一图形数据。处理器120可以发送需要额外的数据处理的第二图形数据和不需要数据处理的第一图形数据中的每一个。处理器120可以首先预处理(例如，编码和打包)不需要额外的数据处理的第一图形数据，并将其发送。可穿戴显示装置201可以接收并预处理(例如，解包和解码)第一图形数据，并显示经预处理的第一图形数据。处理器120可以通过组合传输通信信道来发送未对其执行额外的数据处理的第一图形数据。处理器120可以基于与第一图形数据相对应的第一应用的优先级来确定通信信道。
123.在操作513中，处理器120可以对第二图形数据执行预处理和额外的数据处理。处理器120可以在需要额外的数据处理的第二图形数据中添加标识符，并发送第二图形数据。标识符可以包括在分组的报头字段中。可替代地，可穿戴显示装置201可以基于应用的简档来识别图形数据是否需要额外的数据处理。处理器120可以在预处理第一图形数据时对第二图形数据执行预处理和额外的数据处理(例如，编码、加密和打包)并将其发送。在预处理和显示第一图形数据时，可穿戴显示装置201可以接收第二图形数据，对第二图形数据执行预处理或额外的数据处理(例如，解包、解密和解码)，并显示第二图形数据。处理器120可以通过单独传输通信信道来发送对其执行了额外的数据处理的第二图形数据。与组合传输通信信道相比，单独传输通信信道具有更快的速度和稳定的带宽部分，并且可以对应于根据传输的失败对重传过程的激活。处理器120可以基于与第二图形数据相对应的第二应用的优先级来确定通信信道。
124.图6a至图6c示出了根据各种实施例在电子装置中发送图形数据的示例。
125.图6a示出了根据各种实施例在电子装置中发送一条图形数据的示例610。
126.参考图6a，在其中通过可穿戴显示装置(例如，图2的可穿戴显示装置201)提供了增强现实图像611的状态下，根据各种实施例的电子装置(例如，图1的电子装置)的处理器(例如，图1的处理器120)可以从可穿戴显示装置201获取用户的注视615。增强现实图像611可以是在穿戴可穿戴显示装置201的用户所处的实际空间中作为虚拟对象提供的与多个应用相对应的图形数据。例如，增强现实图像611可以包括与第一应用相对应的第一图形图像(例如，表示为“1”)、与第二应用相对应的第二图形图像(例如，表示为“2”)以及与第三应用相对应的第三图形图像(例如，表示为“3”)。
127.处理器120可以基于用户的注视615将第二应用613确定为要显示的应用，并且可以识别第二应用613的简档。处理器120可以包括组合器模块621和数据处理模块623，其中处理器120可以通过组合器模块621识别第二应用613的简档，并通过数据处理模块623处理(例如，编码和打包)与第二应用613相对应的第二图形数据。根据各种实施例，当有一个应用要发送时，处理器120可以单独地将与第二应用613相对应的第二图形数据发送到可穿戴显示装置201，而无需对应用的简档的识别。当有一个应用要发送时，处理器120可以单独发送图形数据而不组合图形数据，因此图形数据可以被单独发送而无需对应用的简档的识别。在图6a中，第二应用613可能需要额外的数据处理(例如，保护)、或者不需要额外的数据处理(例如，非保护)。
128.根据各种实施例，可穿戴显示装置201可以包括组合器模块621和数据处理模块
623。可穿戴显示装置201可以通过数据处理模块623对从电子装置101接收到的第二图形数据执行预处理或额外的数据处理，并且可以通过组合器模块621将第二图形数据组合到单个帧缓存器(frame buffer)中并将其显示。
129.根据各种实施例，第二图形数据的一部分可能需要额外的数据处理，而第二图形数据的另一部分可能不需要额外的数据处理。处理器120可以划分第二图形数据，并分别发送需要额外的数据处理的部分和不需要额外的数据处理的部分。例如，处理器120可以通过对第二图形数据的不需要额外的数据处理的另一部分进行编码和打包(例如，预处理)来将其发送到可穿戴显示装置201，并且可以通过对第二图形数据的需要额外的数据处理的一部分执行编码、加密和打包(例如，预处理和额外的数据处理)来将其发送到可穿戴显示装置201。对于与一个应用相对应的图形数据，处理器120可以分别发送需要额外的数据处理的区域和不需要额外的处理的区域。
130.根据各种实施例，处理器120可以基于第二应用613的优先级来确定通信信道。当应用的优先级为“高”时，处理器120可以配置具有基于udp的传输协议或稳定传输带宽、或者激活在传输失败的情况下的重传过程的第一通信信道。当应用的优先级是“中”时，处理器120可以配置具有基于udp的传输协议、可变传输带宽或中等传输线程优先级的第二通信信道。当应用的优先级为“低”时，处理器120可以配置具有基于udp的传输协议、高传输带宽或最高传输线程优先级、或者去激活在传输失败的情况下的重传过程的第三通信信道。
131.图6b示出了根据各种实施例在电子装置中单独发送两条图形数据的示例630。
132.参考图6b，在其中通过可穿戴显示装置201提供了增强现实图像611的状态下，处理器120可以从可穿戴显示装置201获取用户的注视631。增强现实图像611可以包括与第一应用相对应的第一图形图像(例如，表示为“1”)、与第二应用相对应的第二图形图像(例如，表示为“2”)以及与第三应用相对应的第三图形图像(例如，表示为“3”)。处理器120可以基于用户的注视631确定第一应用633和第三应用635为要显示的应用，并且可以识别第一应用633和第三应用635中的每一个的简档。根据各种实施例，当处理器120要发送与不同的应用相对应的图形数据时，处理器120可以识别应用中的每一个的简档。
133.处理器120可以通过组合器模块621识别第一应用633的第一简档和第三应用635的第三简档。当第一简档需要额外的数据处理(例如，保护)时，处理器120可以确定单独发送与第一应用633相对应的第一图形数据。当第三简档不需要额外的数据处理(例如，非保护)时，处理器120可以确定对与第三应用635相对应的第三图形数据执行组合传输。根据各种实施例，当确定单独发送第一图形数据时，处理器120可以确定单独发送与第三应用635相对应的第三图形数据，而不管第三应用635的第三简档如何。处理器120可以通过数据处理模块623对与第一应用633相对应的第一图形数据和与第三应用635相对应的第三图形数据执行预处理或额外的数据处理(例如，编码、加密和打包)。
134.根据各种实施例，处理器120可以通过对不需要额外的数据处理的第三图形数据执行编码和打包(例如，预处理)来将其发送到可穿戴显示装置201，并且可以通过对第一图形数据执行编码、加密和打包(例如，预处理和额外的数据处理)来将其发送到可穿戴显示装置201。第三图形数据不需要加密处理，因此可以比第一图形数据更快地被发送到可穿戴显示装置201。在对第一图形数据执行额外的数据处理时，处理器120可以通过对第三图形数据进行预处理来将第三图形数据发送到可穿戴显示装置201，并且可以在对第一图形数
据的预处理和额外的数据处理完成时将第一图形数据发送到可穿戴显示装置201。
135.根据各种实施例，可穿戴显示装置201可以包括组合器模块621和数据处理模块623。可穿戴显示装置201可以通过数据处理模块623对从电子装置101接收到的第一图形数据进行预处理，并对第三图形数据执行预处理和额外的数据处理，并且可以通过组合器模块621组合第一图形数据和第三图形数据并将其显示。
136.根据各种实施例，第一图形数据的一部分可能需要额外的数据处理，而第一图形数据的另一部分可能不需要额外的数据处理。处理器120可以划分第一图形数据，并分别发送需要额外的数据处理的部分和不需要额外的数据处理的部分。例如，处理器120可以通过对不需要额外的数据处理的第一图形数据的另一部分和第三图形数据进行编码和打包(例如，预处理)来将其发送到可穿戴显示装置201，并且可以通过对第一图形数据的需要额外的数据处理的一部分执行编码、加密和打包(例如，预处理和额外的数据处理)来将其发送到可穿戴显示装置201。
137.根据各种实施例，处理器120可以基于用户的注视信息来控制处理优先级。例如，如图6a所示，当用户注视第二应用613时，处理器120可以向与第二应用613相对应的第二图形数据分配更高的处理优先级，并且可以向与第一应用633相对应的第一图形数据和与第三应用635相对应的第三图形数据分配更低的处理优先级。当更低的处理优先级被分配给第三图形数据时，即使在第三图形数据需要额外的数据处理的情况下，处理器120也可以通过组合第一图形数据和第三图形数据来发送第一图形数据和第三图形数据。
138.当用户的注视方向改变并且用户注视第一应用633和第三应用635时，处理器120可以向第一图形数据和第三图形数据分配更高的处理优先级，并且可以向第二图形数据分配更低的处理优先级。当更高的处理优先级被分配给第三图形数据时，处理器120可以单独发送第一图形数据和第三图形数据，以便对第三图形数据执行额外的数据处理。
139.图6c示出了根据各种实施例在电子装置中发送三条图形数据的示例650。
140.参考图6c，在其中通过可穿戴显示装置201提供了增强现实图像611的状态下，处理器120可以从可穿戴显示装置201获取用户的注视651。处理器120可以基于用户的注视651来确定第一应用633至第三应用635为要显示的应用，并且可以识别第一应用633至第三应用635中的每一个的简档。根据各种实施例，当处理器120要发送与不同的应用相对应的图形数据时，处理器120可以识别应用中的每一个的简档。
141.处理器120可以通过组合器模块621来识别第一应用633的第一简档、第二应用613的第二简档和第三应用635的第三简档。当第一简档和第三简档不需要额外的数据处理时，处理器120可以确定通过组合与第一应用633相对应的第一图形数据和与第三应用635相对应的第三图形数据来发送与第一应用633相对应的第一图形数据和与第三应用635相对应的第三图形数据，并且当第二简档需要额外的数据处理时，处理器120可以确定单独发送与第二应用613相对应的第二图形数据。
142.处理器120可以通过组合器模块621来组合与第一应用633相对应的第一图形数据和与第三应用635相对应的第三图形数据，并且可以通过数据处理模块623来预处理(例如，编码和打包)组合的第一图形数据和第三图形数据，并对与第二应用613相对应的第二图形数据执行预处理和额外的数据处理(例如，编码、加密和打包)。根据各种实施例，在对第二图形数据执行额外的数据处理时，处理器120可以通过组合并预处理第一图形数据和第三
图形数据来将第一图形数据和第三图形数据发送到可穿戴显示装置201，并且可以在对第二图形数据的额外的数据处理完成时将第二图形数据发送到可穿戴显示装置201。
143.图7是示出根据各种实施例的、电子装置基于用户的注视来发送图形数据的方法的流程图700。图7可以包括在图5的操作505之后执行的操作。
144.参考图7，在操作701中，根据各种实施例的电子装置(例如，图1的电子装置101)的处理器(例如，图1的处理器120)可以确定穿戴可穿戴显示装置(例如，图2的可穿戴显示装置201)的用户的注视中是否包括一个应用。例如，如图6a所示，当有一个应用被包括在用户的注视中时，处理器120可以单独发送与该应用相对应的图形数据，而不管该应用的简档如何。当有一个应用被包括在用户的注视中时，处理器120可以执行操作703，并且当不只有一个应用时(例如，当有两个或更多个应用时)，处理器120可以执行操作705。
145.当有一个应用被包括在用户的注视中时，在操作703中，处理器120可单独发送与被包括在用户的注视中的应用相对应的图形数据。当有一个应用被包括在用户的注视中时，处理器120可以单独发送与该应用相对应的图形数据，而无需对该应用的简档的识别。根据各种实施例，图形数据的一部分可能需要额外的数据处理，而图形数据的另一部分可能不需要额外的数据处理。处理器120可以将与一个应用相对应的图形数据分类为需要额外的数据处理的区域和不需要额外的数据处理的区域，并发送该图形数据。例如，处理器120可以对图形数据的不需要额外的数据处理的另一部分进行编码和打包(例如，预处理)并将其发送到可穿戴显示装置201，并且可以对图形数据的需要额外的数据处理的一部分执行编码、加密和打包(例如，预处理和额外的数据处理)，并将其发送到可穿戴显示装置201。
146.根据各种实施例，处理器120可以基于与图形数据相对应的应用的优先级来配置通信信道，并且可以通过所配置的通信信道来发送该图形数据。当应用的优先级为“高”时，处理器120可以配置具有基于udp的传输协议或稳定传输带宽、或者激活在传输失败的情况下的重传过程的第一通信信道。当应用的优先级是“中”时，处理器120可以配置具有基于udp的传输协议、可变传输带宽或中等传输线程优先级的第二通信信道。当应用的优先级为“低”时，处理器120可以配置具有基于udp的传输协议、高传输带宽或最高传输线程优先级、或者去激活在传输失败的情况下的重传过程的第三通信信道。
147.当不止一个应用被包括在用户的注视中时，处理器120可以在操作705中确定是否存在需要额外的数据处理的图形数据。处理器120可以通过识别被包括在用户的注视中的应用的简档来确定是否存在需要额外的数据处理的图形数据。
148.在操作707中，处理器120可以基于是否执行额外的数据处理，来执行图形数据的组合传输或单独传输。在被包括在用户的注视中的应用的简档中，当第一应用的优先级是“2”，保护或非保护指示对应于“假”，并且类别对应于“社交”时，并且当第二应用的优先级是“2”，保护或非保护指示对应于“假”，并且类别对应于“视频”时，处理器120可以确定第一应用和第二应用不需要额外的数据处理。在这种情况下，处理器120可以确定不存在需要额外的数据处理的图形数据，并且可以组合并预处理第一图形数据和第二图形数据，以将其发送到可穿戴显示装置201。
149.根据各种实施例，处理器120可以通过组合传输通信信道来发送组合的图形数据。与单独传输通信信道相比，组合传输通信信道可以具有更慢的速度和更宽(或可变)的带
宽，并且可以对应于去激活根据传输失败的重传过程。可替代地，组合传输通信信道可以具有基于udp的传输协议、更宽(或可变)的传输带宽和中等传输线程优先级，并且可以对应于去激活根据传输失败的重传过程。
150.当第一应用的优先级为“2”，保护或非保护指示对应于“假”，类别对应于“社交”时，并且当第二应用的优先级为“3”，保护或非保护指示对应于“真”，类别对应于“视频”时，处理器120可以确定第一应用需要额外的数据处理，而第二应用不需要额外的数据处理。在这种情况下，处理器120可以首先发送不需要额外的数据处理的图形数据，并对需要额外的数据处理的图形数据进行额外的数据处理，并将其发送到可穿戴显示装置201。在预处理和发送不需要额外的数据处理的第一图形数据时，处理器120可以对第二图形数据执行预处理和额外的数据处理(例如，编码、加密和打包)并将其发送。
151.根据各种实施例，处理器120可以通过不同的通信信道来发送未对其执行额外的数据处理的第一图形数据和已经对其执行了额外的数据处理的第二图形数据。例如，处理器120可以通过组合传输信道来发送未对其执行额外的数据处理的第一图形数据，并且可以通过单独传输通信信道来发送已经对其执行了额外的数据处理的第二图形数据。与组合传输通信信道相比，单独传输通信信道可以具有更快的速度和稳定的带宽，并且可以对应于对根据传输失败的重传过程的激活。
152.图8示出了根据各种实施例的电子装置和可穿戴显示装置之间的图形数据处理配置。
153.参考图8，根据各种实施例的电子装置(例如，图1的电子装置101)可以包括编码器811、打包器813或额外的数据处理模块830。编码器811、打包器813或额外的数据处理模块830可以被包括在图6a至图6c的数据处理模块623中。电子装置101可以将图形数据划分为不需要额外的数据处理的第一图形数据801和需要额外的数据处理的第二图形数据803，并发送它们。作为识别与第一图形数据801相对应的第一应用的简档的结果，第一图形数据801可以对应于不需要数据处理的情况(例如，非保护)。电子装置101可以通过编码器811对第一图形数据801进行编码，并且通过打包器813生成分组815，并且可以将分组815发送到可穿戴显示装置(例如，图2的可穿戴显示装置201)。电子装置101可以仅对第一图形数据801执行预处理(例如，编码和打包)，并且可以将其发送到可穿戴显示装置201。
154.根据各种实施例的可穿戴显示装置201可以包括解包器817、解码器819或额外的数据处理模块840。可穿戴显示装置201可以单独接收不需要额外的数据处理的第一图形数据801和需要额外的数据处理的第二图形数据803。可穿戴显示装置201可以接收分组815，通过解包器817对分组815进行解包，并通过解码器819对分组815进行解码，以将其显示。可穿戴显示装置201可以仅对第一图形数据801执行预处理(例如，解包和解码)并将其显示。对于第一图形数据801，加密过程(例如，额外的数据处理模块830)和解密过程(例如，额外的数据处理模块840)可以被跳过，因此数据处理可以快速进行，并且延迟可以被最小化。
155.作为识别与第二图形数据803相对应的第二应用的简档的结果，第二图形数据803可以对应于需要数据处理的情况(例如，保护)。电子装置101可以通过编码器811对第二图形数据803进行编码，通过额外的数据处理模块830执行额外的数据处理，并且通过打包器813生成分组815，并且可以将其发送到可穿戴显示装置201。电子装置101可以对第二图形数据803执行预处理(例如，编码和打包)和额外的数据处理(例如，加密)，并且可以将其发
送到可穿戴显示装置201。
156.可穿戴显示装置201可以接收分组815，通过解包器817对分组815进行解包，通过额外的数据处理模块840执行额外的数据处理，通过解码器819执行解码，并将其显示。可穿戴显示装置201可以对第二图形数据803执行预处理(例如，解包和解码)和额外的数据处理(例如，解密)并将其显示。
157.当保护或非保护指示对应于“真”时，电子装置101和可穿戴显示装置201可以额外执行加密过程(例如，额外的数据处理模块830)和解密过程(例如，额外的数据处理模块840)，以保护图形数据。加密和解密过程可能增加处理时间，但是图形数据可以得到保护。当第一图形数据801和第二图形数据803被分开发送时，可以以最小延迟来提供不需要额外的数据处理的第一图形数据801，由此由于延迟而引起的不适可以被最小化。对于需要额外的数据处理的第二图形数据803，其对应于需要保护的图形数据，可以添加适当的数据保护处理，使得第二图形数据803可以被更稳定地处理，而不带来时延负荷。
158.图9是示出根据各种实施例的操作可穿戴显示装置的方法的流程图900。
159.参考图9，在操作901中，根据各种实施例的可穿戴显示装置(例如，图2的可穿戴显示装置201)的处理器(例如，图1的处理器120)可以连接到电子装置(例如，图1的电子装置101)。电子装置101和可穿戴显示装置201可以彼此有线连接或者彼此无线配对。例如，电子装置101可以通过诸如蓝牙、低功率蓝牙、wi-fi、wi-fi直连或uwb的短程无线通信连接到可穿戴显示装置201。操作901与图5的操作501相同或相似，因此可以省略对其的详细描述。
160.在操作903中，处理器120可以跟踪用户的注视。处理器120可以通过使用眼睛跟踪相机(例如，图3的眼睛跟踪相机313)来跟踪用户的左眼和右眼的移动。根据实施例，处理器120可以通过使用眼睛跟踪相机313来识别左眼的注视方向和右眼的注视方向。例如，眼睛跟踪相机313可以包括用于识别左眼的注视方向的第一眼睛跟踪相机(未示出)和用于识别右眼的注视方向的第二眼睛跟踪相机(未示出)。
161.在操作905中，处理器120可以将用户的注视信息发送到电子装置101。注视信息可以表示视场(fov)或视角(aov)，并且可以包括左眼的注视信息和右眼的注视信息。处理器120可以实时地、周期性地或选择性地向电子装置101发送用户的注视信息。
162.在操作907中，处理器120可以从电子装置101接收图形数据。该图形数据可以对应于被包括在用户的注视信息中的应用。在提供与多个应用相对应的多条图形数据时，处理器120可以从电子装置101接收第一图形数据和第二图形数据。处理器120可以将接收到的图形数据存储在存储器(例如，图1的存储器130)中。
163.在操作908中，处理器120可以确定是否存在需要额外的数据处理的图形数据。处理器120可以识别分组的报头字段，以确定是否存在需要额外的数据处理的图形数据。可替代地，处理器120可以基于与接收到的图形数据相对应的应用的简档来识别图形数据是否需要额外的数据处理。当仅有不需要额外的数据处理的图形数据时，处理器120可以执行操作909，而当有需要额外的数据处理的图形数据时，处理器120可以执行操作911。
164.当仅有不需要额外的数据处理的图形数据时，在操作909中，处理器120可以预处理(例如，解包和解码)第一图形数据和第二图形数据并显示它们。当仅有不需要额外的数据处理的图形数据时，第一图形数据和第二图形数据可以被组合并作为单个分组被接收。处理器120可以将通过组合第一图形数据和第二图形数据而获得的分组存储在图形缓存器
中。处理器120可以对存储在图形缓存器中的分组进行解包和解码，以通过第一显示模块(例如，图3的第一显示模块351)和第二显示模块(例如，图3的第二显示模块353)来显示第一图形数据和第二图形数据。
165.当有需要额外的数据处理的图形数据时，在操作911中，处理器120可以预处理并显示第一图形数据。当有需要额外的数据处理的图形数据时，第一数据图形和第二图形数据可以分别通过不同的分组被接收。处理器120可以根据接收顺序将与图形数据相对应的分组存储在图形缓存器中。处理器120可以将与不需要额外的数据处理的第一图形数据相对应的分组存储在图形缓存器中，并且可以对存储在图形缓存器中的分组进行解包和解码，以通过第一显示模块351和第二显示模块353来显示第一图形数据。
166.在操作913中，处理器120可以对第二图形数据执行预处理和额外的数据处理(例如，解包、解密和解码)并将其显示。在显示第一图形数据时，处理器120可以从电子装置101接收与需要额外的数据处理的第二图形数据相对应的分组，并将其存储在图形缓存器中，并且可以对存储在图形缓存器中的分组进行解包，执行额外的数据处理(例如，解密)和解码，并通过第一显示模块351和第二显示模块353来显示第二图形数据。
167.根据各种实施例，可穿戴显示装置201的处理器120可以包括组合器模块(例如，图6a至图6c的组合器模块621)和数据处理模块(例如，图6a至图6c的数据处理模块623)。可穿戴显示装置201的数据处理模块可以执行预处理(例如，解包和解码)和额外的数据处理(例如，解密)，并且可穿戴显示装置201的组合器模块可以最终将从数据处理模块传送的一条或多条图形数据组合到单个帧缓存器中。处理器120可以通过组合器模块、根据预定的时间间隔(＝刷新率，vsycn)收集接收到的图形数据，以配置要显示的帧缓存器。在组合器模块中收集到的每个图形缓存器可以根据与图形数据相对应的应用的类别而改变。处理器120可以通过组合器模块、每隔预定的时间间隔配置要显示的帧缓存。
168.图10a和图10b示出了根据各种实施例的可穿戴显示装置基于用户的注视显示图形数据的示例。
169.参考图10a，根据各种实施例的可穿戴显示装置(例如，可穿戴显示装置201)可以在其中提供了增强现实图像1000的状态下跟踪用户的注视1001。增强现实图像1000可以是在穿戴可穿戴显示装置201的用户所处的实际空间中作为虚拟对象提供的与多个应用相对应的图形数据。例如，增强现实图像1000可以包括与第一应用相对应的第一图形图像1011(或第一图形数据)、与第二应用相对应的第二图形图像1013和与第三应用相对应的第三图形图像1015。可穿戴显示装置201可以基于用户的注视1001来确定显示区域1010。可替代地，显示装置201可以将关于用户的注视1001或显示区域1010的信息发送到电子装置(例如，电子装置101)。
170.电子装置101可以将第一应用和第二应用确定为被包括在用户的注视1001中的应用。电子装置101可以识别第一应用的第一简档和第二应用的第二简档。电子装置101可以基于第一简档来确定第一应用不需要额外的数据处理。电子装置101可以基于第二简档来确定第二应用的一部分(例如，1013-1)需要额外的数据处理，并且确定第二应用的另一部分(例如，1013-2)不需要额外的数据处理。电子装置101可以通过将第二应用的图形数据划分为需要额外的数据处理的部分和不需要额外的数据处理的部分来发送第二应用的图形数据。例如，电子装置101可以组合第一图形数据1011和另一部分1013-2并将其发送，并且
可以对第二图形数据的一部分1013-1执行额外的数据处理并将其发送。
171.可穿戴显示装置201可以根据组合器模块中预定的时间间隔(＝刷新率，vsync)来收集接收到的单独图形数据或组合图形数据，以配置要显示的帧缓存器。在组合器模块中收集到的每个图形缓存器可以根据与图形数据相对应的应用的类别而改变。可以从图形缓存器列表中省略每隔预定的时间间隔收集到的图形数据。例如，在应用的类别对应于视频的情况下，要平滑地提供视频，因此仅当预定量或更多的图形数据被存储在图形缓存器中时，才可以配置帧缓存器。当没有特定类别时，组合器模块可以每隔预定的时间间隔配置要显示的帧缓存。
172.可穿戴显示装置201可以根据vsync来显示第一图形数据1011和第二图形数据1013。例如，在第一时间点1031，可穿戴显示装置201可以首先接收第一图形数据1011和第二图形数据的另一部分1013-2，并将其存储在图形缓存器中。在第二时间点1033，可穿戴显示装置201可以用存储在图形缓存器中的第一图形数据1011和第二图形数据的另一部分1013-2来配置帧缓存器，并将其显示。在第三时间点1035，可穿戴显示装置201可以接收第二图形数据的一部分1013-1，并且将其存储在图形缓存器中。在第四时间点1037，可穿戴显示装置201可以组合存储在图形缓存器中的第二图形数据的一部分1013-1和第二图形数据的另一部分1013-2，并且将组合的一条第二图形数据1013配置为帧缓存器。可替代地，在第四时间点1037，可穿戴显示装置201可以将第一图形数据1011和第二图形数据1013配置为帧缓存器。在第五时间点1039，可穿戴显示装置201可以显示第一图形数据1011和第二图形数据1013。
173.参考图10b，可穿戴显示装置201可以跟踪用户的注视1005。可穿戴显示装置201可以基于用户的注视1005来确定显示区域1050。可替代地，可穿戴显示装置201可以将关于用户的注视1005或显示区域1050的信息发送到电子装置(例如，图1的电子装置101)。当用户的注视方向改变到与第三应用相对应的第三图形图像1015时，处理器120可以将更高的处理优先级分配给第三应用，并且将更低的处理优先级分配给与第一应用相对应的第一图形数据1011和与第二应用相对应的第二图形数据1013。当更低的处理优先级被分配给第二图形数据1013时，即使当第二图形数据1013需要额外的数据处理时，处理器120也可以组合第一图形数据1011和第二图形数据1013并且将其发送。处理器120可以在发送第三图形数据1015时组合第一图形数据1011和第二图形数据1013并将其发送。
174.根据各种实施例，当用户的注视改变且用户注视第一应用和第二应用时，处理器120可以向第一图形数据1011和第二图形数据1013分配更高的处理优先级，并且向第三图形数据1015分配更低的处理优先级。当对第二图形数据1013的处理优先级更高时，处理器120可以单独发送第一图形数据1011和第二图形数据1013，以对第二图形数据1013执行额外的数据处理。
175.图11示出了根据各种实施例的控制连接到可穿戴显示装置的电子装置的示例1100。
176.参考图11，根据各种实施例的可穿戴显示装置(例如，图2的可穿戴显示装置201)可以在其中提供了增强现实图像1100的状态下跟踪用户的注视1105。例如，增强现实图像1100可以包括与第一应用相对应的第一图形图像1111、与第二应用相对应的第二图形图像1113和与第三应用相对应的第三图形图像1107。可以从外部装置1101接收到第一图形图像
1111和第二图形图像1113，并且可以从电子装置101接收到第三图形图像1107。
177.可穿戴显示装置201可以基于用户的注视1105来控制与外部装置1101或电子装置101的连接。例如，当在与用户的注视1105相对应的显示器上显示第一图形图像1111和第二图形图像1113时，可穿戴显示装置201可以控制与提供未包括在用户的注视1105中的第三图形图像1107的电子装置101的连接，作为睡眠模式。
178.根据各种实施例，根据被包括在用户的注视中的第一图形图像1111和第二图形图像1113的传输的传输数据减少，并且具有提供未包括在用户的注视中的第三图形图像1107的电子装置101的网络临时改变为睡眠模式，由此电流消耗可以减少。
179.根据本公开的各种实施例的电子装置(例如，图1的电子装置101)的操作方法可以包括在其中通过电子装置的通信模块(例如，图1的通信模块190)连接到可穿戴显示装置的状态下，从可穿戴显示装置接收用户的注视信息，确定与注视信息相对应的、要在屏幕上显示的第一应用和第二应用，识别所确定的第一应用和第二应用的简档，并且基于识别出的简档，组合与第一应用相对应的图形数据和与第二应用相对应的图形数据并将其发送到可穿戴显示装置、或者将与第一应用相对应的图形数据和与第二应用相对应的图形数据中的每一个发送到可穿戴显示装置。
180.对每个图形数据的发送可以包括，当第一应用和第二应用之一对应于需要额外的数据处理的应用时，发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据中的每一个。
181.对每个图形数据的发送可以包括，当第一图形数据需要额外的数据处理而第二图形数据不需要额外的数据处理时，预处理第二图形数据并将其发送到可穿戴显示装置，并且对第一图形数据执行预处理和额外的数据处理，然后将其发送到可穿戴显示装置。
182.对每个图形数据的发送可以包括，预处理第二图形数据并通过第一通信信道将其发送，以及对第一图形数据执行预处理和额外的数据处理，然后通过不同于第一通信信道的第二通信信道将其发送。
183.对每个图形数据的发送可以包括，当第一图形数据的一部分需要额外的数据处理而第一图形数据的另一部分不需要额外的数据处理时，组合并预处理第二图形数据和第一图形数据的另一部分，并将其发送到可穿戴显示装置，并且对第一图形数据的一部分执行预处理和额外的数据处理，然后将第一图形数据的一部分发送到可穿戴显示装置。
184.简档可以包括优先级、保护或非保护指示或类别中的至少一个。
185.对每个图形数据的发送可以包括，当第一应用和第二应用之一对应于需要额外的数据处理的应用时，根据优先级、保护或非保护指示或类别之一，发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据中的每一个。
186.本说明书和附图中公开的各种实施例仅是为了便于描述本公开的技术细节和帮助理解本公开而呈现的具体示例，并不旨在限制本公开的范围。因此，从本公开的技术思想以及在此公开的各种实施例中得出的所有变化或修改应该被解释为落入本公开的范围内。

技术特征：
1.一种电子装置，包括：通信模块；存储器；以及处理器，可操作地连接到通信模块和存储器，其中，所述处理器被配置为：通过通信模块连接到可穿戴显示装置，从可穿戴显示装置接收用户的注视信息，确定要在屏幕上显示的对应于注视信息的第一应用和第二应用，识别所确定的第一应用和第二应用的简档，以及基于识别出的简档，组合与第一应用相对应的图形数据和与第二应用相对应的图形数据并将其发送到可穿戴显示装置、或者将与第一应用相对应的图形数据和与第二应用相对应的图形数据中的每一个发送到可穿戴显示装置。2.根据权利要求1所述的电子装置，其中，当第一应用和第二应用之一对应于需要额外的数据处理来显示应用执行屏幕的应用时，所述处理器被配置为发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据中的每一个。3.根据权利要求2所述的电子装置，其中，当第一图形数据需要额外的数据处理并且第二图形数据不需要额外的数据处理时，所述处理器被配置为预处理第二图形数据并将其发送到可穿戴显示装置，并且对第一图形数据执行预处理和额外的数据处理，然后将其发送到可穿戴显示装置。4.根据权利要求3所述的电子装置，其中，所述处理器被配置为，在预处理第二图形数据并将其发送到可穿戴显示装置时，对第一图形数据执行预处理和额外的数据处理，并且将已经对其执行了预处理和额外的数据处理的第一图形数据发送到可穿戴显示装置。5.根据权利要求3所述的电子装置，其中，所述处理器被配置为预处理第二图形数据，并通过第一通信信道将其发送，并且对第一图形数据执行预处理和额外的数据处理，然后通过不同于第一通信信道的第二通信信道将其发送。6.根据权利要求3所述的电子装置，其中，当第一图形数据的一部分需要额外的数据处理且第一图形数据的另一部分不需要额外的数据处理时，所述处理器被配置为组合并预处理第二图形数据和第一图形数据的所述另一部分，并且将其发送到可穿戴显示装置，并且对第一图形数据的所述一部分执行预处理和额外的数据处理，然后将其发送到可穿戴显示装置。7.根据权利要求1所述的电子装置，其中，当第一应用和第二应用对应于不需要额外的数据处理的应用时，所述处理器被配置为组合并预处理与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据，并将其发送。8.根据权利要求1所述的电子装置，其中，所述简档包括优先级、保护或非保护指示、或类别中的至少一个。9.根据权利要求8所述的电子装置，其中，当第一应用和第二应用之一对应于需要额外的数据处理的应用时，根据优先级、保护或非保护指示或类别之一，所述处理器被配置为发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据中的每一个。
10.根据权利要求9所述的电子装置，其中，所述处理器被配置为根据每个应用的优先级来划分通信信道。11.一种电子装置的操作方法，包括：在其中通过电子装置的通信模块连接到可穿戴显示装置的状态下，从可穿戴显示装置接收用户的注视信息；确定要在屏幕上显示的与注视信息相对应的第一应用和第二应用；识别所确定的第一应用和第二应用的简档；以及基于识别出的简档，组合与第一应用相对应的图形数据和与第二应用相对应的图形数据并将其发送到可穿戴显示装置、或者将与第一应用相对应的图形数据和与第二应用相对应的图形数据中的每一个发送到可穿戴显示装置。12.根据权利要求11所述的方法，其中，对每个图形数据的发送包括，当第一应用和第二应用之一对应于需要额外的数据处理的应用时，发送与第一应用相对应的第一图形数据和与第二应用相对应的第二图形数据中的每一个。13.根据权利要求12所述的方法，其中，当第一图形数据需要额外的数据处理并且第二图形数据不需要额外的数据处理时，对每个图形数据的发送包括：预处理第二图形数据并将其发送到可穿戴显示装置；以及对第一图形数据执行预处理和额外的数据处理，然后将其发送到可穿戴显示装置。14.根据权利要求13所述的方法，其中，对每个图形数据的发送包括：预处理第二图形数据并通过第一通信信道将其发送；以及对第一图形数据执行预处理和额外的数据处理，然后通过不同于第一通信信道的第二通信信道将其发送。15.根据权利要求13所述的方法，其中，当第一图形数据的一部分需要额外的数据处理且第一图形数据的另一部分不需要额外的数据处理时，对每个图形数据的发送包括：组合并预处理第二图形数据和第一图形数据的所述另一部分，并且将其发送到可穿戴显示装置；以及对第一图形数据的所述一部分执行预处理和额外的数据处理，然后将其发送到可穿戴显示装置。

技术总结
本发明的各个实施例提供了一种方法和装置，该装置包括通信模块、存储器以及可操作地连接到通信模块和存储器的处理器，其中，该处理器被配置为通过通信模块连接到可穿戴显示装置，从可穿戴显示装置接收用户的注视信息，根据注视信息确定要在屏幕上显示的第一应用和第二应用，识别所确定的第一应用和第二应用的简档，并且基于识别出的简档，组合与第一应用相对应的图形数据和与第二应用相对应的图形数据并将其发送到可穿戴显示装置、或者将与第一应用相对应的图形数据和与第二应用相对应的图形数据中的每一个发送到可穿戴显示装置。各种实施例是可能的。各种实施例是可能的。各种实施例是可能的。


技术研发人员：边光民 李承范 洪承硕 金民起 金炫秀 廉东铉
受保护的技术使用者：三星电子株式会社
技术研发日：2021.11.29
技术公布日：2023/9/9