触控屏显示方法、装置及存储介质与流程
未命名
07-23
阅读:110
评论:0
触控屏显示方法、装置及存储介质
1.本技术是分案申请,原申请的申请号是202210012992.4,原申请日是2022年0 1月07日,原申请的全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及终端技术领域,尤其涉及一种触控屏显示方法、装置及存储介质。
背景技术:
3.随着电子技术的发展,配备有触控屏的电子设备被广泛应用于各个领域,用户可以通过触控操作对电子设备进行控制。
4.示例性的,触控操作可以包括点击操作以及滑动操作。例如,执行点击操作时,用户可以使用手指或手写笔点击触控屏上的图标,图标可以包括:应用程序(application,app)、网址链接或文本文档等,电子设备响应该点击操作可以实现例如打开app、打开网页或打开文档等。当然,用户还可以对触控屏进行滑动操作以实现屏幕界面翻页或者上下滑动等。
5.但是,在用户在利用电子设备进行演示讲解或投屏的场景中,用户为了向倾听者指出希望关注的内容,可能习惯性的使用手指或手写笔在触控屏中指出该内容的具体位置,例如,用户可能会点击触控屏的某位置,或在触控屏的某区域中滑动,该操作可能会导致终端设备检测到触发操作而执行界面跳转等,从而导致演示讲解中断,不利于演示者的使用,同时降低了倾听者的观看体验。
技术实现要素:
6.本技术实施例提供一种触控屏显示方法、装置及存储介质,终端设备中设置第二模式,第二模式中触控屏可以显示悬浮光标,悬浮光标可以随着触控屏中的滑动操作而移动,且移动时终端设备的触控屏中页面内容不发生改变,这样可以减少终端设备误响应用户的触控操作后显示其他不相关界面的几率,提升了用户的使用体验感。
7.第一方面,本技术实施例提供一种触控屏显示方法,包括:当终端设备处于第一模式时,接收来自触控对象的触发操作;其中,在第一模式下,若终端设备在用户界面接收到第一滑动操作,则用户界面的页面内容随着第一滑动操作发生改变;响应于触发操作,终端设备显示处于第二模式下的悬浮光标;当终端设备处于第二模式时,若终端设备在用户界面接收到第二滑动操作,终端设备控制悬浮光标随着第二滑动操作的滑动位置移动,且用户界面中的页面内容不发生改变。这种实现方式中,终端设备中设置第一模式与第二模式,用户可基于第一模式正常操控终端设备,终端设备处于第二模式时,悬浮光标可减少终端设备误响应触控操作后显示其他不相关界面的几率,提升了用户的使用体验感。
8.需要说明的是,本技术实施例为便于描述采用手写模式(也称为第一模式)和光标模式(也称为第二模式)进行示例说明,实际实现中,终端设备中不必须以该两种模式限定。
9.例如,终端设备处于手写模式,可以理解终端设备执行手写功能,在触控屏中接收
到触控操作时,终端设备可以基于触控操作改变用户界面中显示的内容。例如,当终端设备接收到手写笔或手指在屏幕中的滑动操作时,终端设备可以实现页面翻页、页面滑动、页面上显示滑动轨迹、显示动效或者显示用于删除消息的提示框等;当终端设备接收到手写笔或手指在屏幕中的点击操作时,终端设备可以实现向控件对应的页面的跳转等。
10.终端设备处于光标模式,可以理解为终端设备类似于接收到鼠标的操作时执行的功能。在触控屏中接收到触控操作时,终端设备可以基于触控操作改变悬浮光标的位置,而不改变用户界面中显示的内容。例如,终端设备处于光标模式时,可以在屏幕显示悬浮光标,终端设备的触控屏接收到手写笔或手指的滑动操作时,终端设备可以控制悬浮光标随着滑动操作移动;当终端设备接收到手写笔或手指在屏幕中的点击操作时,终端设备可以实现将悬浮光标移动至点击操作所处的位置等。
11.在一种可能的实现方式中,当终端设备处于第一模式时,若终端设备在用户界面接收到针对目标控件的点击操作,终端设备跳转至目标控件对应的页面;和/或,当终端设备处于第二模式时,若终端设备在用户界面接收到针对目标控件的点击操作,终端设备将悬浮光标移动至点击操作在触控屏中触发的位置。这样,终端设备中设置第一模式与第二模式,用户可基于第一模式正常操控终端设备,终端设备处于第二模式时,悬浮光标可减少终端设备误响应触控操作后显示其他不相关界面的几率,提升了用户的使用体验感。
12.在一种可能的实现方式中,若终端设备在用户界面接收到第二滑动操作,终端设备控制悬浮光标随着第二滑动操作的滑动位置移动,包括:终端设备检测到触控对象的第一接触事件时,终端设备进入第一状态;在终端设备处于第一状态时,若终端设备检测到触控对象未离开触控屏且触控对象在触控屏中产生位移,终端设备进入第二状态;在终端设备处于第二状态时,终端设备根据触控对象的报点位移控制悬浮光标移动。这样,在第二模式下,用户可基于第一接触事件进入第一状态与第二状态,并在第二状态下实现悬浮光标的移动,提升用户体验。
13.在一种可能的实现方式中,终端设备根据触控对象的报点位移控制悬浮光标移动,包括:终端设备将触控对象的报点信息转换为坐标信息;终端设备根据坐标信息控制悬浮光标移动。这样,通过坐标信息精确定位悬浮光标的位置,实现终端设备对悬浮光标移动的精确控制,提升用户体验。
14.需要说明的是,本技术对终端设备根据坐标信息控制悬浮光标移动的具体方式不做限制。在一种可能的实现方式中,坐标信息为位移信息,终端设备可基于位移信息计算光标实际位置后,在光标实际位置绘制光标。在另一种可能的实现方式中,坐标信息为真实的坐标信息,即终端设备可基于坐标信息定位到具体的光标实际位置,并在该位置绘制光标。从而实现悬浮光标随触控对象的报点位移控制悬浮光标移动。
15.在一种可能的实现方式中,终端设备将触控对象的报点信息转换为坐标信息,包括:终端设备去除报点信息中除坐标信息外的其他信息,得到坐标信息。这样,终端设备可得到坐标信息,以使终端设备根据坐标信息精确定位悬浮光标的位置,实现终端设备对悬浮光标移动的精确控制,提升用户体验。
16.在一种可能的实现方式中,在终端设备处于第一状态时,若终端设备检测到触控对象未在触控屏产生位移即离开触控屏,终端设备进入第三状态;在终端设备处于第三状态时,若终端设备检测到触控对象的第二接触事件,且第二接触事件与第一接触事件之间
的时间间隔小于时间阈值,以及第二接触事件与第一接触事件各自在触控屏所对应位置之间的距离小于距离阈值时,终端设备进入第四状态;在终端设备处于第四状态时,若终端设备检测到触控对象在触控屏产生位移,终端设备触控屏产生位移处的显示内容突出显示;或者,若终端设备检测到触控对象离开触控屏,终端设备在第二接触事件的位置显示焦点光标。这样,终端设备处于第二模式时,还可以通过触控对象的双击以及双击滑动操作模拟鼠标的单击以及左键拖拽行为,丰富了第二模式下光标的应用形式,提升了用户体验。
17.在一种可能的实现方式中,当终端设备处于第一模式时,接收来自触控对象的触发操作,包括:当终端设备处于第一模式时,终端设备显示第一界面,第一界面包括悬浮按钮;在接收到对悬浮按钮的触发时,终端设备在第一界面中展开悬浮按钮,展开后的悬浮按钮包括与第一模式对应的第一控件以及与第二模式对应的第二控件;终端设备接收对第二控件的触发操作。这样,可通过悬浮按钮将终端设备简便快速的切换至第二模式,缩短了模式切换的时间,提升用户使用体验。
18.在一种可能的实现方式中,终端设备显示处于第二模式下的悬浮光标之前,包括:终端设备从第一模式切换到第二模式。这样,终端设备可实现第一模式与第二模式之间的切换,提升用户体验。
19.在一种可能的实现方式中,终端设备从第一模式切换到第二模式,包括:终端设备注册虚拟光标设备;终端设备将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块;其中,手写事件转换模块用于处理触控屏中的手写事件,事件适配加工模块用于处理触控屏中的光标输入事件。这样,在软件层面设置虚拟光标设备并切换事件适配加工模块,在第一模式向第二模式切换时不依赖硬件实现,也不会触发底层设备的重新连接以及设备节点的变化,提升用户体验。
20.在一种可能的实现方式中,终端设备注册虚拟光标设备,包括:终端设备创建虚拟的设备标识符;终端设备使用虚拟的设备标识符创建虚拟的输入设备;终端设备将输入设备设置为触控对象。这样,在软件层面设置虚拟光标设备。以使终端设备在从第一模式向第二模式切换时不依赖硬件实现,也不会触发底层设备的重新连接以及设备节点的变化,提升用户体验。
21.在一种可能的实现方式中,终端设备将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块,包括:终端设备删除手写事件转换模块,以及增加事件适配加工模块。这样,终端设备在处理触控屏中产生的光标事件时,终端设备中保留一个使用中的事件适配加工模块,并删除未使用的手写事件转换模块,减少了终端设备的内存。
22.在一种可能的实现方式中,在终端设备从第二模式切换到第一模式时,终端设备解注册虚拟光标设备。这样,终端设备可根据用户需求实现从第二模式切换回第一模式,提升用户体验。
23.在一种可能的实现方式中,终端设备解注册虚拟光标设备,包括:终端设备删除事件适配加工模块,以及增加手写事件转换模块。这样,终端设备在处理触控屏中产生的手写事件时,终端设备中保留一个使用中的手写事件转换模块,并删除未使用的事件适配加工模块,减少了终端设备的内存。
24.在一种可能的实现方式中,当终端设备处于第一模式时,接收来自触控对象的触发操作包括:当终端设备处于第一模式时,接收来自手写笔的触发指令;触发指令为:手写
笔的目标按钮接收到用户的单击操作、双击操作或长按操作时产生的,或者,手写笔执行预设笔势动作时产生的。这样,当触控对象为手写笔时,用户可基于手写笔快速、便捷地由第一模式切换至第二模式,提升用户体验。
25.在一种可能的实现方式中,当终端设备处于第二模式时,若接收到触控对象的用于向第一模式切换的操作,终端设备取消悬浮光标的显示以及进入第一模式;当终端设备处于第一模式时,若终端设备在用户界面接收到滑动操作,则终端设备基于滑动操作实现下述一项或多项功能:页面翻页、页面滑动、页面上显示滑动轨迹、显示动效或者显示用于删除消息的提示框。这样,终端设备可根据用户需求实现从第二模式切换至第一模式,提升用户体验。
26.在一种可能的实现方式中,在终端设备处于第二模式时,终端设备与大屏设备建立连接,以及将终端设备中显示的内容投屏在大屏设备;或者,在终端设备与大屏设备建立连接后,终端设备进入第二模式,以及将终端设备中显示的内容投屏在大屏设备。这样,终端设备可与大屏设备连接后,用户基于终端设备第二模式进行触控操作,大屏设备可展示终端设备的显示界面,提升用户体验。
27.第二方面,本技术实施例提供一种触控屏显示装置,该触控屏显示装置可以是终端设备,也可以是终端设备内的芯片或者芯片系统。该触控屏显示装置可以包括通信单元、显示单元和处理单元。当该触控屏显示装置是终端设备时,该处显示单元可以是触控屏。该显示单元用于执行显示的步骤,以使该终端设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种触控屏显示方法。当该触控屏显示装置是终端设备时,该处理单元可以是处理器。该触控屏显示装置还可以包括存储单元,该存储单元可以是存储器。该存储单元用于存储指令,该处理单元执行该存储单元所存储的指令,以使该终端设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种触控屏显示方法。当该触控屏显示装置是终端设备内的芯片或者芯片系统时,该处理单元可以是处理器。该处理单元执行存储单元所存储的指令,以使该终端设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种触控屏显示方法。该存储单元可以是该芯片内的存储单元(例如,寄存器、缓存等),也可以是该终端设备内的位于该芯片外部的存储单元(例如,只读存储器、随机存取存储器等)。
28.示例性的,处理器,用于获取用户相关的触控屏显示信息,并在满足条件时,推送至触控屏;触控屏,用于接收触控对象的触控操作以及显示用户页面。
29.在一种可能的实现方式中,当终端设备处于第一模式时,触控屏接收来自触控对象的触发操作;其中,在第一模式下,若触控屏接收到第一滑动操作,处理器控制用户显示页面内容随着第一滑动操作发生改变;响应于触发操作,触控屏显示处于第二模式下的悬浮光标;当终端设备处于第二模式时,若触控屏在用户界面接收到第二滑动操作,处理器控制悬浮光标随着第二滑动操作的滑动位置移动,且触控屏显示的用户界面中的页面内容不发生改变。
30.在一种可能的实现方式中,当终端设备处于第一模式时,若触控屏接收到针对目标控件的点击操作,终端设备跳转至目标控件对应的页面;和/或,当终端设备处于第二模式时,若触控屏接收到针对目标控件的点击操作,处理器将悬浮光标移动至点击操作在触控屏中触发的位置。
31.在一种可能的实现方式中,若触控屏接收到第二滑动操作,处理器控制悬浮光标随着第二滑动操作的滑动位置移动,包括:处理器检测到触控对象的第一接触事件时,终端设备进入第一状态;在终端设备处于第一状态时,若处理器检测到触控对象未离开触控屏且触控对象在触控屏中产生位移,终端设备进入第二状态;在终端设备处于第二状态时,处理器根据触控对象的报点位移控制触控屏中悬浮光标移动。
32.在一种可能的实现方式中,处理器根据触控对象的报点位移控制触控屏中悬浮光标移动,包括:处理器将触控对象的报点信息转换为坐标信息;处理器根据坐标信息控制触控屏中悬浮光标移动。
33.在一种可能的实现方式中,处理器将触控对象的报点信息转换为坐标信息,包括:处理器去除报点信息中除坐标信息外的其他信息,得到坐标信息。
34.在一种可能的实现方式中,终端设备进入第一状态之后,在终端设备处于第一状态时,若处理器检测到触控对象未在触控屏产生位移即离开触控屏,终端设备进入第三状态;在终端设备处于第三状态时,若处理器检测到触控对象的第二接触事件,且第二接触事件与第一接触事件之间的时间间隔小于时间阈值,以及第二接触事件与第一接触事件各自在触控屏所对应位置之间的距离小于距离阈值时,终端设备进入第四状态;在终端设备处于第四状态时,若处理器检测到触控对象在触控屏产生位移,触控屏产生位移处的显示内容突出显示;或者,若处理器检测到触控对象离开触控屏,触控屏在第二接触事件的位置显示焦点光标。
35.在一种可能的实现方式中,当终端设备处于第一模式时,触控屏接收来自触控对象的触发操作,包括:当终端设备处于第一模式时,触控屏显示第一界面,第一界面包括悬浮按钮;在接收到对悬浮按钮的触发时,触控屏在第一界面中展开悬浮按钮,展开后的悬浮按钮包括与第一模式对应的第一控件以及与第二模式对应的第二控件;触控屏接收对第二控件的触发操作。
36.在一种可能的实现方式中,触控屏显示处于第二模式下的悬浮光标之前,包括:终端设备从第一模式切换到第二模式。
37.在一种可能的实现方式中,终端设备从第一模式切换到第二模式,包括:处理器注册虚拟光标设备;处理器将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块;其中,手写事件转换模块用于处理触控屏中的手写事件,事件适配加工模块用于处理触控屏中的光标输入事件。
38.在一种可能的实现方式中,处理器注册虚拟光标设备,包括:处理器创建虚拟的设备标识符;处理器使用虚拟的设备标识符创建虚拟的输入设备;处理器将输入设备设置为触控对象。
39.在一种可能的实现方式中,处理器将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块,包括:处理器删除手写事件转换模块,以及增加事件适配加工模块。
40.在一种可能的实现方式中,在终端设备从第二模式切换到第一模式时,处理器解注册虚拟光标设备。
41.在一种可能的实现方式中,处理器解注册虚拟光标设备,包括:处理器删除事件适配加工模块,以及增加手写事件转换模块。
42.在一种可能的实现方式中,当终端设备处于第一模式时,接收来自触控对象的触发操作包括:当终端设备处于第一模式时,接口电路接收来自手写笔的触发指令;触发指令为:手写笔的目标按钮接收到用户的单击操作、双击操作或长按操作时产生的,或者,手写笔执行预设笔势动作时产生的。
43.在一种可能的实现方式中,当终端设备处于第二模式时,若触控屏接收到触控对象的用于向第一模式切换的操作,触控屏取消悬浮光标的显示以及进入第一模式;当终端设备处于第一模式时,若触控屏在用户界面接收到滑动操作,则处理器基于滑动操作实现下述一项或多项功能:页面翻页、页面滑动、页面上显示滑动轨迹、显示动效或者显示用于删除消息的提示框。
44.在一种可能的实现方式中,在终端设备处于第二模式时,接口电路与大屏设备建立连接,以及将触控屏中显示的内容投屏在大屏设备;或者,在接口电路与大屏设备建立连接后,终端设备进入第二模式,以及将触控屏中显示的内容投屏在大屏设备。
45.第三方面,本技术实施例提供一种电子设备,包括:处理器和存储器,处理器用于调用存储器中的程序以使终端设备执行用于执行第一方面或第一方面任意可能的实现方式的任一方法。
46.第四方面,本技术实施例提供一种电子设备,包括:处理器、触控屏和接口电路,接口电路用于与其它装置通信;触控屏用于接收触控对象的触控操作以及执行显示的步骤;处理器用于运行代码指令,以实现第一方面或第一方面任意可能的实现方式的任一方法。
47.第五方面,本技术实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有指令,当指令被执行时,以实现第一方面或第一方面任意可能的实现方式的任一方法。
48.第六方面,本技术实施例提供一种包括计算机程序的计算机程序产品,当计算机程序在计算机上运行时,使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。
49.应当理解的是,本技术的第二方面至第六方面与本技术的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
50.图1为可能的实现中触控屏的一种场景示意图;
51.图2为可能的实现中触控屏的一种场景示意图;
52.图3为本技术实施例提供的终端设备100的结构示意图;
53.图4为本技术实施例提供的终端设备100的软件结构示意图;
54.图5为本技术实施例提供的一种进入光标模式的界面示意图;
55.图6为本技术实施例提供的一种进入光标模式的界面示意图;
56.图7为本技术实施例提供的一种处于光标模式的界面示意图;
57.图8为本技术实施例提供的一种投屏时光标模式的界面示意图;
58.图9为本技术实施例提供的一种手写模式的界面示意图;
59.图10为本技术实施例提供的一种触控屏显示方法的流程示意图;
60.图11为本技术实施例提供的一种终端设备内部交互示意图;
61.图12为本技术实施例提供的一种光标输入事件的处理流程示意图;
62.图13为本技术实施例提供的一种触控屏显示装置的结构示意图。
具体实施方式
63.在本技术的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
64.需要说明的是,本技术实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
65.本技术实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a
‑‑
c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
66.操作方便的触控屏被广泛应用于各个领域,手机、电脑和车载终端等电子设备中通常配置有触控屏,用户通过触控操作实现对电子设备的控制。触控操作可以包括点击操作以及滑动操作。用户可以使用手指或手写笔点击触控屏上的图标,图标可以包括:app、网址链接或文本文档等,电子设备响应该点击操作可以实现例如打开app、打开网页或打开文档等。用户还可以对触控屏进行滑动操作以实现屏幕界面翻页或者上下滑动等。
67.但是,在用户在利用电子设备进行演示讲解或投屏的场景中,用户为了向倾听者指出希望关注的内容,可能习惯性的使用手指或手写笔在触控屏中指出该内容的具体位置。例如,用户可能会点击触控屏的某位置,或在触控屏的某区域中滑动,该操作可能会导致终端设备检测到触发操作而执行界面跳转等,从而导致演示讲解中断。
68.示例性的,如图1所示,在使用配置有触控屏的电子设备进行线上教学的过程中,用户讲解到“生活中常见的形状包括圆形、长方形、正方形
……”
念到“正方形”时,用户希望向倾听者指出哪个形状是正方形,这时,手写笔或手指可能误点击了正方形图标的链接101,电子终端响应了该次点击操作,导致触控屏从显示的“常见形状”界面变成了“正方形性质”的界面,中断了用户的讲课过程。
69.示例性的,如图2所示,用户正基于“正方形性质”界面的性质2进行朗读,并根据朗读的内容使用手写笔在触控屏上进行滑动,以向倾听者指出正在讲解的相关文字,此时手写笔的滑动操作被终端设备响应为“翻到下一页”,触控屏由显示当前的“正方形性质”界面变成了显示下一页的“三角形性质”界面,中断了用户的讲课过程。因此,点击触摸与滑动触摸在当前的演示场景中,可能出现电子设备响应对应触控操作,误唤醒其他界面的情况,从而中断用户的讲解过程,降低了用户与倾听者的使用体验。
70.有鉴于此,本技术实施例提出了一种触控屏显示方法,该方法在终端设备中设置
了光标模式,以减少终端设备误响应用户的触控操作,触控屏显示其他不相关界面的几率。可选的,当终端设备处于光标模式时,触控屏上出现悬浮状态的光标指针,用户的手指或手写笔可模拟鼠标,对触控屏进行触控操作。触控屏接收到用户的单次点击以及滑动操作后,终端设备执行光标事件处理流程,将悬浮光标移动到触控屏的相应位置,从而实现用户在演示场景中向倾听者指出重点关注内容的作用。
71.电子设备包括终端设备,终端设备也可以称为终端(terminal)、用户设备(user equipment,ue)、移动台(mobile station,ms)、移动终端(mobile terminal,mt)等。终端设备可以是手机(mobile phone)、智能电视、穿戴式设备、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality,vr)终端设备、增强现实(augmented reality,ar)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本技术的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
72.为了能够更好地理解本技术实施例,下面对本技术实施例的终端设备的结构进行介绍:
73.图3示出了终端设备100的结构示意图。终端设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,sim)卡接口195等。
74.其中,传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
75.可以理解的是,本技术实施例示意的结构并不构成对终端设备100的具体限定。在本技术另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
76.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processingunit,gpu),图像信号处理器(image signal processor,isp),控制器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
77.控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
78.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令
或数据。如果处理器110需要再次使用该指令或数据,可从存储器中调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
79.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuitsound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purposeinput/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
80.可以理解的是,本技术实施例示意的各模块间的接口连接关系,是示意性说明,并不构成对终端设备100的结构限定。在本技术另一些实施例中,终端设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
81.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备供电。
82.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
83.终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
84.天线1和天线2用于发射和接收电磁波信号。终端设备100中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
85.移动通信模块150可以提供应用在终端设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
86.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输
出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
87.无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
88.在一些实施例中,终端设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(codedivision multiple access,cdma),宽带码分多址(wideband code division multipleaccess,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidounavigation satellite system,bds),准天顶卫星系统(quasi-zenith satellitesystem,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
89.终端设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
90.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emittingdiode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,amoled),柔性发光二极管(flex light-emittingdiode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot lightemitting diodes,qled)等。在一些实施例中,终端设备100可以包括1个或n个显示屏194,n为大于1的正整数。
91.终端设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
92.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
93.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,终端设备100可以包括1个或n个摄像头193,n为大于1的正整数。
94.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
95.视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样,终端设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
96.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现终端设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
97.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
98.内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行终端设备100的各种功能应用以及数据处理。
99.终端设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
100.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
101.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170a收听音乐,或收听免提通话。
102.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
103.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风
170c。终端设备100可以设置至少一个麦克风170c。在另一些实施例中,终端设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
104.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
105.示例性的,终端设备100还可以包括按键190、马达191、指示器192、sim卡接口195(esim卡)等一项或多项。
106.终端设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构,等。本技术实施例以分层架构的android系统为例,示例性说明终端设备100的软件结构。
107.图4是本技术实施例的终端设备100的软件结构框图。
108.分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,以及内核层。
109.应用程序层可以包括一系列应用程序包。
110.如图4所示,应用程序包可以包括相机,日历,电话,地图,电话,音乐,设置,邮箱,视频,手写笔应用等应用程序。
111.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
112.如图4所示,应用程序框架层可以包括输入管理服务器与输入事件读取器,输入管理服务器包括输入事件分发器与输入管理服务接口,输入事件读取器包括事件中心(event hub)输入设备管理器与报点处理模块。
113.输入管理服务接口,用于接收应用程序层发送的输入事件,并将输入事件通知到其他处理模块以进行具体的处理流程。
114.event hub输入设备管理器,用于创建和管理输入输出设备。
115.报点处理模块,用于接收输入事件,执行相应的报点转换处理流程。报点处理模块可以包括事件适配加工模块和/或手写事件转换模块。
116.其中,事件适配加工模块用于处理触控屏中的光标输入事件,例如,在事件适配加工模块接收到触控屏中的滑动操作时,事件适配加工模块可以基于滑动操作的报点信息处理得到坐标信息,将坐标信息赋值给触控屏中的悬浮光标,使得悬浮光标可以随着滑动操作移动;在事件适配加工模块接收到触控屏中的点击操作时,事件适配加工模块可以基于点击操作的报点信息处理得到坐标信息,将坐标信息赋值给触控屏中的悬浮光标,使得悬浮光标可以移动至点击操作所处的位置。
117.手写事件转换模块用于处理触控屏中的手写事件,例如,在手写事件转换模块接收到触控屏中的滑动操作时,手写事件转换模块可以基于滑动操作的报点信息处理得到用于实现页面翻页、页面滑动、页面上显示滑动轨迹等的信息,从而实现页面翻页、页面滑动、
页面上显示滑动轨迹、显示动效或者显示用于删除消息的提示框等;在手写事件转换模块接收到触控屏中的点击操作时,手写事件转换模块可以基于点击操作对应的报点信息,得到报点处对应的控件,以实现向控件对应的页面的跳转等。
118.输入事件分发器,用于将光标报点处理末模块处理的结果分发到各线程进行相应处理。
119.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
120.核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
121.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
122.系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
123.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
124.媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
125.三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
126.2d图形引擎是2d绘图的绘图引擎。
127.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
128.下面结合应用程序启动或应用程序中发生界面切换的场景,示例性说明终端设备100软件以及硬件的工作流程。
129.当触摸传感器180k接收到触控操作,相应的硬件中断被发给内核层。内核层将触控操作加工成原始输入事件(包括触摸坐标,触摸力度,触控操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。应用程序调用应用框架层的接口,启动应用程序,进而通过调用内核层启动显示驱动,显示应用程序的功能界面。
130.下面结合附图对本技术实施例提供的终端设备的光标模式的显示过程进行详细地介绍。需要说明的是,本技术实施例中的“在
……
时”,可以为在某种情况发生的瞬时,也可以为在某种情况发生后的一段时间内,本技术实施例对此不作具体限定。
131.本技术实施例对能够实现光标模式的应用软件不做限制,例如,应用软件可以包括终端设备系统应用或者用户无法自行删除的第三方预装应用软件。也可以包括支持用户安装或卸载的第三方应用软件。
132.需要说明的是,本技术实施例为便于描述采用手写模式(也称为第一模式)和光标模式(也称为第二模式)进行示例说明,实际实现中,终端设备中不必须以该两种模式限定。
133.例如,终端设备处于手写模式,可以理解终端设备执行手写功能,在触控屏中接收到触控操作时,终端设备可以基于触控操作改变用户界面中显示的内容。例如,当终端设备
接收到手写笔或手指在屏幕中的滑动操作时,终端设备可以实现页面翻页、页面滑动、页面上显示滑动轨迹、显示动效或者显示用于删除消息的提示框等;当终端设备接收到手写笔或手指在屏幕中的点击操作时,终端设备可以实现向控件对应的页面的跳转等。
134.终端设备处于光标模式,可以理解为终端设备类似于接收到鼠标的操作时执行的功能。在触控屏中接收到触控操作时,终端设备可以基于触控操作改变悬浮光标的位置,而不改变用户界面中显示的内容。例如,终端设备处于光标模式时,可以在屏幕显示悬浮光标,终端设备的触控屏接收到手写笔或手指的滑动操作时,终端设备可以控制悬浮光标随着滑动操作移动;当终端设备接收到手写笔或手指在屏幕中的点击操作时,终端设备可以实现将悬浮光标移动至点击操作所处的位置等。
135.终端设备从手写模式进入光标模式的具体实现较多,本技术实施例结合图5-图6示例性说明几种可能的终端设备进入光标模式的界面示意图。
136.示例性的,图5为本技术实施例提供的一种进入光标模式的界面示意图。
137.如图5中的a所示,终端设备的第一界面中可以显示悬浮按钮501,悬浮按钮501可以在界面的任意位置。
138.可选的,悬浮按钮的显示位置可由用户自行调整至界面中空白位置,也可由终端设备检测并调整到当前界面的空白位置,使得悬浮按钮不遮挡当前界面其他功能性图标,以免影响用户开启其他应用程序。
139.终端设备接收到用户手指对悬浮按钮501的触发时,终端设备可以进入到如图5的b所示的界面。可以理解的是,附图以手指为例,手指可替换为任一能够触发触控屏的对象,例如,手写笔。
140.可选的,图5中b所示的界面中包括展开状态的悬浮按钮502,悬浮按钮展开后可以包括光标模式应用控件503、手写模式应用控件504以及光标效果应用控件505,用户可基于展开状态的悬浮按钮502切换手写模式及光标模式。可选的,悬浮光标的形状可调和/或颜色可调。例如,终端设备显示的光标效果可通过光标效果应用控件505自定义设置,光标效果可包括颜色、大小、形状等,也可使用其他方式调整光标效果,此处不做限制。
141.例如,当终端设备接收到用户触发光标模式应用控件503的操作时,终端设备进入到如图5中的c所示的光标模式的界面。可以理解的是,终端设备当前处于手写模式,用户点击触摸光标模式应用控件503后,终端设备对该次点击触摸进行响应,由手写模式切换至光标模式。若当前终端设备已处于光标模式,用户点击触摸光标模式应用控件503后,终端设备对该次操作可以不做响应并维持当前所处模式;可选的,终端设备当前处于光标模式,用户连续两次点击触摸手写模式应用控件504后,终端设备对该次点击触摸进行响应,由光标模式切换至手写模式。可选的,终端设备处于光标模式时,可通过单次点击操作模拟鼠标的悬浮状态,连续两次点击操作模拟鼠标的单击状态以及连续两次点击并滑动的操作模拟鼠标的拖拽状态。若当前终端设备已处于手写模式,用户连续两次点击触摸手写模式应用控件504,终端设备可对该次操作不做响应并维持当前所处模式。
142.在经过图5中的b的设置操作后,终端设备进入光标模式,如图5中c所示,该界面中出现悬浮状态的光标指针,简称为悬浮光标506。悬浮光标506的初始位置可为上一次点击触摸的位置,如光标模式应用控件503对应的位置。初始位置还可以是上一次由光标模式切换至手写模式时,悬浮光标506的终止位置。初始位置还可以是随机悬浮于当前界面的任意
位置,本技术对悬浮光标的初始位置不做限制。
143.如图5中的d所示,终端设备处于光标模式时接收到用户的点击触控操作,设备终端触控屏上与用户点击触摸的位置相对应的位置处出现悬浮光标。当终端设备接收到用户的滑动触控操作时,终端设备控制悬浮光标随着触控操作的位置移动。例如,如图5中的e所示,用户在通过手机屏幕向其他人展示当前所处时间,为更清楚的指明时钟的位置,在触控屏上对“15:19”进行了圈定。用户使用手指或者手写笔从初始位置a点滑动到终止位置b点的过程中,悬浮光标的位置随着触摸位置移动,用户停止滑动触摸后,光标指针停留在b点位置上。一种可能的情况,圈定轨迹为用户进行滑动触控操作的触摸轨迹,并非终端设备界面中出现的可显示滑动轨迹的线条。
144.也就是说,本技术实施例中终端设备可以显示包括悬浮按钮的第一界面,在接收到对悬浮按钮的触发时,终端设备在第一界面显示展开的悬浮按钮。展开的悬浮按钮中包括用于触发手写模式的区域和用于触发光标模式的区域;在接收到对光标模式的触发时,终端设备从手写模式切换到光标模式。这样,可通过悬浮按钮将终端设备简便快速的切换至光标模式,缩短了模式切换的时间,提升用户使用体验。
145.示例性的,图6为本技术实施例提供的一种进入光标模式的界面示意图。
146.如图6中的a所示,终端设备的界面中可以显示光标模式应用软件601的图标,光标模式应用软件601的图标可以在界面的任意位置,本技术对光标模式应用软件601的样式不做限定。可以理解的是,光标模式应用软件可以包括上述示例的第三方应用软件,也可以包括终端设备中的系统应用。例如,在系统应用的设置程序中,用户可选择打开手写设置菜单,以使终端设备进入光标模式。
147.终端设备接受到用户对光标模式应用软件601的触发时,终端设备可以进入到如图6中的b所示的界面。
148.可选的,图6中的b所示界面中包括手写设置菜单,手写模式菜单可以包括光标模式的开关选项602以及手写模式的开关选项603。用户可基于手写设置菜单切换手写模式及光标模式。
149.例如:终端设备处于手写模式时,终端设备界面中手写模式的开关选项显示为开启状态,光标模式的开关选项显示为关闭状态。终端设备接收到用户触发光标模式的开关选项602的操作时,终端设备进入到如图6中的c所示的界面。该界面可包括光标模式的开关选项602、手写模式的开关选项603、悬浮光标506以及光标效果设置选项。可以理解的是,此时光标模式的开关选项602处于开启状态,手写模式的开关选项603处于关闭状态。可选的,终端设备显示的光标效果可通过光标效果选项自定义设置,光标效果可包括颜色、大小、形状等,也可使用其他方式调整光标效果,此处不做限制。
150.一种可能的实现中,终端设备当前处于手写模式,用户点击触摸光标模式的开关选项602后,终端设备对该次点击触摸进行响应,由手写模式切换至光标模式。若当前终端设备已处于光标模式,用户点击触摸光标模式的开关选项602,终端设备对该次操作可以不做响应并维持当前所处状态模式;可选的,终端设备当前处于光标模式,用户连续两次点击触摸手写模式的开关选项603后,终端设备对该次点击触摸进行响应,由光标模式切换至手写模式。若当前终端设备处于已手写模式,用户连续两次点击触摸手写模式的开关选项603,终端设备对该次操作不做响应并维持当前所处模式。
151.在经过图6中的b所示的设置操作后,终端设备进入光标模式,如图5中c所示,界面中出现悬浮光标506。用户点击触控屏上任一位置后,悬浮光标506出现在当前点击触摸的位置上。用户在屏幕上滑动触摸时,悬浮光标的位置随着用户触摸位置的改变而相应的改变。如图6中的d与图6中的e所示,终端设备处于光标模式的操作流程与图5中的d与图5中e类似,此处不做赘述。
152.可以理解的是,图5和图6示出了一种利用终端设备实现手写模式和光标模式的切换的方式。可能的实现中,终端设备通过蓝牙模块等连接有手写笔时,也可通过手写笔通知终端设备侧开启光标模式。
153.一种可能的实现方式中,手写笔中可自定义设置切换光标模式的指令。手写笔接收到用户的单击、双击或长按笔身侧按钮的操作后,将切换光标模式的指令通过蓝牙模块上报给终端设备。终端设备接收到指令后进入光标模式。例如,终端设备接收到指令后,可以将应用程序层的用于执行手写模式的相关模块替换为用于执行光标模式的相关模块,以执行光标处理逻辑,具体实现将在后续实施例详细说明,在此不做赘述。
154.再一种可能的实现方式中,手写笔也可以通过特定的笔势动作解锁切换光标模式的指令,并将其发送给终端设备。特定的笔势动作可以包括笔尖朝上或笔身旋转特定的角度。
155.又一种可能的实现方式中,手写笔中可自定义设置唤醒手写设置菜单的指令。手写笔接收到用户按压手写笔的按钮或执行特定笔势动作的操作后,将唤醒手写设置菜单的指令发送至终端设备。终端设备接收指令后激活手写设置菜单界面,用户使用手写笔在该界面上手动开启光标模式。此处对终端设备进入光标模式的实现方式不做限制。
156.可以理解的是,图5中的d和图5中的e以及图6中的d和图6中的e示出的终端设备处于光标模式的一种实现方式。可能的实现中,终端设备处于光标模式时,还可执行以下操作。
157.示例性的,图7为本技术实施例提供的一种终端设备处于光标模式的界面示意图。
158.终端设备显示如图7所示的界面,该界面中包括显示内容,终端设备接收到用户连续两次点击操作后,光标指针由悬浮光标变为焦点光标。若用户连续两次点击触控屏后,手指离开触控屏,则终端设备控制焦点光标显示于点击触摸的位置上。若用户连续两次点击触控屏后滑动一定位移,则触控屏上产生位移处的显示内容突出显示。
159.例如,如图7中的a所示界面,终端设备处于光标模式,界面中的显示内容包括文字。用户在“棉”字的位置进行了点击,悬浮光标出现在“棉”字下方。如图7中的b所示,用户向上抬起手指,使手指离开触控屏,悬浮光标的位置未发生变化。随后,用户在短暂的时间内第二次点击了一次“棉”字,如图7中的c所示。终端设备接收到用户连续两次点击的操作后,将悬浮光标变为焦点光标701,焦点光标701如图7中的d所示,焦点光标显示于点击位置“棉”字的后方。在图7中的d所示的第二次点击操作之后,一种可能的情况下,用户手指未离开触控屏,且手指在触控屏上移动一段距离,手指从“棉”字滑动至“夏”字,则终端设备进入到图7中的e界面,手指在触控屏上产生位移处的显示内容“夏至不纳棉”被终端设备突出显示。另一种可能的情况下,用户手指离开触控屏,如图7中的f所示,终端设备接收到用户的抬起操作,则焦点光标停留在第二次点击的“棉”字后方的位置上。可以理解的是,本技术实施例中提供了终端设备进入光标模式的几种可能的实现方式,该实现并不对光标模式的具
体实现造成限定。
160.可选的,当终端设备处于光标模式时,也可用于与大屏仪器连接,终端设备在光标模式中显示的内容可以投屏在大屏设备。
161.可选的,终端设备与大屏设备连接后,终端设备也可由手写模式切换至光标模式。终端设备可以将光标模式所显示的内容投屏至大屏设备。
162.示例性的,图8为本技术实施例提供的一种投屏时光标模式的界面示意图。
163.可选的,终端设备可将终端设备中显示的内容投屏在大屏设备。
164.如图8所示,终端设备可连接大屏设备,大屏设备可以包括投影仪、智能家电以及区别于终端设备的其他电子设备。可选的,以终端设备为可触屏的平板电脑为例,平板电脑界面上的内容可投屏至与投影仪配套的幕布上,平板电脑可与电视机设备连接后投屏至电视机屏幕,平板电脑还可通过会议小程序、app或远程连接等方式投屏至其他电子设备上,此处不做限制。
165.示例性的,如图8中的a所示,终端设备处于光标模式,终端设备与大屏设备建立连接后,用户在终端设备上进行ppt文档演示。在讲解常见形状中的椭圆形状时,用户希望向倾听者指示出哪个形状是椭圆形,于是点击触摸了触控屏上椭圆形所在的位置。终端设备接收到该次触控操作,将悬浮光标的位置调整到触控屏上用户点击的位置处。终端设备的显示界面同步至大屏设备的显示界面,椭圆形下方显示悬浮光标。
166.示例性的,如图8中的b所示,用户在向倾听者讲解椭圆形时,习惯性的圈出哪个是椭圆形。终端设备接收到用户的滑动触摸,显示界面中的悬浮光标会随触摸位置的变化而变化,倾听者可在大屏设备上清楚的看到悬浮光标在椭圆形附近的晃动情况。大屏设备中的虚线为悬浮光标的滑动轨迹,倾听者并不能够真实的观察到滑动轨迹的实际线条。
167.上述实施例中给出了一种终端设备进入并使用光标模式的界面示例图,可以理解的是,终端设备也可以由光标模式切换到手写模式。
168.可选的,图9为本技术实施例提供的一种手写模式的界面示意图。
169.示例性的,如图9中的a所示,终端设备处于手写模式,当终端设备接收到用户点击“通话”图标901的操作后,终端设备响应该次触控操作,终端设备进入到如图9中的b所示的通话界面。用户可基于该界面进行拨号、通话或查询联系人等。
170.示例性的,如图9中的c所示,终端设备处于手写模式,用户在“画板”界面进行绘画时,终端设备接收到由a点到b点的滑动触控操作,终端设备响应该次触控操作,终端设备进入到如图9中的d所示的界面。该界面中显示出由a点到b点的滑动触摸轨迹。
171.以上是部分手写模式的应用场景,本技术对手写模式的应用场景不做限制。
172.上面已对本技术实施例的光标模式的应用场景进行了说明,下面对本技术实施例提供的执行上述触控屏显示方法的流程进行描述。触控屏显示方法包括:
173.s901、在终端设备从第一模式切换到第二模式时,终端设备显示悬浮光标;其中,终端设备在第一模式中接收到针对触控屏的操作时,终端设备执行手写事件处理。
174.本技术实施例中,第一模式可以对应于上述的手写模式,第二模式可以对应于上述的光标模式。
175.终端设备在第一模式中接收到针对触控屏的操作时,终端设备执行手写事件处理。其中,终端设备执行手写事件处理可以理解为终端设备接收到针对触控屏的触控操作
后,终端设备确定触控屏中接收到触控操作的位置,触发执行触摸位置处的应用的相应功能。例如,终端设备接收到针对触控屏上通话应用的操作后,终端设备打开通话应用并显示通话界面,从而实现终端设备的通话功能。终端设备可以从第一模式切换至第二模式。当终端设备从第一模式切换到第二模式时,终端设备显示悬浮光标。
176.本技术实施例中,终端设备可以基于用户在终端设备中的触发从第一模式切换至第二模式,具体可以参照图5-图6的相关描述。终端设备也可以基于手写笔的触发从第一模式切换至第二模式,在此不再赘述。
177.s902、终端设备在触控屏接收到第一触控操作时,终端设备控制悬浮光标随着第一触控操作的位置移动。
178.示例性的,第一触控操作可以包括滑动操作。终端设备在触控屏接收到触控对象的滑动操作时,终端设备控制悬浮光标随着触控对象滑动的位置移动。
179.其中,触控对象可以为手指或手写笔等任一能够触发触控屏的对象。触控对象在触控屏上进行滑动操作,终端设备可基于接收到滑动操作来控制悬浮光标随滑动操作的位置同步移动。
180.示例性的,第一触控操作可以包括点击操作。终端设备在触控屏接收到触控对象的点击操作时,终端设备控制悬浮光标出现在触控对象点击的位置处。
181.触控对象在触控屏上进行点击操作,终端设备可基于接收到的点击操作来控制悬浮光标出现在触控对象点击的位置处。可以理解的是,终端设备切换至第二模式后,悬浮光标的初始位置可以是任意位置,触控对象点击操作后,悬浮光标出现在触控对象点击的位置处。
182.本技术实施例中,终端设备处于光标模式时,终端设备可以基于用户在终端设备中的触控操作改变悬浮光标位置,具体可以参照图5中d和图5中e至图6中d和图6中e的相关描述。终端设备处于手写模式时,终端设备可以基于用户在终端设备中的触控操作,触发执行触摸位置处的应用的相应功能,具体可以参照图9的相关描述,在此不再赘述。
183.本技术实施例通过在终端设备中设置光标模式,减少了终端设备误响应用户的触控操作后显示其他不相关界面的几率,提升了用户的使用体验感。
184.下面对本技术实施例提供的终端设备执行触控屏显示方法展开详细描述。图10为本技术实施例提供的一种触控屏显示方法的流程示意图,方法包括:
185.s1001、终端设备的触控屏接收到从第一模式切换到第二模式的触控操作。
186.本技术实施例中,终端设备可以接收从第一模式切换至第二模式的触控操作,具体可以参照图5中a和图5中b至图6中a和图6中b的相关描述。终端设备也可以基于手写笔的触发从第一模式切换至第二模式,在此不再赘述。
187.本技术实施例中,终端设备的应用程序层接收到从第一模式切换到第二模式的触控操作后,应用程序层可以通过系统已有的接口能力,通知系统框架层进行手写设备到光标设备的切换,进一步向事件中心(event hub)进行输入设备的切换。
188.示例性地,图11示出了一种终端设备内部交互示意图。
189.应用程序层的设置应用接收触控对象将终端设备切换为第二模式的触控操作,应用程序层通过系统框架层中的输入管理服务接口,通知系统框架层进行手写设备到光标设备的切换。event hub输入设备管理模块将手写设备切换到光标设备,并管理报点处理模块
中采用事件适配加工模块进行报点,从而使终端设备进入光标模式。
190.终端设备在光标模式中接收到触控操作时,事件适配加工模块对应用程序层接收的触控操作进行处理,得到光标输入事件。输入事件分发对光标输入事件适应分发到各线程进行相应处理。应用程序层接收光标输入事件的处理结果,在触控屏进行相应显示。本技术实施例从软件层面在系统框架层中设置虚拟光标设备并切换事件适配加工模块,不依赖硬件实现,也不会触发底层设备的重新连接以及设备节点的变化。
191.图11具体的详细流程实现可以参照下面步骤描述:
192.s1002、终端设备注册虚拟光标设备。
193.终端设备的触控屏接收到从第一模式切换到第二模式的触控操作后,终端设备的应用程序层通知应用程序框架层,准备切换到第二模式。终端设备可通过系统已有的接口能力,在系统框架中模拟注册光标设备的连接状态。以android平台为例,可在输入阅读程序(input reader)或event hub中添加一个虚拟光标设备,系统层可初始化光标状态。
194.示例性的,终端设备注册虚拟光标设备,包括:终端设备创建并初始化虚拟的设备标识符;终端设备使用虚拟的设备标识符创建虚拟的输入设备;终端设备将输入设备设置为触控对象,触控对象可包括手指与手写笔,将虚拟光标设备添加到系统框架层。
195.例如,终端设备创建并初始化虚拟设备的标识符可以基于下述内容实现:
196.input device identifier identifier;//输入设备标识符
197.identifier.name="virtual-stylus";//为设备标识符命名
198.identifier.uniqueid="《virtual》";//标识符唯一id
199.assign descriptor locked(identifier);//分配描述符已锁定(标识符)。
200.例如,终端设备使用虚拟的设备标识符创建虚拟的输入设备可以基于下述内容实现:
201.std::unique_ptr《device》device=
202.std::make_unique《device》(-1,reserved input deviceid::virtual_keyboard_id,"《virtual》",identifier)。
203.例如,终端设备将输入设备设置为触控对象,触控对象可包括手指与手写笔可以基于下述内容实现:
204.device-》classes=input device class::stylus|input device class::virtual;
205.device-》load key map locked()。
206.例如,将虚拟光标设备添加到系统框架层可以基于下述内容实现:
207.add device locked(std::move(device))。
208.虚拟光标设备注册成功后,终端设备的系统框架层可查询到光标设备的连接,从而进行光标资源和状态的初始化显示。应用程序层也可查询到光标设备的连接。示例性的,终端设备成功注册虚拟光标设备后,应用程序层可查询到光标设备的连接,终端设备的触控屏上弹出“光标设备注册成功”或“光标设备已接入”等提示窗口。
209.可以理解的是,本技术实施例中终端设备连接有手写笔设备时,触控对象为手写笔。终端设备在执行步骤s1002之前,还包括:
210.示例性的,终端设备判断当前是否有手写笔设备连接,如果终端设备识别到手写
笔设备,则执行步骤s1002;如果终端设备未识别到手写笔设备,则通知应用接口返回失败。
211.s1003、终端设备将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块;其中,手写事件转换模块用于处理触控屏中的手写事件,事件适配加工模块用于处理触控屏中的光标输入事件。
212.例如,终端设备可以在报点处理模块增加“事件适配加工”模块,切换掉原有的手写事件转换模块。
213.终端设备处于第一模式时,终端设备通过手写事件转换模块处理触控屏中的手写事件。终端设备处于第二模式时,终端设备通过事件适配加工模块处理触控屏中的光标事件。
214.其中,终端设备将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块,可以包括下述几种可能的实现方式:
215.第一种可能的实现方式中,终端设备删除手写事件转换模块,以及增加事件适配加工模块。终端设备处理触控屏中产生的光标事件时,终端设备中保留一个使用中的事件适配加工模块,终端设备中删除未使用的手写事件转换模块,以减少终端设备的内存。
216.第二种可能的实现方式中,终端设备保留手写事件转换模块,以及增加事件适配加工模块。
217.第三种可能的实现方式中,终端设备设置有手写事件转换模块以及事件适配加工模块,无需新增事件适配加工模块。终端设备在切换至第二模式时,终端设备将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块。
218.终端设备中同时保留使用中的事件适配加工模块与未使用的手写事件转换模块,在终端设备由第二模式切回第一模式时,可直接调用手写事件转换模块,减少增加手写事件转换模块所使用的时间。
219.本技术实施例在软件层面设置虚拟光标设备并切换事件适配加工模块,不依赖硬件实现,也不会触发底层设备的重新连接以及设备节点的变化。
220.s1004、终端设备基于事件适配加工模块处理光标输入事件,以使终端设备在触控屏接收到触控对象的操作时,终端设备执行光标输入事件的处理流程。
221.示例性地,终端设备可以采用状态机处理光标输入事件,图12示出了一种光标输入事件的处理流程。如图12所示,包括:
222.终端设备由第一模式切换至第二模式时状态机处于初始状态(initialization,init状态)。
223.终端设备在触控屏检测到触控对象的第一接触事件时,终端设备进入第一状态;第一状态也可以称为按下状态(down状态)。down状态下,终端设备的触控屏上可以显示静止状态的悬浮光标。
224.在终端设备处于第一状态时,若终端设备检测到触控对象未离开触控屏且触控对象在触控屏中产生位移,终端设备进入第二状态;第二状态也可以称为指针悬浮状态(hover状态),在终端设备处于第二状态时,终端设备根据触控对象的报点位移控制悬浮光标移动。hover状态下,终端设备触控屏上的悬浮光标可以从静止状态变为随触控对象的位移而移动。本技术实施例提供的终端设备根据触控对象的报点位移控制悬浮光标移动方式,具体可以参照图5中d和图5中e至图6中d和图6中e的相关描述,在此不再赘述。
225.可选的,终端设备处于第一状态时,若终端设备检测到触控对象未在触控屏产生位移即离开触控屏,终端设备进入第三状态;第三状态也可以称为暂态状态(pending状态)。pending状态下,终端设备未接收到触控对象的滑动操作,也未检测到触控对象离开触控屏,此时悬浮光标可以处于静止状态。第三状态用于进一步判断触控对象的手势是否为连续双击操作。
226.可选的,在终端设备处于第二状态时,若终端设备检测到触控对象离开触控屏,则终端设备回退到init状态,等待触控对象的下一次触控操作。
227.可选的,在终端设备处于第三状态时,若终端设备在触控屏检测到触控对象的第二接触事件,且第二接触事件与第一接触事件之间的时间间隔小于时间阈值,以及第二接触事件与第一接触事件各自在触控屏所对应位置之间的距离小于距离阈值时,终端设备进入第四状态。第四状态也可以称为拖拽状态(drag&move状态)。时间阈值与距离阈值可由系统自动设置,时间阈值与距离阈值也可由用户手动调整,此处不做限制。
228.可选的,在终端设备处于第三状态时,若终端设备在触控屏未接收到触控对象的第二接触事件,或者接收到的第二接触事件与第一接触事件之间的时间间隔未低于时间阈值,或者第二接触事件与第一接触事件各自在触控屏所对应位置之间的距离未低于距离阈值时,终端设备回退到init状态。
229.可选的,在终端设备处于第四状态时,若终端设备检测到触控对象在触控屏产生位移,终端设备触控屏产生位移处的显示内容突出显示。在drag&move状态下,光标由静止状态的悬浮光标转化为静止状态的焦点光标。若终端设备检测到触控对象的滑动操作,焦点光标将选中触控屏上触控对象滑动操作所经过的区域,从而将选中的显示内容突出显示。显示内容突出显示具体可以参照图7中的e的相关描述,在此不再赘述。
230.可选的,在终端设备处于第四状态时,若终端设备检测到触控对象离开触控屏,终端设备在第二接触事件的位置显示焦点光标。在drag&move状态下,若终端设备检测到触控对象离开触控屏,焦点光标则停留在进入drag&move状态时的触控操作的坐标位置上。触控对象可基于当前坐标位置进行显示内容的编辑或修改等。焦点光标具体可以参照图7中d和图7中f的相关描述,在此不再赘述。终端设备检测到触控对象离开触控屏时,终端设备回退到pending状态,等待触控对象的下一次触控操作。
231.其中,终端设备由第三状态进入第四状态时,一种可能的方式中,若第三状态下的终端设备在触控屏检测到触控对象的第二接触事件,则终端设备记录第二接触事件的时间点以及位置坐标。终端设备判断第一接触事件的时间点与第二接触事件的时间点的时间差值是否小于预设的时间阈值,终端设备判断第一接触事件的位置坐标与第二接触事件的位置坐标的距离是否小于预设的距离阈值。若时间差值与距离均小于预设阈值,则确定第一接触事件与第二接触事件为连续双击,终端设备进入drag&move状态。若时间间隔与距离不满足均小于预设值的条件,则终端设备由pending状态回退到init状态。
232.另一种可能的方式中,终端设备在触控屏检测到触控对象的第一接触事件后,终端设备记录下触控对象的触控位置并开始计时。终端设备在触控屏检测到触控对象的第二接触事件后,终端设备结束计时。终端设备判断计时时间间隔是否小于时间阈值,终端设备判断第二接触事件的触控位置是否在第一接触事件触控位置的预设范围内,预设范围可以是以第一接触事件的触控位置为圆心,预设值为半径的圆形区域。若时间间隔小于时间阈
值且第二接触事件在预设范围内,则确定第一接触事件与第二接触事件为连续双击,终端设备进入drag&move状态。若时间间隔与距离不满足均小于预设值的条件,则终端设备由pending状态回退到init状态。
233.本技术实施例提供的一种触控屏显示方法,终端设备基于触控对象的触控操作控制状态机在初始状态、第一状态、第二状态、第三状态以及第四状态之间转化,使得终端设备根据触控对象的报点位移控制悬浮光标移动、终端设备触控屏产生位移处的显示内容突出显示以及终端设备在第二接触事件的位置显示焦点光标,从而实现了光标模式下光标移动、点击和鼠标左键拖拽等操作。
234.s1005、终端设备的触控屏接收到从第二模式切换到第一模式的触控操作。
235.在终端设备处于第二模式时,若用户希望使用终端设备的某些手写功能,实现便捷的手写输入或点击操作等,此时用户可将终端设备由第二模式切换至第一模式。终端设备的触控屏接收到从第二模式切换到第一模式的触控操作后,终端设备可由第二模式切换至第一模式。终端设备的触控屏接收到从第二模式切换到第一模式的触控操作方法,具体可以参照图5和图6中的相关描述,在此不再赘述。
236.例如,终端设备的应用程序层接收到从第二模式切换到第一模式的触控操作后,应用程序层通过系统已有的接口能力,通知系统框架层进行光标设备到手写设备的切换,进一步向事件中心(event hub)进行输入设备的切换。
237.具体实现可以参照下面步骤描述。
238.s1006、在终端设备从第二模式切换到第一模式时,终端设备解注册虚拟光标设备。
239.终端设备接收到从第二模式切换到第一模式的触控操作后,终端设备的应用程序层通知应用程序框架层,准备切换到第一模式。终端设备可通过系统已有的接口能力,在系统框架中解注册虚拟光标设备,光标设备从系统框架层中移除。
240.终端设备的系统框架层可查询到光标设备断开连接,从而进行手写资源和状态的初始化显示,应用程序层也可查询到光标设备断开连接。示例性的,终端设备成功解注册虚拟光标设备后,应用程序层可查询到光标设备断开连接,终端设备的触控屏上弹出“光标设备解注册成功”或“光标设备已弹出”等提示窗口。
241.终端设备将处理触控屏中产生的事件的模块从事件适配加工模块切换到手写事件转换模块。
242.第一种可能的实现中终端设备删除事件适配加工模块,以及增加手写事件转换模块。终端设备处理触控屏中产生的手写事件时,终端设备中保留一个使用中手写事件转换的模块模块,终端设备中删除未使用的事件适配加工模块,以减少终端设备的内存。
243.第二种可能的实现方式中,终端设备保留事件适配加工模块,以及增加手写事件转换模块。
244.第三种可能的实现方式中,终端设备设置有手写事件转换模块以及事件适配加工模块,无需新增手写事件转换模块。终端设备在切换至第一模式时,终端设备将处理触控屏中产生的事件的模块从事件适配加工模块切换到手写事件转换模块。
245.s1007、终端设备基于手写事件转换模块处理手写输入事件。
246.本技术实施例中,终端设备基于手写事件转换模块处理手写输入事件,具体可以
参照图9的相关描述。在此不再赘述。
247.可选的,在本技术实施例的光标事件处理流程中(即步骤s1004中),终端设备可根据触控对象的报点位移控制悬浮光标移动,包括:终端设备将触控对象的报点信息转换为坐标信息,终端设备根据坐标信息控制悬浮光标移动。
248.可以理解的是,终端设备获取到的触控对象的报点信息除坐标信息外,还包括其他信息。当终端设备处于光标模式时,悬浮光标的坐标定点需要的是报点信息中的坐标信息,因此,终端设备可以对报点信息进行处理后再进行后续步骤。示例性的,终端设备去除报点信息中除坐标信息外的其他信息,得到坐标信息。例如终端设备可保留触控对象的报点信息中的坐标信息,丢弃其他信息,之后终端设备可以根据坐标信息、android原有的屏幕的分辨率及屏幕方向(横竖屏)等参数计算光标的实际位置之后,通过pointer controller光标显示模块在该坐标位置绘制光标。
249.例如,当触控对象在终端设备的触控屏上进行触控操作时,终端设备生成一系列触控对象的报点信息,报点信息可包括:触控对象的x坐标、触控对象的y坐标、触控对象感知的物理压力或触摸区域的信号强度、触摸区域或触控对象的横截面积或宽度、触控对象与触控屏表面的距离、触控对象沿触控屏表面x轴向的倾斜度以及触控对象沿触控屏表面y轴向的倾斜度等。
250.终端设备在使用事件适配加工模块处理光标输入事件时,终端设备在多个报点信息中保留触控对象的x坐标和触控对象的y坐标并丢弃其他报点信息。事件适配加工模块将报点信息中的触控对象的x坐标和触控对象的y坐标转换为光标输入事件的坐标信息。
251.以触控对象为手写笔为例,手写笔的报点信息可以包括下述内容:
252.abs_x:(必需)报告手写笔的x坐标。
253.abs_y:(必需)报告手写笔的y坐标。
254.abs_pressure:(可选)报告应用于手写笔尖端的物理压力或触摸区域的信号强度。
255.abs_tool_width:(可选)报告触摸区域或手写笔本身的横截面积或宽度。
256.abs_distance:(可选)报告手写笔与触控屏表面之间的距离。
257.abs_tilt_x:(可选)报告手写笔沿触控屏表面x轴方向的倾斜度。
258.abs_tilt_y:(可选)报告手写笔沿触控屏表面y轴方向的倾斜度。
259.终端设备将手写笔的报点信息转化为坐标信息后,可以得到abs_x和abs_y,并对其他abs_*事件进行丢弃。
260.一种可能的实现中,abs_x和abs_y可以为位移信息,终端设备可以基于abs_x、abs_y、android原有的屏幕的分辨率及屏幕方向(横竖屏)等参数计算光标实际位置,然后可以通过pointer controller光标显示模块在该光标实际位置绘制光标。例如,手写笔在触控屏上滑动过程中,终端设备实时计算出当前时刻光标的实际位置,光标显示模块在该坐标位置绘制光标,从而实现光标的随手写笔移动。
261.另一种可能的实现中,abs_x和abs_y可以为真实的坐标信息,则终端设备可以基于abs_x和abs_y定位到具体的光标实际位置,然后在该光标实际位置绘制光标。
262.以触控对象为手指为例,手指的报点信息可以包括下述内容:
263.abs_mt_position_x(必需)报告手指的x坐标。
264.abs_mt_position_y(必需)报告手指的y坐标。
265.abs_mt_pressure(可选)报告手指在触屏上压力的信号强度。
266.abs_mt_tracking_id(可选)报告手指从触屏开始到释放过程的事件集合id。
267.abs_mt_touch_major(可选)报告手指接触区域主接触面的长轴长度。
268.abs_mt_touch_minor(可选)报告手指接触区域主接触面的短轴长度。
269.abs_mt_orientation(可选)报告手指接触区域主接触面椭圆区域的方向。
270.终端设备将手指的报点信息转化为坐标信息后,可以得到abs_mt_position_x和abs_mt_position_y,并对其他abs_mt_*事件进行丢弃。
271.一种可能的实现中,abs_mt_position_x和abs_mt_position_y可以为位移信息,终端设备可以基于abs_mt_position_x、abs_mt_position_y、android原有的屏幕的分辨率及屏幕方向(横竖屏)等参数计算光标实际位置,然后通过光标显示模块pointer controller在该光标实际位置绘制光标。例如,手指在触控屏上滑动过程中,终端设备实时计算出当前时刻光标的实际位置,光标显示模块在该坐标位置绘制光标,从而实现光标的随手指移动。
272.另一种可能的实现中,abs_mt_position_x和abs_mt_position_y可以为真实的坐标信息,则终端设备可以基于abs_mt_position_x和abs_mt_position_y定位到具体的光标实际位置,然后在该光标实际位置绘制光标。
273.可以理解的是,本技术实施例提供的终端设备的界面仅作为一种示例,并不构成对本技术实施例的限定。
274.上面结合图1-图12,对本技术实施例提供的方法进行了说明,下面对本技术实施例提供的执行上述方法的装置进行描述。如图13所示,图13为本技术实施例提供的一种触控屏显示装置的结构示意图,该触控屏显示装置可以是本技术实施例中的终端设备,也可以是终端设备内的芯片或芯片系统。
275.如图13所示,触控屏显示装置130可以用于通信设备、电路、硬件组件或者芯片中,该触控屏显示装置包括:处理器1302、接口电路1303和触控屏1304。其中,触控屏1304用于支持触控屏显示方法执行的显示的步骤;处理器1302用于支持触控屏显示装置执行信息处理的步骤,接口电路1303用于支持触控屏显示装置执行接收或发送的步骤。触控屏1304用于接收触控对象的触控操作,也可称作显示单元;处理器1302也可称作处理单元,接口电路1303也可以称为通信单元。
276.具体的,本技术实施例提供的一种触控屏显示装置130,当终端设备处于第一模式时,触控屏1304接收来自触控对象的触发操作;其中,在第一模式下,若触控屏1304接收到第一滑动操作,处理器1302控制用户显示页面内容随着第一滑动操作发生改变;响应于触发操作,触控屏1304显示处于第二模式下的悬浮光标;当终端设备处于第二模式时,若触控屏1304在用户界面接收到第二滑动操作,处理器1302控制悬浮光标随着第二滑动操作的滑动位置移动,且触控屏1304显示的用户界面中的页面内容不发生改变。
277.在一种可能的实现方式中,当终端设备处于第一模式时,若触控屏1304接收到针对目标控件的点击操作,终端设备跳转至目标控件对应的页面;和/或,当终端设备处于第二模式时,若触控屏1304接收到针对目标控件的点击操作,处理器1302将悬浮光标移动至点击操作在触控屏1304中触发的位置。
278.在一种可能的实现方式中,若触控屏1304接收到第二滑动操作,处理器1302控制悬浮光标随着第二滑动操作的滑动位置移动,包括:处理器1302检测到触控对象的第一接触事件时,终端设备进入第一状态;在终端设备处于第一状态时,若处理器1302检测到触控对象未离开触控屏且触控对象在触控屏中产生位移,终端设备进入第二状态;在终端设备处于第二状态时,处理器1302根据触控对象的报点位移控制触控屏1304中悬浮光标移动。
279.在一种可能的实现方式中,处理器1302根据触控对象的报点位移控制触控屏1304中悬浮光标移动,包括:处理器1302将触控对象的报点信息转换为坐标信息;处理器1302根据坐标信息控制触控屏1304中悬浮光标移动。
280.在一种可能的实现方式中,处理器1302将触控对象的报点信息转换为坐标信息,包括:处理器1302去除报点信息中除坐标信息外的其他信息,得到坐标信息。
281.在一种可能的实现方式中,终端设备进入第一状态之后,在终端设备处于第一状态时,若处理器1302检测到触控对象未在触控屏1304产生位移即离开触控屏1304,终端设备进入第三状态;在终端设备处于第三状态时,若处理器1302检测到触控对象的第二接触事件,且第二接触事件与第一接触事件之间的时间间隔小于时间阈值,以及第二接触事件与第一接触事件各自在触控屏1304所对应位置之间的距离小于距离阈值时,终端设备进入第四状态;在终端设备处于第四状态时,若处理器1302检测到触控对象在触控屏1304产生位移,触控屏1304产生位移处的显示内容突出显示;或者,若处理器1302检测到触控对象离开触控屏1304,触控屏1304在第二接触事件的位置显示焦点光标。
282.在一种可能的实现方式中,当终端设备处于第一模式时,触控屏1304接收来自触控对象的触发操作,包括:当终端设备处于第一模式时,触控屏1304显示第一界面,第一界面包括悬浮按钮;在接收到对悬浮按钮的触发时,触控屏1304在第一界面中展开悬浮按钮,展开后的悬浮按钮包括与第一模式对应的第一控件以及与第二模式对应的第二控件;触控屏1304接收对第二控件的触发操作。
283.在一种可能的实现方式中,触控屏1304显示处于第二模式下的悬浮光标之前,包括:终端设备从第一模式切换到第二模式。
284.在一种可能的实现方式中,终端设备从第一模式切换到第二模式,包括:处理器1302注册虚拟光标设备;处理器1302将处理触控屏1304中产生的事件的模块从手写事件转换模块切换到事件适配加工模块;其中,手写事件转换模块用于处理触控屏1304中的手写事件,事件适配加工模块用于处理触控屏1304中的光标输入事件。
285.在一种可能的实现方式中,处理器1302注册虚拟光标设备,包括:处理器1302创建虚拟的设备标识符;处理器1302使用虚拟的设备标识符创建虚拟的输入设备;处理器1302将输入设备设置为触控对象。
286.在一种可能的实现方式中,处理器1302将处理触控屏1304中产生的事件的模块从手写事件转换模块切换到事件适配加工模块,包括:处理器1302删除手写事件转换模块,以及增加事件适配加工模块。
287.在一种可能的实现方式中,在终端设备从第二模式切换到第一模式时,处理器1302解注册虚拟光标设备。
288.在一种可能的实现方式中,处理器1302解注册虚拟光标设备,包括:处理器1302删除事件适配加工模块,以及增加手写事件转换模块。
289.在一种可能的实现方式中,当终端设备处于第一模式时,接收来自触控对象的触发操作包括:当终端设备处于第一模式时,接口电路1303接收来自手写笔的触发指令;触发指令为:手写笔的目标按钮接收到用户的单击操作、双击操作或长按操作时产生的,或者,手写笔执行预设笔势动作时产生的。
290.在一种可能的实现方式中,当终端设备处于第二模式时,若触控屏1304接收到触控对象的用于向第一模式切换的操作,触控屏1304取消悬浮光标的显示以及进入第一模式;当终端设备处于第一模式时,若触控屏1304在用户界面接收到滑动操作,则处理器1302基于滑动操作实现下述一项或多项功能:页面翻页、页面滑动、页面上显示滑动轨迹、显示动效或者显示用于删除消息的提示框。
291.在一种可能的实现方式中,在终端设备处于第二模式时,接口电路1303与大屏设备建立连接,以及将触控屏1304中显示的内容投屏在大屏设备;或者,在接口电路1303与大屏设备建立连接后,终端设备进入第二模式,以及将触控屏1304中显示的内容投屏在大屏设备。
292.在一种可能的实施例中,触控屏显示装置130还可以包括:存储单元1301。存储单元1301、处理器1302、接口电路1303以及触控屏1304通过线路相连。
293.存储单元1301可以包括一个或者多个存储器,存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。
294.存储单元1301可以独立存在,通过通信线路与触控屏显示装置具有的处理器1302相连。存储单元1301可以和处理器1302集成在一起。
295.存储单元1301可以存储终端设备中的方法的计算机执行指令,以使处理器1302执行上述实施例中的方法。
296.存储单元1301可以是寄存器、缓存或者ram等,存储单元1301可以和处理器1302集成在一起。存储单元1301可以是只读存储器(read-only memory,rom)或者可存储静态信息和指令的其他类型的静态存储设备,存储单元1301可以与处理器1302相独立。
297.可能的实现方式中,本技术实施例中的计算机执行指令也可以称之为应用程序代码,本技术实施例对此不作具体限定。
298.可选的,接口电路1303还可以包括发送器和/或接收器。可选的,上述处理器1302可以包括一个或多个cpu,还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
299.本技术实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
300.一种可能的实现方式中,计算机可读介质可以包括ram,rom,只读光盘(compact disc read-only memory,cd-rom)或其它光盘存储器,磁盘存储器或其它磁存储设备,或目
标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(digital subscriber line,dsl)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,dsl或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘,激光盘,光盘,数字通用光盘(digital versatile disc,dvd),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
301.本技术实施例是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
302.以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
技术特征:
1.一种触控屏显示方法,其特征在于,包括:终端设备显示第一界面;所述终端设备与大屏设备建立投屏连接,使得所述大屏设备显示与所述第一界面对应的第一投屏界面;所述终端设备接收用户对所述第一界面输入的第一滑动操作;响应于所述第一滑动操作,所述终端设备显示所述第一界面被翻页后的第二界面,并且,所述大屏设备显示与所述第二界面对应的第二投屏界面;所述终端设备接收来自触控对象的第一触发操作;响应于所述第一触发操作,所述终端设备在所述第二界面显示第一悬浮光标,并且,所述大屏设备在所述第二投屏界面显示第二悬浮光标;所述终端设备接收用户对所述第二界面输入的第二滑动操作;响应于所述第二滑动操作,所述终端设备在所述第二界面内移动所述第一悬浮光标,所述第一悬浮光标的移动轨迹与所述第二滑动操作的移动轨迹相同,并且,所述大屏设备在所述第二投屏界面内移动所述第二悬浮光标,所述第二悬浮光标的移动轨迹与所述第二滑动操作的移动轨迹对应。2.根据权利要求1所述的方法,其特征在于,在所述终端设备在所述第二界面内移动所述第一悬浮光标的过程中,所述第二界面中的页面内容不发生改变。3.根据权利要求1所述的方法,其特征在于,响应于所述第一触发操作,所述终端设备在所述第二界面显示第一悬浮光标,包括:响应于所述第一触发操作,所述终端设备在所述第二界面中与所述第一触发操作对应的位置显示第一悬浮光标。4.根据权利要求1所述的方法,其特征在于,所述第二悬浮光标与所述第一悬浮光标的位置、形状、大小、颜色相同或不同。5.根据权利要求1所述的方法,其特征在于,所述第二滑动操作与第一滑动操作的滑动方向相反。6.根据权利要求1所述的方法,其特征在于,所述第一界面包括第一应用的图标;所述第二界面包括第二应用的图标;在所述终端设备接收来自触控对象的第一触发操作之前,还包括:所述终端设备接收用户对所述第一应用的图标输入的第一点击操作;响应于所述第一点击操作,所述终端设备跳转至所述第一应用的页面;在所述终端设备接收来自触控对象的第一触发操作之后,还包括:所述终端设备接收用户对所述第二应用的图标输入的第二点击操作;响应于所述第二点击操作,所述终端设备将所述第一悬浮光标移动至所述第二点击操作在所述第二界面的位置。7.根据权利要求1所述的方法,其特征在于,响应于所述第二滑动操作,所述终端设备在所述第二界面内移动所述第一悬浮光标,包括:当所述终端设备检测到所述触控对象的第一接触事件时,所述终端设备进入第一状态;在所述终端设备处于所述第一状态时,若所述终端设备检测到所述触控对象未离开所
述终端设备的触控屏且所述触控对象在所述触控屏中产生位移,所述终端设备进入第二状态;在所述终端设备处于所述第二状态时,所述终端设备根据所述触控对象的报点位移控制所述悬浮光标移动。8.根据权利要求7所述的方法,其特征在于,所述终端设备根据所述触控对象的报点位移控制所述悬浮光标移动,包括:所述终端设备将所述触控对象的报点信息转换为坐标信息;所述终端设备根据所述坐标信息控制所述悬浮光标移动。9.根据权利要求8所述的方法,其特征在于,所述终端设备将所述触控对象的报点信息转换为坐标信息,包括:所述终端设备去除所述报点信息中除所述坐标信息外的其他信息,得到所述坐标信息。10.根据权利要求7所述的方法,其特征在于,所述终端设备进入第一状态之后,所述方法还包括:在所述终端设备处于所述第一状态时,若所述终端设备检测到所述触控对象未在所述触控屏产生位移即离开所述触控屏,所述终端设备进入第三状态;在所述终端设备处于所述第三状态时,若所述终端设备检测到所述触控对象的第二接触事件,且所述第二接触事件与所述第一接触事件之间的时间间隔小于时间阈值,以及所述第二接触事件与所述第一接触事件各自在所述触控屏所对应位置之间的距离小于距离阈值时,所述终端设备进入第四状态;在所述终端设备处于所述第四状态时,若所述终端设备检测到所述触控对象在所述触控屏产生位移,所述终端设备所述触控屏产生位移处的显示内容突出显示;或者,若所述终端设备检测到所述触控对象离开所述触控屏,所述终端设备在所述第二接触事件的位置显示焦点光标。11.根据权利要求1所述的方法,其特征在于,所述第一界面包括:悬浮按钮;其中,所述终端设备接收来自触控对象的第一触发操作,包括:当接收到对所述悬浮按钮的触发时,所述终端设备在所述第一界面中展开所述悬浮按钮,展开后的悬浮按钮包括第一控件;所述终端设备接收对所述第一控件的第一触发操作。12.根据权利要求1所述的方法,其特征在于,在所述终端设备接收来自触控对象的第一触发操作之后,在所述终端设备在所述第二界面显示第一悬浮光标之前,还包括:所述终端设备注册虚拟光标设备;所述终端设备将处理触控屏中产生的事件的模块从手写事件转换模块切换到事件适配加工模块;其中,所述手写事件转换模块用于处理所述触控屏中的手写事件,所述事件适配加工模块用于处理所述触控屏中的光标输入事件。13.根据权利要求12所述的方法,其特征在于,所述终端设备注册虚拟光标设备,包括:所述终端设备创建虚拟的设备标识符;所述终端设备使用所述虚拟的设备标识符创建虚拟的输入设备;所述终端设备将所述输入设备设置为触控对象。
14.根据权利要求1所述的方法,其特征在于,所述触控对象为用户手指或手写笔;当所述触控对象为手写笔时,所述第一触发操作包括:用户对所述手写笔的目标按钮输入的单击操作、双击操作、长按操作或对所述手写笔执行预设笔势动作中的一项或多项。15.根据权利要求1所述的方法,其特征在于,在所述终端设备在所述第二界面显示第一悬浮光标之后,还包括:所述终端设备接收来自触控对象的第二触发操作;响应于所述第二触发操作,所述终端设备停止显示所述第一悬浮光标,并且,所述大屏设备停止显示所述第二悬浮光标。16.根据权利要求1所述的方法,其特征在于,所述第二界面包括第二控件;在所述终端设备在所述第二界面显示第一悬浮光标之后,还包括:所述终端设备接收用户对所述第二控件输入的双击操作;响应于所述双击操作,所述终端设备在所述第二界面内将所述第一悬浮光标切换为焦点光标。17.一种终端设备,其特征在于,包括:处理器和存储器,所述处理器用于调用所述存储器中的程序以使所述终端设备执行权利要求1-16任一项所述的方法。18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,使得计算机执行如权利要求1-16任一项所述的方法。
技术总结
本申请实施例提供一种触控屏显示方法、装置及存储介质,应用于终端技术领域,包括:当终端设备处于第一模式时,接收来自触控对象的触发操作;响应于触发操作,终端设备显示处于第二模式下的悬浮光标;当终端设备处于第二模式时,若终端设备在用户界面接收到第二滑动操作,终端设备控制悬浮光标随着第二滑动操作的滑动位置移动,且用户界面中的页面内容不发生改变。这样可以减少终端设备误响应用户的触控操作后显示其他不相关界面的几率,提升了用户的使用体验感。的使用体验感。的使用体验感。
技术研发人员:聂光 高杨
受保护的技术使用者:荣耀终端有限公司
技术研发日:2022.01.07
技术公布日:2023/7/22
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
上一篇:一种荧光蛋白印迹成像装置的制作方法 下一篇:一种重组流感病毒基因治疗药物及其应用
