用于识别触控操作的方法和系统与流程

1.本技术涉及终端技术领域，尤其涉及一种用于识别触控操作的方法和系统。


背景技术：

2.截屏、区域截屏或录屏是当下用户在使用终端设备过程中常用的辅助功能，用户可以通过相应的触控操作快速保存终端设备屏幕上显示的内容，用于分享、收藏或教学展示等等。
3.目前，终端设备可以通过响应用户的目标触控操作（例如可以是指关节触控操作）实现截屏、区域截屏或录屏等辅助功能，而该目标触控操作的识别，依赖于终端设备中的神经网络模型对用户所输入的目标触控操作的识别准确度。在训练神经网络模型时，由于数据收集人员召集困难，且可用于数据收集的样机数量有限，用于训练该神经网络模型的数据大多收集自内部研发人员。
4.目前配置给终端设备的神经网络模型对目标触控操作的识别率低，使得用户使用该目标触控操作进行截屏、区域截屏或录屏等辅助功能的成功率低，严重影响用户体验。


技术实现要素：

5.本技术提供了一种用于识别触控操作的方法和系统，通过提高配置给终端设备的神经网络模型的识别成功率，使得用户使用目标触控操作进行截屏、区域截屏或录屏等辅助功能的成功率得到提升，进而提高用户体验。
6.第一方面，本技术提供一种用于识别触控操作的方法，所述方法应用于包括多个第一终端设备、第二终端设备及第一服务器的系统，所述多个第一终端设备均安装有内测版操作系统，所述第二终端设备安装有用户版操作系统，所述方法包括：所述多个第一终端设备分别响应于用户的第一触控操作，通过所述内测版操作系统收集所述第一触控操作对应的第一数据，并将所述第一数据和预设触控类型数据发送至所述第一服务器，所述第一数据包括所述第一触控操作对应的容值数据和/或加速度传感器数据；所述第一服务器接收来自所述多个第一终端设备的多个所述第一数据和多个所述预设触控类型数据，采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，并将所述更新的神经网络模型配置给所述第二终端设备。
7.应理解，多个第一终端设备安装有内测版操作系统，该内测版操作系统包括第一动态库，第一动态库包括可用于实现对用户触控数据的收集的代码，和可用于识别触控操作的类型的代码。
8.还应理解，多个第一终端设备分别属于多个用户，多个用户均为愿意参与内测的用户，且该多个用户为差异化用户，例如，多个用户的年龄、性别、手指粗细程度等数据不同。
9.在本技术实施例中，多个第一终端设备分别将第一数据和预设触控类型数据发送至第一服务器，第一服务器采用多个第一数据和多个预设触控类型数据对预配置的神经网
络模型进行训练，获得更新的神经网络模型，并将更新的神经网络模型配置给第二终端设备。通过来自年龄、性别、手指粗细程度等都不同的用户的第一数据及对应的预设触控类型对预配置的神经网络模型进行训练，最终得到的更新的神经网络模型相较于预配置的神经网络模型，学习了更丰富更多样的触控数据，具备了更高的识别能力，然后将更新的神经网络模型配置给第二终端设备，提高了第二终端设备对用户的触控操作的识别能力，有利于提高用户通过触控操作实现辅助功能的成功率，提升用户体验。
10.结合第一方面，在第一方面的某些实现方式中，所述更新的神经网络模型满足预设条件，所述预设条件为所述更新的神经网络模型的识别成功率大于或等于第一阈值。
11.可选地，第一阈值可以是大于95%的任意值，本技术对此不作具体限定。
12.结合第一方面，在第一方面的某些实现方式中，所述采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，包括：所述第一服务器采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第一神经网络模型，所述第一神经网络模型为训练过程中的神经网络模型；所述第一服务器将标准触控操作样本数据输入至所述第一神经网络模型，得到所述第一神经网络模型对所述标准触控操作样本数据的第一识别结果；所述第一服务器将所述第一识别结果与所述标准触控操作样本数据的触控类型标签进行比较，得到所述第一神经网络模型的识别成功率；若所述第一神经网络模型的识别成功率大于或等于所述第一阈值，所述第一服务器将所述第一神经网络模型确定为所述更新的神经网络模型。
13.可选地，第一神经网络模型可以是预配置的神经网络模型迭代了预设次数后的神经网络模型，也可以是训练了预设时长的神经网络模型，本技术对第一神经网络模型的选取条件不作具体限定。
14.在一种可能的实现方式中，标准触控样本数据可以是选取多个同性别、同年龄段、同手指粗细的用户进行预设触控类型的触控操作时，所产生的容值和/或加速度值的均值，用以代表同类型用户触控操作的手势规范程度和力度，可以作为神经网络模型的识别基准。
15.在本技术实施例中，采用标准触控样本数据验证第一神经网络模型的识别成功率，以将识别成功率大于或等于第一阈值的第一神经网络模型确定为更新的神经网络模型。采用标准触控样本进行验证，可以避免因为验证用的数据不具有代表性而对神经网络模型的能力产生误判，有效提升了神经网络模型的训练效率。
16.结合第一方面，在第一方面的某些实现方式中，所述采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，包括：所述第一服务器采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第二神经网络模型，所述第二神经网络模型为训练过程中的神经网络模型；所述第一服务器向所述多个第一终端设备分别发送所述第二神经网络模型；所述多个第一终端设备接收所述第二神经网络模型，分别响应于用户的第二触控操作，获取所述第二触控操作对应的第二数据，并获取所述第二触控操作的第一触控类型真实值，所述第二数据包括所述第二触控操作对应的容值数据和/或加速度传感器数据；所述多个第一终端设备分别将所述第二数据输入至所述第二神经网络模型，得到所述第二神经网络模型对所述第二数据的第二识别结果，并向所述第一服务器发送所述第二识别结果和所述
第一触控类型真实值；所述第一服务器接收多个所述第二识别结果和多个所述第一触控类型真实值，并将多个所述第二识别结果分别与多个所述第一触控类型真实值进行比较，得到所述第二神经网络模型的识别成功率，若所述第二神经网络模型的识别成功率大于或等于第一阈值，所述第一服务器将所述第二神经网络模型确定为所述更新的神经网络模型。
17.应理解，第二神经网络模型与第一神经网络模型可以相同也可以不同，本技术对此不作具体限定。
18.在一种可能的实现方式中，第一服务器可以通过空中下载（over the air，ota）技术，以系统升级的方式，为多个第一终端设备发送第二神经网络模型。
19.应理解，多个第一终端设备接收第二神经网络模型后，以第二神经网络模型替换预配置的神经网络模型，通过该第二神经网络模型来对用户输入的触控操作进行识别。
20.在本技术实施例中，将训练过程中的第二神经网络模型发送至多个第一终端设备，通过第二神经网络模型对多个第一终端设备对应的多个用户的真实触控操作的识别，来验证第二神经网络模型的识别成功率，所得到的识别成功率对应值更加的真实可靠，有利于得到更可靠的更新的神经网络模型。
21.结合第一方面，在第一方面的某些实现方式中，所述系统还包括第二服务器，所述采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型包括：所述第一服务器采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第三神经网络模型，所述第三神经网络模型为训练过程中的神经网络模型；所述第一服务器向所述多个第一终端设备分别发送所述第三神经网络模型；所述多个第一终端设备接收所述第三神经网络模型，分别响应于用户的第三触控操作，获取第三数据，并获取所述第三触控操作的第二触控类型真实值，所述第三数据包括所述第三触控操作对应的容值数据和/或加速度传感器数据；所述多个第一终端设备分别将所述第三数据输入至所述第三神经网络模型，得到所述第三神经网络模型对所述第三数据的第三识别结果，并向所述第二服务器发送所述第三识别结果和所述第二触控类型真实值；所述第二服务器接收多个所述第三识别结果和多个所述第二触控类型真实值，并将多个所述第三识别结果分别与多个所述第二触控类型真实值进行比较，得到所述第三神经网络模型的识别成功率，并将所述第三神经网络模型的识别成功率发送给所述第一服务器；若所述第三神经网络模型的识别成功率大于或等于所述第一阈值，所述第一服务器将所述第三神经网络模型确定为所述更新的神经网络模型。
22.应理解，第三神经网络模型与第一神经网络模型、第二神经网络模型可以相同也可以不同，本技术对此不作具体限定。
23.在本技术实施例中，通过第二服务器将多个第三识别结果分别与多个第二触控类型真实值进行比较，得到第三神经网络模型的识别成功率后再发送至第一服务器，可以减轻第一服务器的运算压力，有利于第一服务器的稳定运行，为神经网络模型的训练提供算力保障。
24.结合第一方面，在第一方面的某些实现方式中，所述将所述更新的神经网络模型配置给所述第二终端设备，包括：所述第一服务器向所述第二终端设备发送系统升级数据，所述系统升级数据包括所述更新的神经网络模型；第二终端设备接收所述系统升级数据，并配置所述更新的神经网络模型。
25.应理解，第二终端设备中安装有用户版操作系统，第一服务器向第二终端设备发送的系统升级数据为用户版操作系统对应的系统升级数据。
26.结合第一方面，在第一方面的某些实现方式中，在所述第一服务器向所述第二终端设备发送系统升级数据之前，所述方法包括：所述第二终端设备向所述第一服务器发送系统升级数据请求；所述第一服务器向所述第二终端设备发送系统升级数据，包括：所述第一服务器基于所述系统升级数据请求，向所述第二终端设备发送系统升级数据。
27.应理解，多个第一终端设备发送给第一服务器的第一数据包括但不限于是第一触控操作对应的容值数据和/或加速度传感器数据，还可以包括多个第一终端设备的标识，可选地，该标识可以是多个第一终端设备的各自的移动设备识别码（mobile equipment identifier，meid）、国际移动设备识别码（international mobile equipment identity，imei），或者其他该设备的唯一标识，本技术对此不作限定。
28.在一种可能的实现方式中，第一服务器可以根据多个第一终端设备的标识，从数据库中匹配到每个第一终端设备中加速度传感器的型号和容值传感器的型号，将加速度传感器的型号和容值传感器的型号均相同的第一数据及该第一数据对应的预设触控类型数据作为一个训练集，训练预配置的神经网络模型，即可得到多个更新的神经网络模型，多个更新的神经网络模型分别对应一组加速度传感器的型号和容值传感器的型号。
29.示例性地，第一终端设备a的加速度传感器的型号为（1）和容值传感器的型号为
①
，第一终端设备b的加速度传感器的型号为（2）和容值传感器的型号为
①
，第一终端设备c的加速度传感器的型号为（1）和容值传感器的型号为
①
，第一终端设备d的加速度传感器的型号为（2）和容值传感器的型号为
①
，则将第一终端设备a和第一终端设备c对应的第一数据及预设触控类型数据包括在同一个训练集中，将第一终端设备b和第一终端设备d对应的第一数据及预设触控类型数据包括在另一个训练集中。应理解，与第一终端设备a、b、c、d加速度传感器的型号和容值传感器的型号均相同的第一终端设备的数量均有多个，故而可以采用不同的训练集对预配置的神经网络模型进行训练，得到多个不同的更新的神经网络模型，多个更新的神经网络模型可以根据加速度传感器的型号和容值传感器的型号来进行标识。
30.在一种可能的实现方式中，在第一服务器向第二终端设备发送系统升级数据之前，第二终端设备向第一服务器发送系统升级数据请求，该系统升级数据请求包括第二终端设备的标识，第一服务器可以基于该系统升级数据请求，从数据库中匹配到该第二终端设备的标识对应的加速度传感器的型号和容值传感器的型号，并将与该第二终端设备的加速度传感器的型号和容值传感器的型号一致的更新的神经网络模型包括在系统升级数据中，发送给对应的第二终端设备。
31.在本技术实施例中，将与第二终端设备的加速度传感器的型号和容值传感器的型号一致的更新的神经网络模型发送给对应的第二终端设备，减少了因为第二终端设备的加速度传感器的型号和容值传感器的型号，与训练预配置的神经网络模型训练时的加速度传感器的型号和容值传感器的型号不一致而造成的数据误差，提高了更新的神经网络模型的可信度，也提高发送给第二终端设备的更新的神经网络模型与该第二终端设备适配度，有利于提高用户通过触控操作实现辅助功能的成功率，提升用户体验。
32.结合第一方面，在第一方面的某些实现方式中，所述第二终端设备响应于用户的
第四触控操作，通过所述用户版操作系统获取第四数据，所述第四数据包括所述第四触控操作对应的容值数据和/或加速度传感器数据；所述第二终端设备将所述第四数据输入至所述更新的神经网络模型，得到所述更新的神经网络模型对第四触控操作的第四识别结果；根据所述第四识别结果对应的触控类型实现辅助功能。
33.应理解，第四触控操作为预设触控类型对应的触控操作。
34.结合第一方面，在第一方面的某些实现方式中，所述第四识别结果对应的触控类型包括：指尖点击、指尖滑动、指尖敲击、指腹点击、指腹滑动、指腹敲击、侧甲点击、侧甲滑动、双指敲击、双指缩放、指关节敲击和指关节滑动。
35.结合第一方面，在第一方面的某些实现方式中，所述辅助功能包括截屏、录屏和区域截屏。
36.第二方面，本技术提供一种用于识别触控操作的系统，所述系统包括多个第一终端设备、第二终端设备及第一服务器，所述多个第一终端设备均安装有内测版操作系统，所述第二终端设备安装有用户版操作系统；所述第一终端设备用于：响应用户的第一触控操作，通过所述内测版操作系统收集所述第一触控操作对应的第一数据，并将所述第一数据和预设触控类型数据发送至所述第一服务器，所述第一数据包括所述第一触控操作对应的容值数据和/或加速度传感器数据；所述第一服务器用于：接收来自所述多个第一终端设备的多个所述第一数据和多个所述预设触控类型数据，采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，并将所述更新的神经网络模型配置给所述第二终端设备。
37.结合第二方面，在第二方面的某些实现方式中，所述更新的神经网络模型满足预设条件，所述预设条件为所述更新的神经网络模型的识别成功率大于或等于第一阈值。
38.结合第二方面，在第二方面的某些实现方式中，所述第一服务器用于：采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第一神经网络模型，所述第一神经网络模型为训练过程中的神经网络模型；所述第一服务器还用于：将标准触控操作样本数据输入至所述第一神经网络模型，得到所述第一神经网络模型对所述标准触控操作样本数据的第一识别结果；所述第一服务器还用于：将所述第一识别结果与所述标准触控操作样本数据的触控类型标签进行比较，得到所述第一神经网络模型的识别成功率；所述第一服务器还用于：若所述第一神经网络模型的识别成功率大于或等于所述第一阈值，将所述第一神经网络模型确定为所述更新的神经网络模型。
39.结合第二方面，在第二方面的某些实现方式中，所述第一服务器用于：采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第二神经网络模型，所述第二神经网络模型为训练过程中的神经网络模型；所述第一服务器还用于：向所述多个第一终端设备分别发送所述第二神经网络模型；所述第一终端设备还用于：接收所述第二神经网络模型，响应于用户的第二触控操作，获取所述第二触控操作对应的第二数据，并获取所述第二触控操作的第一触控类型真实值，所述第二数据包括所述第二触控操作对应的容值数据和/或加速度传感器数据；所述第一终端设备还用于：将所述第二数据输入至所述第二神经网络模型，得到所述第二神经网络模型对所述第二数据的第二识别结果，并向所述第一服务器发送所述第二识别结果和所述第一触控类型真实值；所述第一服务器还用于：接收多个所述第二识别结果和多个所述第一触控类型真实值，并将多个
所述第二识别结果分别与多个所述第一触控类型真实值进行比较，得到所述第二神经网络模型的识别成功率，若所述第二神经网络模型的识别成功率大于或等于第一阈值，则将所述第二神经网络模型确定为所述更新的神经网络模型。
40.结合第二方面，在第二方面的某些实现方式中，所述系统还包括第二服务器；所述第一服务器用于：采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第三神经网络模型，所述第三神经网络模型为训练过程中的神经网络模型；所述第一服务器还用于：向所述多个第一终端设备分别发送所述第三神经网络模型；所述第一终端设备还用于：接收所述第三神经网络模型，响应于用户的第三触控操作，获取第三数据，并获取所述第三触控操作的第二触控类型真实值，所述第三数据包括所述第三触控操作对应的容值数据和/或加速度传感器数据；所述第一终端设备还用于：将所述第三数据输入至所述第三神经网络模型，得到所述第三神经网络模型对所述第三数据的第三识别结果，并向所述第二服务器发送所述第三识别结果和所述第二触控类型真实值；所述第二服务器用于：接收多个所述第三识别结果和多个所述第二触控类型真实值，并将多个所述第三识别结果分别与多个所述第二触控类型真实值进行比较，得到所述第三神经网络模型的识别成功率，并将所述第三神经网络模型的识别成功率发送给所述第一服务器；所述第一服务器还用于：若所述第三神经网络模型的识别成功率大于或等于所述第一阈值，将所述第三神经网络模型确定为所述更新的神经网络模型。
41.结合第二方面，在第二方面的某些实现方式中，所述第一服务器还用于：向所述第二终端设备发送系统升级数据，所述系统升级数据包括所述更新的神经网络模型；所述第二终端设备用于：接收所述系统升级数据，并配置所述更新的神经网络模型。
42.结合第二方面，在第二方面的某些实现方式中，所述第二终端设备还用于：向所述第一服务器发送系统升级数据请求；所述第一服务器还用于：基于所述系统升级数据请求，向所述第二终端设备发送系统升级数据。
43.结合第二方面，在第二方面的某些实现方式中，所述第二终端设备还用于：响应用户的第四触控操作，通过所述用户版操作系统获取第四数据，所述第四数据包括所述第四触控操作对应的容值数据和/或加速度传感器数据；所述第二终端设备还用于：将所述第四数据输入至所述更新的神经网络模型，得到所述更新的神经网络模型对第四触控操作的第四识别结果；以及，根据所述第四识别结果对应的触控类型实现辅助功能。
44.结合第二方面，在第二方面的某些实现方式中，所述第四识别结果对应的触控类型包括：指尖点击、指尖滑动、指尖敲击、指腹点击、指腹滑动、指腹敲击、侧甲点击、侧甲滑动、双指敲击、双指缩放、指关节敲击和指关节滑动。
45.结合第二方面，在第二方面的某些实现方式中，所述辅助功能包括截屏、录屏和区域截屏。
46.第三方面，本技术实施例提供一种用于识别触控操作的装置，所述装置包括收发模块和处理模块，所述处理模块用于：响应用户的第一触控操作，通过内测版操作系统收集所述第一触控操作对应的第一数据，所述第一数据包括所述第一触控操作对应的容值数据和/或加速度传感器数据；所述收发模块用于：将所述第一数据和预设触控类型数据发送至第一服务器。
47.可选地，所述处理模块还用于：响应用户的第二触控操作，获取所述第二触控操作
对应的第二数据，并获取所述第二触控操作的第一触控类型真实值，所述第二数据包括所述第二触控操作对应的容值数据和/或加速度传感器数据，以及，用于将所述第二数据输入至第二神经网络模型，得到所述第二神经网络模型对所述第二数据的第二识别结果；所述收发模块还用于：向所述第一服务器发送所述第二识别结果和所述第一触控类型真实值。
48.可选地，所述收发模块还用于：接收第三神经网络模型；所述处理模块，还用于响应用户的第三触控操作，获取第三数据，并获取所述第三触控操作的第二触控类型真实值，所述第三数据包括所述第三触控操作对应的容值数据和/或加速度传感器数据，以及，将所述第三数据输入至所述第三神经网络模型，得到所述第三神经网络模型对所述第三数据的第三识别结果；所述收发模块还用于：向所述第二服务器发送所述第三识别结果和所述第二触控类型真实值。
49.第四方面，本技术实施例又提供了一种用于识别触控操作的装置，包括处理器和存储器，存储器用于存储代码指令，处理器用于运行代码指令，以执行第一方面的任意一种可能的实现方式描述的方法中第一终端设备执行的步骤。
50.第五方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序（也可以称为代码，或指令），当所述计算机程序被运行时，使得计算机执行第一方面的任意一种可能的实现方式描述的方法中第一终端设备执行的步骤。
51.第六方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序（也可以称为代码，或指令）当其在计算机上运行时，使得计算机执行第一方面的任意一种可能的实现方式描述的方法中第一终端设备执行的步骤。
附图说明
52.图1为适用于本技术实施例的通信系统示意图；图2为本技术实施例提供的终端设备的结构示意图；图3为本技术实施例提供的终端设备的软件结构框图；图4为本技术实施例提供的一种用于识别触控操作的方法的示意性流程图；图5为本技术实施例提供的一种触控操作数据收集流程示意图；图6为本技术实施例提供的另一种触控操作数据收集流程示意图；图7为本技术实施例提供的又一种触控操作数据收集流程示意图；图8为本技术实施例提供的一种操作界面示意图；图9为本技术实施例提供的一种用于识别触控操作的装置的示意性框图；图10为本技术实施例提供的另一种用于识别触控操作的装置的示意性框图。
具体实施方式
53.下面将结合附图，对本技术中的技术方案进行描述。
54.为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
55.需要说明的是，本技术实施例中，“示例性地”或者“例如”等词用于表示作例子、例
证或说明。本技术中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
56.本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a
‑‑
c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
57.用户在使用终端设备的过程中，可以通过截屏、区域截屏或录屏等辅助功能来快速保存终端设备屏幕上显示的内容，用以分享、收藏或教学展示等活动。
58.目前，终端设备可以通过响应用户对组合按键（例如起始（home）键+关机键、音量键+关机键等）的按压操作，实现截屏、区域截屏或录屏等辅助功能，但是由于通过组合按键实现该辅助功能的方式通常需要用户使用双手进行按键，不够快捷，且在操作过程中非常容易发生误触，用户体验并不好，故而，现在已经有终端设备可以通过响应用户在任意显示界面的目标触控操作（例如可以是双指关节敲击的触控操作），更加快捷地实现截屏、区域截屏或录屏等辅助功能。
59.终端设备对目标触控操作的识别，依赖于终端设备中的神经网络模型对用户所输入的目标触控操作的识别准确度。在训练该神经网络模型时，由于数据收集人员召集困难，且可用于数据收集的样机数量有限，用于训练该神经网络模型的数据大多收集自内部研发人员，所收集的样本数据不够丰富，这就使得目前配置给终端设备的神经网络模型对目标触控操作的识别率低，使得用户使用该目标触控操作进行截屏、区域截屏或录屏等辅助功能的成功率低，严重影响用户体验。
60.有鉴于此，本技术提供一种用于识别触控操作的方法，通过丰富训练神经网络模型的样本数据，来提高配置给终端设备的该神经网络模型的识别成功率，以使用户使用目标触控操作进行截屏、区域截屏或录屏等辅助功能的成功率得到提升，进而提高用户体验。
61.图1为适用于本技术实施例的通信系统100，该通信系统100包括多个第一终端设备，例如图1所示的第一终端设备101、第一终端设备102、第一终端设备103，该通信系统100还包括至少一个第二终端设备，例如图1所示的第二终端设备104，该通信系统100还包括至少一个第一服务器，例如图1所示的第一服务器105，该第一服务器105可以与第一终端设备101、第一终端设备102、第一终端设备103，以及第二终端设备104进行通信。
62.可选地，上述第一终端设备和第二终端设备均可以是手机、平板电脑、智能手环等，本技术实施例对此不做限定。
63.应理解，上述通信系统100还可以包括更多数量的第一终端设备，本技术对此不作限定。
64.图2为本技术实施例提供的终端设备200的结构示意图。图2所示的结构既可以适用于第一终端设备，也可以适用于第二终端设备，本技术对此不作限定。
65.终端设备200可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，usb）接口130，充电管理模块140，电源管理模块141，电池
142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，sim）卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
66.可以理解的是，本技术实施例示意的结构并不构成对终端设备200的具体限定。在本技术另一些实施例中，终端设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
67.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，ap），调制解调处理器，图形处理器（graphics processing unit，gpu），图像信号处理器（image signal processor，isp），控制器，视频编解码器，数字信号处理器（digital signal processor，dsp），基带处理器，和/或神经网络处理器（neural-network processing unit，npu）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
68.控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
69.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
70.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，i2c）接口，集成电路内置音频（inter-integrated circuit sound，i2s）接口，脉冲编码调制（pulse code modulation，pcm）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口（mobile industry processor interface，mipi），通用输入输出（general-purpose input/output，gpio）接口，用户标识模块（subscriber identity module，sim）接口，和/或通用串行总线（universal serial bus，usb）接口等。
71.i2c接口是一种双向同步串行总线，包括一根串行数据线（serial data line，sda）和一根串行时钟线（derail clock line，scl）。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现终端设备200的触摸功能。
72.i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
73.pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音
频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
74.uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
75.mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口（camera serial interface，csi），显示屏串行接口（display serial interface，dsi）等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现终端设备200的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现终端设备200的显示功能。
76.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
77.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为终端设备200充电，也可以用于终端设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如ar设备等。
78.可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备200的结构限定。在本技术另一些实施例中，终端设备200也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
79.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备200的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。
80.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态（漏电，阻抗）等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
81.终端设备200的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
82.天线1和天线2用于发射和接收电磁波信号。终端设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1
diode，oled），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrix organic light emitting diode的，amoled），柔性发光二极管（flex light-emitting diode，fled），miniled，microled，micro-oled，量子点发光二极管（quantum dot light emitting diodes，qled）等。在一些实施例中，终端设备200可以包括1个或n个显示屏194，n为大于1的正整数。
89.终端设备200可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
90.isp 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
91.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，ccd）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，cmos）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，终端设备200可以包括1个或n个摄像头193，n为大于1的正整数。
92.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备200在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
93.视频编解码器用于对数字视频压缩或解压缩。终端设备200可以支持一种或多种视频编解码器。这样，终端设备200可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，mpeg）1，mpeg2，mpeg3，mpeg4等。
94.npu为神经网络（neural-network ，nn）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现终端设备200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
95.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展终端设备200的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
96.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储终端设备200使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，ufs）等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端设备200的各种功能应用以及数据处理。
97.终端设备200可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机
接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
98.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
99.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备200可以通过扬声器170a收听音乐，或收听免提通话。
100.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备200接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
101.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。终端设备200可以设置至少一个麦克风170c。在另一些实施例中，终端设备200可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备200还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
102.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动终端设备平台（open mobile terminal platform，omtp）标准接口，美国蜂窝电信工业协会（cellular telecommunications industry association of the usa，ctia）标准接口。
103.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。终端设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备200根据压力传感器180a检测所述触摸操作强度。终端设备200也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
104.陀螺仪传感器180b可以用于确定终端设备200的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定终端设备200围绕三个轴（即，x，y和z轴）的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测终端设备200抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备200的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
105.气压传感器180c用于测量气压。在一些实施例中，终端设备200通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
106.磁传感器180d包括霍尔传感器。终端设备200可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当终端设备200是翻盖机时，终端设备200可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自
动解锁等特性。
107.加速度传感器180e可检测终端设备200在各个方向上(一般为三轴)加速度的大小。当终端设备200静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用。在本技术实施例中，加速度传感器可以用于采集用户进行触控操作时，施加在屏幕上的机械力的大小，用以衡量不同用户或者不同触控操作作屏幕的作用力。
108.距离传感器180f，用于测量距离。终端设备200可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端设备200可以利用距离传感器180f测距以实现快速对焦。
109.接近光传感器180g可以包括例如发光二极管（led）和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备200通过发光二极管向外发射红外光。终端设备200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备200附近有物体。当检测到不充分的反射光时，终端设备200可以确定终端设备200附近没有物体。终端设备200可以利用接近光传感器180g检测用户手持终端设备200贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
110.环境光传感器180l用于感知环境光亮度。终端设备200可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测终端设备200是否在口袋里，以防误触。
111.指纹传感器180h用于采集指纹。终端设备200可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
112.温度传感器180j用于检测温度。在一些实施例中，终端设备200利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，终端设备200执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备200对电池142加热，以避免低温导致终端设备200异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备200对电池142的输出电压执行升压，以避免低温导致的异常关机。
113.触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于终端设备200的表面，与显示屏194所处的位置不同。
114.骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
115.电容传感器108n可以获取终端设备200屏幕的电容值。在一些实施例中，当用户对终端设备的屏幕进行触控操作时，屏幕中包括的各个电容节点的电容值会发生变化，电容
传感器可以获取屏幕的电容值用以表示屏幕被触控时的电容变化。
116.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备200可以接收按键输入，产生与终端设备200的用户设置以及功能控制有关的键信号输入。
117.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用（例如拍照，音频播放等）的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景（例如：时间提醒，接收信息，闹钟，游戏等）也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
118.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
119.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和终端设备200的接触和分离。终端设备200可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。终端设备200通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端设备200采用esim，即：嵌入式sim卡。esim卡可以嵌在终端设备200中，不能和终端设备200分离。
120.上述图2所示的终端设备200的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。下面以分层架构的android系统为例，示例性说明终端设备200的软件结构。
121.图3为本技术实施例提供的终端设备200的软件结构框图。
122.分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用层，应用程序框架层，系统运行库层，以及内核层。
123.应用层可以包括一系列应用程序包。如图3所示，应用程序包可以包括软件更新、相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
124.在本技术实施例中，第一终端设备的应用层还包括数据收集应用程序，用于在用户打开该程序时，引导用户做出预设触控类型对应的第一触控操作，并保存对应的第一数据。
125.应用程序框架层为应用程序层的应用程序提供应用编程接口（application programming interface，api）和编程框架。应用程序框架层包括一些预先定义的函数。
126.如图3所示，应用程序框架层可以包括触控操作管理器、窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
127.触控操作管理器用于响应用户的触控操作实现相应的辅助功能，例如可以响应用户的双指关节敲击触控操作，实现截屏等。
128.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
129.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据
可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
130.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
131.电话管理器用于提供终端设备200的通信功能。例如通话状态的管理（包括接通，挂断等）。
132.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
133.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。
134.系统运行库层分为两部分，分别是c/c++ 程序库和 android 运行时库。
135.android 运行时库包括核心库和虚拟机。android 运行时库负责安卓系统的调度和管理。
136.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
137.应用层和应用框架层运行在虚拟机中。虚拟机将应用层和应用框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
138.c/c++ 程序库可以包括多个功能模块。例如：表面管理器（surface manager），媒体库（media libraries），三维图形处理库（例如：opengl es），二维图形引擎（例如：sgl）、动态库（so库）等。
139.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
140.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: mpeg4，h.264，mp3，aac，amr，jpg，png等。
141.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
142.二维图形引擎是2d绘图的绘图引擎。
143.动态库是程序在运行的时候才去链接的代码，多个程序可以共享动态库的代码。
144.在本技术实施例中，第一终端设备配置的第一动态库，可以在用户打开数据收集应用程序时，用于实现对第一数据的收集，在用户不打开应用程序时，用于识别用户的触控操作并基于所识别出的触控类型，实现对应的辅助功能。
145.在本技术实施例中，第二终端设备配置的第二动态库，可以用于响应于用户对任意显示界面的触控操作，在识别出该触控操作属于预设触控类型时，实现对应的辅助功能。
146.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，加速度传感器驱动、电容传感器驱动。
147.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述
技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
148.图4为本技术实施例提供的一种用于识别触控操作的方法400的示意性流程图，该方法400可应用于如图1所示的通信系统100，第一终端设备和第二终端设备的硬件结构可以如图2所示，软件结构可以如图3所示，第一终端设备均安装有内测版操作系统，第二终端设备安装有用户版操作系统，但本技术实施例对此不作限定。参照图4，该方法400可以包括如下步骤：s401、多个第一终端设备分别响应于用户的第一触控操作，通过内测版操作系统收集第一触控操作对应的第一数据，第一数据包括第一触控操作对应的容值数据和/或加速度传感器数据。
149.s402、多个第一终端设备分别将第一数据和预设触控类型数据发送至第一服务器。对应地，第一服务器接收来自多个第一终端设备的多个第一数据和多个预设触控类型数据。
150.s403、第一服务器采用多个第一数据和多个预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型。
151.s404、第一服务器将更新的神经网络模型配置给第二终端设备。对应地，第二终端设备配置该更新的神经网络模型。
152.应理解，多个第一终端设备安装有内测版操作系统，该内测版操作系统包括第一动态库，第一动态库包括可用于实现对用户触控操作数据的收集的代码，和可用于识别触控操作的类型的代码。
153.还应理解，多个第一终端设备分别属于多个用户，多个用户均为愿意参与内测的用户，且该多个用户为差异化用户，例如，多个用户的年龄、性别、手指粗细程度等数据不同。
154.在本技术实施例中，多个第一终端设备分别将第一数据和预设触控类型数据发送至第一服务器，第一服务器采用多个第一数据和多个预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，并将更新的神经网络模型配置给第二终端设备。通过来自年龄、性别、手指粗细程度等都不同的用户的第一数据及对应的预设触控类型对预配置的神经网络模型进行训练，最终得到的更新的神经网络模型相较于预配置的神经网络模型，学习了更丰富更多样的触控数据，具备了更高的识别能力，然后将更新的神经网络模型配置给第二终端设备，提高了第二终端设备对用户的触控操作的识别能力，有利于提高用户通过触控操作实现辅助功能的成功率，提升用户体验。
155.可选地，预配置的神经网络模型可以是指关节模型，或其他任意触控操作对应的模型，本技术对此不作限定。
156.在一种可能的实现方式中，第一终端设备安装有数据收集应用程序，用户打开该数据收集应用程序时，第一终端设备检测到该数据收集应用程序处于运行状态，则第一动态库开启触控操作数据收集的流程。示例性地，以第一终端设备为手机为例，第一终端设备上的数据收集流程可以如图5所示，用户点击打开如图5中的a图所示的数据收集应用程序501，显示如图5中的b图所示的触控操作类型选择界面，用户可以在此界面选择要输入的触控操作类型，例如选择图5中的b图中的“指关节触控”后，第一终端设备显示如图5中的c图
的引导界面，用户可以根据引导界面所显示的预设触控类型和指定位置，进行相应的第一触控操作（指关节触控操作）。
157.在一种可能的实现方式中，图5中c图所示的指定位置会依次闪烁，指示用户依据该指定位置闪烁的顺序，依次使用预设触控类型（例如可以是双指关节敲击）进行相应的触控操作。
158.在一种可能的实现方式中，如图5中的c图的引导界面中还可以包括双指关节敲击的力度提示（例如重敲、轻敲等）、数据收集的进度提示等，图5中也还可以包括其他的引导界面，本技术对此不作具体限定。
159.在一种可能的实现方式中，在用户根据如图5中的c图的引导界面的指示完成相应的第一触控操作之后，第一终端设备响应于用户对如图5中的c图所示的“完成”的点击操作，将第一触控操作对应的第一数据及对应的预设触控类型数据存储在预设目录下。
160.在一种可能的实现方式中，在完成对第一数据的收集之后，参与收集数据的多个第一终端设备分别将第一数据和预设触控类型数据发送至第一服务器。仍以第一终端设备是手机为例，示例性地，多个第一终端设备可以分别响应于用户根据图6和图7的流程进行的操作，实现第一数据和预设触控类型数据的发送。如图6中的a图所示，第一终端设备响应于用户对“设置”的点击操作，显示如图6中的b图所示的设置子菜单，第一终端设备响应于用户对图6中的b图所示的“betaclub”点击操作，显示如图7中a图所示的betaclub首页，用户可以在首页的底部点击“提单”，进入如图7中b图所示的设备类型选择界面，用户可以在该界面选择自己的设备类型，例如可以选择“手机”，第一终端设备响应于该选择显示如图7中c图的界面，用户可以通过点击“数据收集”进入如图7中d图的界面，选择需要提交数据的应用（例如可以是数据收集应用程序501），第一终端设备即响应于用户在如图7中的d图的选择操作，从预设目录下找到第一数据及对应的预设触控类型数据，将该数据发送至第一服务器。
161.在一种可能的实现方式中，第一动态库包括预设节点的代码，该预设节点用于标识收集触控操作数据的流程和识别触控操作的类型的流程，当数据收集应用程序处于运行状态，则该预设节点标识为1，用于指示第一动态库开启触控操作数据收集的流程；若第一终端设备上的数据收集应用程序未处于运行状态，则该预设节点标识为0，用于指示第一动态库开启对用户触控操作识别的流程。第一动态库还包括预配置的神经网络模型。以用户的触控操作为指关节操作且该操作对应的辅助功能为截屏为例，该预设节点标识为0时，用户用双指关节敲击第一终端设备的屏幕，第一终端设备响应于用户的触控操作，将此次触控操作的数据输入预配置的神经网络模型，若识别出该触控操作为双指关节敲击，则对应实现截屏的辅助功能。
162.作为一个可选的实施例，更新的神经网络模型满足预设条件，预设条件为更新的神经网络模型的识别成功率大于或等于第一阈值。
163.可选地，第一阈值可以是大于95%的任意值，本技术对此不作具体限定。
164.上述s403的一种可能的实现方式包括：第一服务器采用多个第一数据和多个预设触控类型数据对预配置的神经网络模型进行训练，得到第一神经网络模型，第一神经网络模型为训练过程中的神经网络模型；第一服务器将标准触控操作样本数据输入至第一神经网络模型，得到第一神经网络模型对标准触控操作样本数据的第一识别结果；第一服务器
将第一识别结果与标准触控操作样本数据的触控类型标签进行比较，得到第一神经网络模型的识别成功率；若第一神经网络模型的识别成功率大于或等于第一阈值，第一服务器将第一神经网络模型确定为更新的神经网络模型。
165.可选地，第一神经网络模型可以是预配置的神经网络模型迭代了预设次数后的神经网络模型，也可以是训练了预设时长的神经网络模型，本技术对第一神经网络模型的选取条件不作具体限定。
166.在一种可能的实现方式中，标准触控样本数据可以是选取多个同性别、同年龄段、同手指粗细的用户进行预设触控类型的触控操作时，所产生的容值和/或加速度值的均值，用以代表同类型用户触控操作的手势规范程度和力度，可以作为神经网络模型的识别基准。
167.在本技术实施例中，采用标准触控样本数据验证第一神经网络模型的识别成功率，以将识别成功率大于或等于第一阈值的第一神经网络模型确定为更新的神经网络模型。采用标准触控样本进行验证，可以避免因为验证用的数据不具有代表性而对神经网络模型的能力产生误判，有效提升了神经网络模型的训练效率。
168.上述s403的另一种可能的实现方式包括：第一服务器采用多个第一数据和多个预设触控类型数据对预配置的神经网络模型进行训练，得到第二神经网络模型，第二神经网络模型为训练过程中的神经网络模型；第一服务器向多个第一终端设备分别发送第二神经网络模型；多个第一终端设备接收第二神经网络模型，分别响应于用户的第二触控操作，获取第二触控操作对应的第二数据，并获取第二触控操作的第一触控类型真实值，第二数据包括第二触控操作对应的容值数据和/或加速度传感器数据；多个第一终端设备分别将第二数据输入至第二神经网络模型，得到第二神经网络模型对第二数据的第二识别结果，并向第一服务器发送第二识别结果和第一触控类型真实值；第一服务器接收多个第二识别结果和多个第一触控类型真实值，并将多个第二识别结果分别与多个第一触控类型真实值进行比较，得到第二神经网络模型的识别成功率，若第二神经网络模型的识别成功率大于或等于第一阈值，第一服务器将第二神经网络模型确定为更新的神经网络模型。
169.应理解，第二神经网络模型与第一神经网络模型可以相同也可以不同，本技术对此不作具体限定。
170.在一种可能的实现方式中，第一服务器可以通过空中下载（over the air，ota）技术，以升级内测版操作系统的方式，将第二神经网络模型包含在内测版操作系统数据中，发送给多个第一终端设备。
171.应理解，多个第一终端设备接收第二神经网络模型后，以第二神经网络模型替换预配置的神经网络模型，通过该第二神经网络模型来对用户输入的触控操作进行识别。
172.在一种可能的实现方式中，用户双指关节敲击的触控操作可以实现的辅助功能为截屏，用户可以通过第一终端设备中的第二神经网络模型识别出用户的第二触控操作为双指关节敲击，并实现对应的截屏辅助功能，用户还可以通过点击显示界面弹出的反馈按钮，进入触控类型真实值的上传界面，选择上传与第二触控操作对应的第一触控类型真实值。
173.示例性地，以第一终端设备为手机、第二触控操作为双指关节敲击且对应的辅助功能为截屏为例，对第一终端设备上第二触控操作的识别、及第二触控操作的第一触控类型真实值的上传流程进行说明。图8为本技术实施例提供的第一终端设备的一种操作界面
示意图，如图8中的a图所示，用户可以在第一终端设备的任意界面进行第二触控操作，即双指关节的敲击操作，第一终端设备响应于用户的第二触控操作，获取第二触控操作对应的第二数据，将第二数据输入至第二神经网络模型，当第二神经网络模型识别出第二触控操作为双指关节敲击操作时，第一终端设备对当前屏幕进行截屏，并在如图8中的b图所示的右下角显示截屏结果。在一种可能的实现方式中，该界面可以弹出如图8中的c图所示的图标801，第一终端设备可以响应于用户对图标801的点击操作，显示如图8中的d图所示的触控类型上传界面，并选择双指关节敲击，以将第二识别结果（识别出第二触控操作为双指关节敲击）和第一触控类型真实值（双指关节敲击）发送至第一服务器。
174.在一种可能的实现方式中，多个第一终端设备还可以分别将第二识别结果与第一触控类型真实值进行比较，仅将该比较结果发送至第一服务器，以节约第一终端设备与第一服务器之间通信所使用的信道资源。
175.在本技术实施例中，将训练过程中的第二神经网络模型发送至多个第一终端设备，通过第二神经网络模型对多个第一终端设备对应的多个用户的真实的第二触控操作的识别，来验证第二神经网络模型的识别成功率，所得到的识别成功率更加的真实可靠，有利于得到更可靠的更新的神经网络模型。
176.上述s403的又一种可能的实现方式包括：第一服务器采用多个第一数据和多个预设触控类型数据对预配置的神经网络模型进行训练，得到第三神经网络模型，第三神经网络模型为训练过程中的神经网络模型；第一服务器向多个第一终端设备分别发送第三神经网络模型；多个第一终端设备接收第三神经网络模型，分别响应于用户的第三触控操作，获取第三数据，并获取第三触控操作的第二触控类型真实值，第三数据包括第三触控操作对应的容值数据和/或加速度传感器数据；多个第一终端设备分别将第三数据输入至第三神经网络模型，得到第三神经网络模型对第三数据的第三识别结果，并向第二服务器发送第三识别结果和第二触控类型真实值；第二服务器接收多个第三识别结果和多个第二触控类型真实值，并将多个第三识别结果分别与多个第二触控类型真实值进行比较，得到第三神经网络模型的识别成功率，并将第三神经网络模型的识别成功率发送给第一服务器；若第三神经网络模型的识别成功率大于或等于第一阈值，第一服务器将第三神经网络模型确定为更新的神经网络模型。
177.应理解，第三神经网络模型与第一神经网络模型、第二神经网络模型可以相同也可以不同，本技术对此不作具体限定。
178.可选地，第二服务器可以是大数据平台对应的服务器，本技术对此不作具体限定。
179.在本技术实施例中，通过第二服务器将多个第三识别结果分别与多个第二触控类型真实值进行比较，得到第三神经网络模型的识别成功率后再发送至第一服务器，可以减轻第一服务器的运算压力，有利于第一服务器的稳定运行，为神经网络模型的训练提供算力保障。
180.上述s404的一种可能的实现方式包括：第一服务器向第二终端设备发送系统升级数据，系统升级数据包括更新的神经网络模型；第二终端设备接收系统升级数据，并配置更新的神经网络模型。
181.应理解，第二终端设备中安装有用户版操作系统，第一服务器向第二终端设备发送的系统升级数据为用户版操作系统对应的系统升级数据。
182.上述s404的另一种可能的实现方式包括：在第一服务器向第二终端设备发送系统升级数据之前，第二终端设备向第一服务器发送系统升级数据请求；第一服务器基于系统升级数据请求，向第二终端设备发送系统升级数据。
183.应理解，多个第一终端设备发送给第一服务器的第一数据包括但不限于是第一触控操作对应的容值数据和/或加速度传感器数据，还可以包括多个第一终端设备的标识。
184.可选地，第一终端设备的标识可以是多个第一终端设备的各自的移动设备识别码（mobile equipment identifier，meid）、国际移动设备识别码（international mobile equipment identity，imei），或者其他该设备的唯一标识，本技术对此不作限定。
185.在一种可能的实现方式中，第一服务器可以根据多个第一终端设备的标识，从数据库中匹配到每个第一终端设备中加速度传感器的型号和电容传感器的型号，将加速度传感器的型号和电容传感器的型号均相同的第一数据及该第一数据对应的预设触控类型数据作为一个训练集，训练预配置的神经网络模型，即可得到多个更新的神经网络模型，多个更新的神经网络模型分别对应一组加速度传感器的型号和电容传感器的型号。
186.上述数据库可以是终端设备厂商所维护的数据库，该数据库中包括终端设备的标识、与该终端设备的标识对应的终端设备所配置的加速度传感器的型号和电容传感器的型号，以及三者的映射关系。该数据库可以设置在第一服务器，也可以设置在其他服务器，本技术对此不作限定。
187.示例性地，第一终端设备a的加速度传感器的型号为（1）和电容传感器的型号为
①
，第一终端设备b的加速度传感器的型号为（2）和电容传感器的型号为
①
，第一终端设备c的加速度传感器的型号为（1）和电容传感器的型号为
①
，第一终端设备d的加速度传感器的型号为（2）和电容传感器的型号为
①
，则将第一终端设备a和第一终端设备c对应的第一数据及预设触控类型数据包括在同一个训练集中，将第一终端设备b和第一终端设备d对应的第一数据及预设触控类型数据包括在另一个训练集中。应理解，与第一终端设备a、b、c、d加速度传感器的型号和电容传感器的型号均相同的第一终端设备的数量均有足够多个，故而可以采用不同的训练集对预配置的神经网络模型进行训练，得到多个不同的更新的神经网络模型，多个更新的神经网络模型可以根据加速度传感器的型号和电容传感器的型号来进行标识。
188.在一种可能的实现方式中，在第一服务器向第二终端设备发送系统升级数据之前，第二终端设备向第一服务器发送系统升级数据请求，该系统升级数据请求可以包括第二终端设备的标识，第一服务器可以基于该系统升级数据请求，从数据库中匹配到该第二终端设备的标识对应的加速度传感器的型号和电容传感器的型号，并将与该第二终端设备的加速度传感器的型号和电容传感器的型号一致的更新的神经网络模型包括在系统升级数据中，发送给对应的第二终端设备。
189.在本技术实施例中，将与第二终端设备的加速度传感器的型号和电容传感器的型号一致的更新的神经网络模型发送给对应的第二终端设备，减少了因为第二终端设备的加速度传感器的型号和电容传感器的型号与训练预配置的神经网络模型训练时的加速度传感器的型号和电容传感器的型号不一致而造成的数据误差，提高了更新的神经网络模型的可信度，也提高发送给第二终端设备的更新的神经网络模型与该第二终端设备适配度，有利于提高用户通过触控操作实现辅助功能的成功率，提升用户体验。
190.作为一个可选地实施例，第二终端设备响应于用户的第四触控操作，通过用户版操作系统获取第四数据，第四数据包括第四触控操作对应的容值数据和/或加速度传感器数据；第二终端设备将第四数据输入至更新的神经网络模型，得到更新的神经网络模型对第四触控操作的第四识别结果；根据第四识别结果对应的触控类型实现辅助功能。
191.应理解，第四触控操作为预设触控类型对应的触控操作。
192.在一种可能的实现方式中，第四识别结果对应的触控类型包括：指尖点击、指尖滑动、指尖敲击、指腹点击、指腹滑动、指腹敲击、侧甲点击、侧甲滑动、双指敲击、双指缩放、指关节敲击和指关节滑动。
193.在一种可能的实现方式中，辅助功能包括截屏、录屏和区域截屏。
194.上文中结合图1至图8，详细描述了本技术实施例的方法，下面将结合9和图10，详细描述本技术实施例的装置。
195.图9为本技术实施例提供的一种用于识别触控操作的装置900的示意性框图。如图9所示，装置900包括收发模块901和处理模块902。该处理模块902用于：响应用户的第一触控操作，通过内测版操作系统收集第一触控操作对应的第一数据，第一数据包括第一触控操作对应的容值数据和/或加速度传感器数据；收发模块901用于：将第一数据和预设触控类型数据发送至第一服务器。
196.可选地，处理模块902还用于：响应用户的第二触控操作，获取第二触控操作对应的第二数据，并获取第二触控操作的第一触控类型真实值，第二数据包括第二触控操作对应的容值数据和/或加速度传感器数据，以及，处理模块902还用于：将第二数据输入至第二神经网络模型，得到第二神经网络模型对第二数据的第二识别结果；收发模块901还用于：向第一服务器发送第二识别结果和第一触控类型真实值。
197.可选地，收发模块901还用于：接收第三神经网络模型；处理模块902还用于：响应用户的第三触控操作，获取第三数据，并获取第三触控操作的第二触控类型真实值，第三数据包括第三触控操作对应的容值数据和/或加速度传感器数据，以及，处理模块902还用于：将第三数据输入至第三神经网络模型，得到第三神经网络模型对第三数据的第三识别结果；收发模块901还用于：向第二服务器发送第三识别结果和第二触控类型真实值。
198.应理解，装置900可以具体为上述实施例中的第一终端设备，并且可以用于执行上述方法实施例中与第一终端设备对应的各个步骤和/或流程。
199.图10为本技术实施例提供的一种用于识别触控操作的装置1000的示意性框图，如图10所示，该装置1000包括处理器1001、收发器1002和存储器1003。其中，处理器1001、收发器1002和存储器1003通过内部连接通路互相通信，该存储器1003用于存储指令，该处理器1001用于执行该存储器1003存储的指令，以控制该收发器1002发送信号和/或接收信号。
200.应理解，装置1000可以具体为上述实施例中的第一终端设备，并且可以用于执行上述方法实施例中与第一终端设备对应的各个步骤和/或流程。可选地，该存储器1003可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器1001可以用于执行存储器中存储的指令，并且当该处理器1001执行存储器中存储的指令时，该处理器1001用于执行上述与该第一终端设备对应的方法实施例的各个步骤和/或流程。该收发器1002可以包括发射器和接收器，该发射器可以用于实现上述收发器对应的用于执行发
送动作的各个步骤和/或流程，该接收器可以用于实现上述收发器对应的用于执行接收动作的各个步骤和/或流程。
201.应理解，在本技术实施例中，上述装置的处理器可以是中央处理模块（central processing unit，cpu），该处理器还可以是其他通用处理器、数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
202.在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
203.本技术还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，该计算机程序用于实现上述方法实施例中与第一终端设备对应的各个步骤和/或流程。
204.本技术还提供了一种计算机程序产品，该计算机程序产品包括计算机程序（也可以称为代码，或指令），当该计算机程序在计算机上运行时，该计算机可以执行上述方法实施例中与第一终端设备对应的各个步骤和/或流程。
205.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
206.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
207.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
208.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
209.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
210.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以
存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
211.以上所述，仅为本技术的具体实施方式，但本技术实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种用于识别触控操作的方法，其特征在于，所述方法应用于包括多个第一终端设备、第二终端设备及第一服务器的系统，所述多个第一终端设备均安装有内测版操作系统，所述第二终端设备安装有用户版操作系统，所述方法包括：所述多个第一终端设备分别响应于用户的第一触控操作，通过所述内测版操作系统收集所述第一触控操作对应的第一数据，并将所述第一数据和预设触控类型数据发送至所述第一服务器，所述第一数据包括所述第一触控操作对应的容值数据和/或加速度传感器数据；所述第一服务器接收来自所述多个第一终端设备的多个所述第一数据和多个所述预设触控类型数据，采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，并将所述更新的神经网络模型配置给所述第二终端设备。2.根据权利要求1所述的方法，其特征在于，所述更新的神经网络模型满足预设条件，所述预设条件为所述更新的神经网络模型的识别成功率大于或等于第一阈值。3.根据权利要求2所述的方法，其特征在于，所述采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，包括：所述第一服务器采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第一神经网络模型，所述第一神经网络模型为训练过程中的神经网络模型；所述第一服务器将标准触控操作样本数据输入至所述第一神经网络模型，得到所述第一神经网络模型对所述标准触控操作样本数据的第一识别结果；所述第一服务器将所述第一识别结果与所述标准触控操作样本数据的触控类型标签进行比较，得到所述第一神经网络模型的识别成功率；若所述第一神经网络模型的识别成功率大于或等于所述第一阈值，所述第一服务器将所述第一神经网络模型确定为所述更新的神经网络模型。4.根据权利要求2所述的方法，其特征在于，所述采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，包括：所述第一服务器采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第二神经网络模型，所述第二神经网络模型为训练过程中的神经网络模型；所述第一服务器向所述多个第一终端设备分别发送所述第二神经网络模型；所述多个第一终端设备接收所述第二神经网络模型，分别响应于用户的第二触控操作，获取所述第二触控操作对应的第二数据，并获取所述第二触控操作的第一触控类型真实值，所述第二数据包括所述第二触控操作对应的容值数据和/或加速度传感器数据；所述多个第一终端设备分别将所述第二数据输入至所述第二神经网络模型，得到所述第二神经网络模型对所述第二数据的第二识别结果，并向所述第一服务器发送所述第二识别结果和所述第一触控类型真实值；所述第一服务器接收多个所述第二识别结果和多个所述第一触控类型真实值，并将多个所述第二识别结果分别与多个所述第一触控类型真实值进行比较，得到所述第二神经网络模型的识别成功率，若所述第二神经网络模型的识别成功率大于或等于第一阈值，所述
第一服务器将所述第二神经网络模型确定为所述更新的神经网络模型。5.根据权利要求2所述的方法，其特征在于，所述系统还包括第二服务器，所述采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型包括：所述第一服务器采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第三神经网络模型，所述第三神经网络模型为训练过程中的神经网络模型；所述第一服务器向所述多个第一终端设备分别发送所述第三神经网络模型；所述多个第一终端设备接收所述第三神经网络模型，分别响应于用户的第三触控操作，获取第三数据，并获取所述第三触控操作的第二触控类型真实值，所述第三数据包括所述第三触控操作对应的容值数据和/或加速度传感器数据；所述多个第一终端设备分别将所述第三数据输入至所述第三神经网络模型，得到所述第三神经网络模型对所述第三数据的第三识别结果，并向所述第二服务器发送所述第三识别结果和所述第二触控类型真实值；所述第二服务器接收多个所述第三识别结果和多个所述第二触控类型真实值，并将多个所述第三识别结果分别与多个所述第二触控类型真实值进行比较，得到所述第三神经网络模型的识别成功率，并将所述第三神经网络模型的识别成功率发送给所述第一服务器；若所述第三神经网络模型的识别成功率大于或等于所述第一阈值，所述第一服务器将所述第三神经网络模型确定为所述更新的神经网络模型。6.根据权利要求1所述的方法，其特征在于，所述将所述更新的神经网络模型配置给所述第二终端设备，包括：所述第一服务器向所述第二终端设备发送系统升级数据，所述系统升级数据包括所述更新的神经网络模型；所述第二终端设备接收所述系统升级数据，并配置所述更新的神经网络模型。7.根据权利要求6所述的方法，其特征在于，在所述第一服务器向所述第二终端设备发送系统升级数据之前，所述方法包括：所述第二终端设备向所述第一服务器发送系统升级数据请求；所述第一服务器向所述第二终端设备发送系统升级数据，包括：所述第一服务器基于所述系统升级数据请求，向所述第二终端设备发送系统升级数据。8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：所述第二终端设备响应于用户的第四触控操作，通过所述用户版操作系统获取第四数据，所述第四数据包括所述第四触控操作对应的容值数据和/或加速度传感器数据；所述第二终端设备将所述第四数据输入至所述更新的神经网络模型，得到所述更新的神经网络模型对第四触控操作的第四识别结果；所述第二终端设备根据所述第四识别结果对应的触控类型实现辅助功能。9.根据权利要求8所述的方法，其特征在于，所述第四识别结果对应的触控类型包括：指尖点击、指尖滑动、指尖敲击、指腹点击、指腹滑动、指腹敲击、侧甲点击、侧甲滑动、双指敲击、双指缩放、指关节敲击和指关节滑动。
10.根据权利要求9所述的方法，其特征在于，所述辅助功能包括截屏、录屏和区域截屏。11.一种用于识别触控操作的系统，其特征在于，所述系统包括多个第一终端设备、第二终端设备及第一服务器，所述多个第一终端设备均安装有内测版操作系统，所述第二终端设备安装有用户版操作系统；所述第一终端设备用于：响应用户的第一触控操作，通过所述内测版操作系统收集所述第一触控操作对应的第一数据，并将所述第一数据和预设触控类型数据发送至所述第一服务器，所述第一数据包括所述第一触控操作对应的容值数据和/或加速度传感器数据；所述第一服务器用于：接收来自所述多个第一终端设备的多个所述第一数据和多个所述预设触控类型数据，采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，并将所述更新的神经网络模型配置给所述第二终端设备。12.根据权利要求11所述的系统，其特征在于，所述更新的神经网络模型满足预设条件，所述预设条件为所述更新的神经网络模型的识别成功率大于或等于第一阈值。13.根据权利要求12所述的系统，其特征在于，所述第一服务器用于：采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第一神经网络模型，所述第一神经网络模型为训练过程中的神经网络模型；所述第一服务器还用于：将标准触控操作样本数据输入至所述第一神经网络模型，得到所述第一神经网络模型对所述标准触控操作样本数据的第一识别结果；所述第一服务器还用于：将所述第一识别结果与所述标准触控操作样本数据的触控类型标签进行比较，得到所述第一神经网络模型的识别成功率；所述第一服务器还用于：若所述第一神经网络模型的识别成功率大于或等于所述第一阈值，将所述第一神经网络模型确定为所述更新的神经网络模型。14.根据权利要求12所述的系统，其特征在于，所述第一服务器用于：采用多个所述第一数据和多个所述预设触控类型数据对预配置的神经网络模型进行训练，得到第二神经网络模型，所述第二神经网络模型为训练过程中的神经网络模型；所述第一服务器还用于：向所述多个第一终端设备分别发送所述第二神经网络模型；所述第一终端设备还用于：接收所述第二神经网络模型，响应于用户的第二触控操作，获取所述第二触控操作对应的第二数据，并获取所述第二触控操作的第一触控类型真实值，所述第二数据包括所述第二触控操作对应的容值数据和/或加速度传感器数据；所述第一终端设备还用于：将所述第二数据输入至所述第二神经网络模型，得到所述第二神经网络模型对所述第二数据的第二识别结果，并向所述第一服务器发送所述第二识别结果和所述第一触控类型真实值；所述第一服务器还用于：接收多个所述第二识别结果和多个所述第一触控类型真实值，并将多个所述第二识别结果分别与多个所述第一触控类型真实值进行比较，得到所述第二神经网络模型的识别成功率，若所述第二神经网络模型的识别成功率大于或等于第一阈值，则将所述第二神经网络模型确定为所述更新的神经网络模型。15.根据权利要求12所述的系统，其特征在于，所述系统还包括第二服务器；所述第一服务器用于：采用多个所述第一数据和多个所述预设触控类型数据对预配置
的神经网络模型进行训练，得到第三神经网络模型，所述第三神经网络模型为训练过程中的神经网络模型；所述第一服务器还用于：向所述多个第一终端设备分别发送所述第三神经网络模型；所述第一终端设备还用于：接收所述第三神经网络模型，响应于用户的第三触控操作，获取第三数据，并获取所述第三触控操作的第二触控类型真实值，所述第三数据包括所述第三触控操作对应的容值数据和/或加速度传感器数据；所述第一终端设备还用于：将所述第三数据输入至所述第三神经网络模型，得到所述第三神经网络模型对所述第三数据的第三识别结果，并向所述第二服务器发送所述第三识别结果和所述第二触控类型真实值；所述第二服务器用于：接收多个所述第三识别结果和多个所述第二触控类型真实值，并将多个所述第三识别结果分别与多个所述第二触控类型真实值进行比较，得到所述第三神经网络模型的识别成功率，并将所述第三神经网络模型的识别成功率发送给所述第一服务器；所述第一服务器还用于：若所述第三神经网络模型的识别成功率大于或等于所述第一阈值，将所述第三神经网络模型确定为所述更新的神经网络模型。16.根据权利要求11所述的系统，其特征在于，所述第一服务器还用于：向所述第二终端设备发送系统升级数据，所述系统升级数据包括所述更新的神经网络模型；所述第二终端设备用于：接收所述系统升级数据，并配置所述更新的神经网络模型。17.根据权利要求16所述的系统，其特征在于，所述第二终端设备还用于：向所述第一服务器发送系统升级数据请求；所述第一服务器还用于：基于所述系统升级数据请求，向所述第二终端设备发送系统升级数据。18.根据权利要求16或17所述的系统，其特征在于，所述第二终端设备还用于：响应用户的第四触控操作，通过所述用户版操作系统获取第四数据，所述第四数据包括所述第四触控操作对应的容值数据和/或加速度传感器数据；所述第二终端设备还用于：将所述第四数据输入至所述更新的神经网络模型，得到所述更新的神经网络模型对第四触控操作的第四识别结果；所述第二终端设备还用于：根据所述第四识别结果对应的触控类型实现辅助功能。19.根据权利要求18所述的系统，其特征在于，所述第四识别结果对应的触控类型包括：指尖点击、指尖滑动、指尖敲击、指腹点击、指腹滑动、指腹敲击、侧甲点击、侧甲滑动、双指敲击、双指缩放、指关节敲击和指关节滑动。20.根据权利要求19所述的系统，其特征在于，所述辅助功能包括截屏、录屏和区域截屏。

技术总结
本申请提供了一种用于识别触控操作的方法和系统，包括：多个第一终端设备分别将第一数据和预设触控类型数据发送至第一服务器，第一服务器采用多个第一数据和多个预设触控类型数据对预配置的神经网络模型进行训练，获得更新的神经网络模型，并将更新的神经网络模型配置给第二终端设备。通过来自年龄、性别、手指粗细程度等都不同的用户的第一数据及对应的预设触控类型对预配置的神经网络模型进行训练，最终得到的更新的神经网络模型相较于预配置的神经网络模型，学习了更丰富更多样的触控数据，具备了更高的识别能力，将更新的神经网络模型配置给第二终端设备后有利于提高用户通过触控操作实现辅助功能的成功率，提升用户体验。体验。体验。


技术研发人员：付博
受保护的技术使用者：荣耀终端有限公司
技术研发日：2023.06.16
技术公布日：2023/7/22