摄像装置能力API框架和共享OEM存储库系统的制作方法

摄像装置能力api框架和共享oem存储库系统


背景技术：

1.随着数字图像和视频的使用的增加、便携式计算设备的可负担性、数字存储介质的增加的容量的可用性以及网络连接的增加的带宽和可访问性，数字图像和视频已成为越来越多人日常生活的一部分。另外，设备用户的预期还在于，在便携式计算设备上使用app的体验将继续变得更加复杂巧妙和媒体丰富。
附图说明
2.在不一定按比例绘制的附图中，相似的附图标记可以在不同视图中描述类似的部件。为了容易地识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字是指该元件被首次引入时所在的图号。在附图的图中通过示例而非限制的方式示出了一些实施方式，在附图中：
3.图1是示出用于提供摄像装置能力api框架和共享数据存储库的示例系统100的框图。
4.图2示出了图1的app的架构的示例。
5.图3示出了图1的app的架构的替选示例。
6.图4示出了图1的app的架构的替选示例。
7.图5是示出在移动设备上运行的app中实现摄像装置或其他硬件api框架的方法的流程图。
8.图6是示出提供共享存储库以用于开发硬件api框架以及用于提供在移动设备上运行的app的定制版本的方法的流程图。
9.图7是根据一些示例的呈计算机系统形式的机器的图解表示，在该计算机系统内可以执行一组指令以使机器执行本文中讨论的方法中的任何一种或更多种。
10.图8是示出可以在其中实现示例的软件架构的框图。
具体实施方式
11.来自各种位置的兴趣广泛的用户可以捕获各种被摄体的数字图像或视频，并且使其他人能够经由网络例如因特网获得捕获的图像或视频。使得计算设备能够对在各种各样的变化条件(例如，图像尺度、噪声、照明、移动或几何失真的改变)下捕获的各种对象和/或特征执行图像/视频处理或图像/视频增强操作可能是具有挑战性的且计算密集的。此外，随着移动设备中的摄像装置变得更加复杂巧妙和多样化，应用开发者更难以使他们的app与由oem的最新硬件提供的最新特征和改进保持同步。此外，oem可能不想将对这些特征的访问权并入移动操作系统(如android)的api中，因为这可能允许竞争者迅速采用最新的特征和改进。oem提供对在其硬件上运行的应用的版本的增强的能力可以提供竞争优势。
12.在一个示例中，提供了一种在包括一个或更多个处理器的计算设备中处理硬件请求的方法。该方法包括：从应用服务模块接收对硬件相关功能的请求；确定硬件相关功能是否能够由oem特定sdk提供；基于确定硬件相关功能能够由oem特定sdk提供，向oem特定sdk
提供与硬件相关功能相关的命令和参数；以及基于确定硬件相关功能不能由oem特定sdk提供，向操作系统硬件抽象层提供与硬件相关功能相关的命令和参数。
13.确定步骤可以由下载到oem特定硬件设备的定制库执行。此外，应用服务模块可以被包含在非oem特定的应用的一部分中。
14.硬件相关功能可以在计算设备的操作系统中被默认支持，并且对硬件相关功能的请求可以是默认请求，在这种情况下，该方法还可以包括：向oem特定sdk提供与默认请求相关的命令和参数。
15.在一个示例中，提供了一种提供针对包括一个或更多个处理器的特定计算设备定制的应用的方法。该方法包括：由特定计算设备下载应用的第一版本，以用于在特定计算设备上执行；由应用查询特定计算设备，以获得识别特定计算设备的信息；以及由在特定计算设备上执行的应用下载定制硬件集成代码，以用于当在特定计算设备上执行时与该应用一起使用。该定制硬件集成代码可以特定于特定oem或特定oem提供的设备。
16.图1是示出用于提供摄像装置(或其他硬件)能力api框架和共享数据存储库的示例系统100的框图。系统100包括移动设备104的多个实例，移动设备104中的每一个托管包括已经由app开发者开发的app 116的若干应用。每个移动设备104可以经由网络102(例如，因特网)通信地耦接至也运行app 116的实例的其他移动设备104以及应用服务器系统114。移动设备104还可以经由网络耦接至app商店112，可以从该app商店112下载app 116并将其安装在移动设备104上。app 116可以是可以在移动设备104上运行的使用移动设备104的摄像装置能力的任何种类的app。在一个示例中，app 116是消息收发应用或社交联网应用。
17.移动设备104包括由oem预加载在移动设备104上的oem sdk 128，并且该oem sdk 128提供用于app 116访问例如摄像装置或已经由移动设备104的oem包括的其他硬件、操作系统、固件或软件能力的接口。app 116还包括集成代码126，该集成代码126在oem sdk 128与app116之间提供了桥梁。集成代码126和oem sdk 128对于移动设备所属的产品的型号或系列是唯一的，并且对于特定oem是唯一的。
18.移动设备还包括os硬件抽象层130。硬件抽象层130定义供oem实现的标准接口。硬件抽象层130允许移动设备104的os在一般或抽象的水平而不是详细的硬件水平处与硬件设备进行交互。硬件抽象层130可以例如包括与不同硬件类型(例如，摄像装置、音频部件、蓝牙部件、传感器、存储装置、外围设备等)对应的一个或更多个模块。
19.在使用中，当app 116调用硬件相关功能或特征时，app 116将(经由集成代码126)向硬件抽象层130或oem sdk 128提供调用，以完成硬件相关功能或者调用硬件相关特征。oem sdk 128又可以调用硬件抽象层130或者与硬件抽象层130协调，或者可以更直接地与相关硬件交互，以完成硬件相关功能或者调用特征。
20.应用服务器系统114支持被提供给app 116并允许app 116按预期工作的各种服务和操作。这样的操作包括向app 116发送数据、从app 116接收数据以及处理由app 116生成的数据。作为示例，该数据可以包括消息内容、移动设备信息、地理位置信息、用户生成的媒体、媒体增强和覆盖(overlay)、消息内容持续条件、社交网络信息、现场事件信息、登录和简档信息、朋友组和朋友状态。与应用服务器系统114和其他移动设备104的数据交换通过经由app 116的用户界面(ui)可用的功能被调用和控制。
21.系统100还可以包括托管oem sdk 128和oem集成代码118的oem系统106。如本领域
已知的，oem sdk 128由oem开发以在由oem提供的设备上使用。oem系统106还可以包括候选oem集成代码118，该候选oem集成代码118正在由oem开发用于提交给app开发者，以在由oem提供的移动设备104上运行时被包括在app 116中。
22.系统100还包括集成代码存储库108，该集成代码存储库108由app提供者管理，并且例如可以被托管在代码托管平台如github上。集成代码存储库108包括包含api的api存储库120(由app开发者提供)，oem可以从该api存储库120创建oem集成代码118的其自己的唯一版本。api存储库120的目的是与oem开发者共享api的可见性。api存储库120由应用开发者维护，并且oem仅具有读取而非写入的许可。对api存储库120的任何更新都由app开发者提供。app开发者对api存储库120作出的任何改变都发布到集成代码存储库108，并且在由app开发者拥有和维护的app开发者代码存储库110中维护的api存储库120的参考版本中更新。
23.每个参与的oem将具有对应的oem实现存储库，例如oem 1的oem 1实现存储库122、oem 2的oem 2实现存储库124等。每个oem实现存储库由app开发者和相应的oem共同维护，并且对每个oem实现存储库的访问限于app开发者和特定oem。每个oem实现存储库包含oem集成代码库，该oem集成代码库是oem对由app开发者提供的api的实现并且在api存储库120中被维护。在审查和批准oem集成代码118的oem实现之后，app开发者可以将经批准的集成代码传送至app开发者代码存储库110，在该app开发者代码存储库110中经批准的集成代码可以并入app 116的定制版本中。
24.系统中还包括app商店112，例如google play或苹果的app store，app商店112托管分别在android或ios上运行的移动设备104上下载和使用的app。app开发者在将经批准的oem集成代码118集成到app 116的版本(该版本现在被定制用于与由oem提供的移动设备104一起使用)中之后，可以将app 116的该版本上传到app商店112，在app商店112处app 116的该版本被托管并且可供移动设备104下载和安装。替选地，经批准的oem集成代码118可以作为可运行的库被提供，该库可以被下载到移动设备104上并且被app 116的通用版本调用。
25.在系统100的使用中，oem在向集成代码存储库108注册(经app开发者批准)之后，从api存储库120下载api以用于开发oem集成代码118。然后，oem从下载自api存储库120的api准备定制版本，即oem集成代码118。在完成后，oem集成代码118从oem系统106被上传到集成代码存储库108进入oem实现存储库，例如oem 1实现存储库122或oem 2实现存储库124等，在该oem实现存储库中oem集成代码118可以被app开发者下载以进行查阅。替选地，oem集成代码118从oem系统106被直接上传到app开发者代码存储库110中以进行查阅。
26.在由app开发者批准oem集成代码118之后，经批准的oem集成代码118被app开发者并入app 116的定制版本中或者并入定制可运行库中，以在由oem提供的移动设备104上使用。app 116的定制版本或定制可运行库将包括对已经针对其创建了oem集成代码126的移动设备104进行标识的信息(例如，oem名称、型号、系列名称、操作系统等)。然后，定制可运行库或app 116的定制版本被上传到app商店112，在该app商店112处定制可运行库或app 116的定制版本可供移动设备104的用户下载。
27.当移动设备104的用户请求下载app 116时，移动设备104查询app商店112并下载app 116的通用版本。当app 116由移动设备104执行时，app 116查询移动设备104以获得标
识移动设备104的信息(例如，oem名称、型号、操作系统等)。
28.然后，app 116查询app商店112以确定是否存在针对特定移动设备104定制的用于app 116的集成代码126。如果存在这样的集成代码126，则由app商店112向移动设备104提供对app 116的附加，以补充或更新app的通用版本。在一个实施方式中，该附加是从app商店112被动态地传送至移动设备104的定制可运行库。定制可运行库将被使用中的app 116的通用版本调用，从而提供app 116的定制版本。
29.替选地，app 116查询app商店112以确定是否存在具有针对特定移动设备104定制的集成代码126的app 116的版本，该版本于是可以代替app 116的通用版本。
30.图2示出了图1的app 116的架构的示例以及app 116与硬件抽象层130和oem sdk 128的交互。为清楚起见，仅示出了app 116的集成代码126和摄像装置服务模块202。将明显的是，app 116包括许多功能和服务模块。
31.摄像装置服务模块202从app 116的其他模块之一(例如，用户界面模块(未示出))接收请求(例如，调用超级夜间模式(supernightmode)、面部检测(facedetection)等)以启动摄像装置功能或特征。该请求以及任何相关参数(例如，放大或缩小，闪光开启或关闭)从摄像装置服务模块202被传送至集成代码216以进行处理。
32.作为集成代码126的示例的集成代码216包括若干摄像装置控制接口。如图所示，集成代码216包括os摄像装置控制接口206a至206f的第一组204，这些os摄像装置控制接口对于操作系统是标准的。例如，组204可能包括来自google的android camera1、camera2或camerax库的摄像装置控制接口，所述摄像装置控制接口提供与硬件无关的或通用的摄像装置控制。例如，自动对焦控制、设置闪光、摄像装置预览、拍照、录制视频、光学或电子图像稳定化、面部检测、变焦控制等。
33.集成代码216还包括定制oem摄像装置控制接口214a至214c的组210。定制oem控制接口已经由应用开发者设计并由oem实现以使得能够访问特定于oem的特征或功能的实现或特定于移动设备104的硬件的摄像装置功能或特征，并且包括集成代码216的唯一或实现特定部分。例如，组210可能包括与以下各项相关的摄像装置控制接口：高动态范围(high dynamic range)捕获、增强的夜间模式、摄像装置由姿势控制的模式、散景模式、一个或更多个捕获后(或“美颜”)模式、将自动对焦优先级给予面部的模式等。
34.在接收到来自摄像装置服务模块202的请求时，组204或组210中的摄像装置控制接口中的相关的一个摄像装置控制接口将适当的命令和参数传送至硬件抽象层130(例如，图2中的os硬件抽象模块208或os硬件抽象模块212)或oem sdk 128，oem sdk 128又在硬件水平处实现适当的命令。
35.在os摄像装置控制接口206a至206f的情况下，相关命令和参数被适当地引导到os硬件抽象模块208或os硬件抽象模块212并由os硬件抽象模块208或os硬件抽象模块212接收。例如为了灵活性，os硬件抽象模块208可以是android camera1，而212可以是android camera2。在组204中的标准操作系统摄像装置控制接口在oem sdk 128中具有对应的oem特定实现的情况下，相关命令和参数被引导到oem sdk 128而不是硬件抽象模块之一并由oem sdk 128接收。
36.在定制oem摄像装置控制接口214a至214c的情况下，相关命令和参数由集成代码216引导到oem sdk 128并由oem sdk 128接收，使得app 116能够访问对oem而言唯一或特
定的定制摄像装置功能。以这种方式，app开发者可以从定制oem功能或特征中受益，该定制oem功能或特征特定于移动设备104并且可能不同于os标准或通用摄像装置控制或者与os标准或通用摄像装置控制相比得到改进。类似地，oem可以通过向app116的用户提供特定于oem的移动设备104并且与竞争者的产品不同的定制oem功能或特征而受益，从而增强移动设备104的吸引力。
37.图3示出了图1的app116的架构的替选示例以及app116与os硬件抽象模块212和oemsdk128的交互。在这种情况下，app116包括服务管理器302和集成代码304。当摄像装置服务模块202接收到来自app116的其他模块之一的请求时，则请求以及任何相关参数(例如，放大/缩小，闪光开启/关闭)从摄像装置服务模块202被传送至服务管理器302。服务管理器302对os是通用的。例如，服务管理器302可以是androidcamera2管理器，该androidcamera2管理器是用于检测、表征和连接至androidcamera2api的系统服务管理器。服务管理器302又将来自摄像装置服务模块202的请求传送至集成代码304，而不是像通常发生的那样传送至os硬件抽象层130。
38.集成代码304是集成代码216的简化版本，该简化版本可以使得能够部分覆盖特定于移动设备104的硬件或oem的实现的摄像装置功能或特征的任何默认摄像装置行为。
39.也就是说，当从服务管理器302接收到不具有oem特定实现的默认请求时，相关命令和参数被集成代码304引导到os硬件抽象模块212并由os硬件抽象模块212接收，以由os硬件抽象模块212进行默认处理。然而，当从服务管理器302接收到确实具有oem特定实现的默认请求时，相关命令和参数被集成代码304引导到oemsdk128并由oemsdk128接收，使得app116能够访问对oem而言唯一或特定的定制摄像装置功能，而不是os硬件抽象模块212中设想的默认摄像装置功能。
40.如图3中的oemsdk128与os硬件抽象模块212之间的箭头所示，oemsdk128还可以调用os硬件抽象模块212以进行摄像装置操作，例如打开摄像装置预览、关闭摄像装置、拍照等。
41.图3架构的优点是，集成代码304可以比集成代码216更简洁。此外oem可能更熟悉服务管理器302和os硬件抽象模块212，从而潜在地提供更容易的实现。图3架构的缺点是它受限于现有的服务管理器302命令和功能。
42.图4示出了图1的app116的架构的另一替选示例以及app116与os硬件抽象模块212和oemsdk128的交互。这是图2和图3的架构的混合实现。
43.如图4所示，在该示例中，app116包括集成代码402和集成代码404二者，集成代码402大体上对应于图2的集成代码216，集成代码404大体上对应于图3的集成代码304。在这种情况下，集成代码404用作集成代码402的子模块。
44.图4的架构可以提供灵活性和可扩展性方面的优点。例如，如上文针对集成代码304所描述的，提供了对特定于oem的实现或移动设备104的硬件的摄像装置功能或特征的任何默认摄像装置行为的部分覆盖(partialoverride)的集成代码402可以在由特定oem提供的具有不同能力的不同移动设备104之间可重复使用而不需要修改或者几乎不需要修改。此外，使用更简洁的集成代码404/集成代码304覆盖现有的摄像装置控制接口(例如，组204中的os摄像装置控制接口206d)的能力可以提供比图2的架构更迅速的初始开发。在这种情况下，不需要为了提供一定程度的定制而由oem修改由app开发者提供的集成代码402。
45.然而，图4的架构还提供了可扩展性优点。oem可以开发集成代码402的定制版本，该定制版本并入一个或更多个定制oem摄像装置控制接口，例如图4中所示的oem摄像装置控制接口214b。如上所述，这样的定制oem控制接口已经由oem生成，以使得能够访问特定于oem的实现或移动设备104的硬件并且可能不被发现为服务管理器302中可以由集成代码404覆盖的默认摄像装置行为的摄像装置功能或特征。
46.例如，当从摄像装置服务模块202接收到默认请求时，相关命令和参数被集成代码402引导到集成代码404并由集成代码404接收。如果不存在默认命令的oem特定实现，则集成代码404将命令和参数传送至os硬件抽象模块212以使用默认功能和行为进行处理。
47.然而，当从摄像装置服务模块202接收到确实具有oem特定实现的默认请求时，相关命令和参数被集成代码404引导到oem sdk 128并由oem sdk 128接收，使得app 116能够访问对oem而言唯一或特定的定制摄像装置功能，而不是os硬件抽象模块212中设想的默认摄像装置功能。例如，如果os硬件抽象模块212支持夜间模式捕获功能，但oem sdk 128具有夜间模式捕获的oem特定实现，则集成代码404将把相关命令和参数引导到oem sdk 128而不是os硬件抽象模块212。
48.如图4中的oem sdk 128与os硬件抽象模块212之间的箭头所示，oem sdk 128也可以调用os硬件抽象模块212以进行摄像装置操作，例如打开摄像装置预览、关闭摄像装置、拍照等。
49.另一方面，如果摄像装置服务模块202向集成代码402提供os硬件抽象模块212不支持的请求，则集成代码402将向集成代码404提供相关命令和参数，集成代码404又将相关命令和参数传送至oem sdk 128。例如，如果oem sdk 128具有默认命令未设想的姿势控制功能(例如，经由oem摄像装置控制接口214b请求)，则集成代码402将经由集成代码404向oem sdk 128传送相关命令和参数，如图4所示。
50.图5是示出在移动设备104上运行的app 116中实现摄像装置或其他硬件api框架的方法的流程图。该方法在操作502处开始，其中app接收用户输入，该用户输入请求在操作602中由app 116和移动设备104执行硬件相关功能。该用户输入例如可以是经由显示在移动设备的显示器上的app的用户界面对硬件相关功能的选择，或者是对移动设备104的一个或更多个按钮的致动，这将由app 116的ui服务部件接收。该用户输入例如可以是对如上所讨论的摄像装置功能的选择。
51.与特定用户输入相关的命令和参数由ui服务部件提供给包含在app116中的相关硬件服务模块。在选择摄像装置功能例如“启用夜间模式”或“录制视频”的情况下，适当的命令和参数被提供给app硬件服务模块，例如摄像装置服务模块202，如操作504中所示。
52.在app硬件服务模块例如摄像装置服务模块202接收到适当的命令和参数时，在操作506处，app硬件服务模块向硬件集成代码模块例如集成代码126提供相关命令和参数，该硬件集成代码模块特定于移动设备所属的产品的型号或系列，并且对特定oem而言唯一。
53.在由硬件集成代码模块接收到适当的命令和参数时，在操作508处，硬件集成代码模块在508处确定硬件相关功能是否可以由提供了移动设备104的oem所提供的sdk处理。在硬件相关功能可以由oem所提供的sdk(例如，oem sdk 128)处理的情况下，在操作510处向sdk提供相关命令和参数。在硬件相关功能不能由oem所提供的sdk(例如oem sdk 128)处理的情况下，在操作514处向操作系统硬件抽象层例如硬件抽象层130提供相关命令和参数。
54.在操作510处由oem sdk接收到相关命令和参数时，在操作512处，oem sdk使用在oem sdk中实施的硬件相关功能的oem特定定制实现来执行所请求的硬件相关功能。
55.在操作516处由硬件抽象层接收到相关命令和参数时，硬件抽象层在操作512处使用在硬件抽象层中实施的硬件相关功能的常规或标准实现来执行所请求的硬件相关功能。
56.图6是示出提供共享存储库以用于在共享存储库中开发硬件api框架以及用于提供在移动设备上运行的app的定制版本的方法的流程图。
57.该方法在操作602处开始，其中app开发者在操作602处创建和定义共享代码存储库，例如集成代码存储库108。对共享代码存储库的访问受到授权oem和app开发者的登录要求和安全设置的限制。
58.然后，在操作604处，app开发者在共享代码存储库内创建oem特定实现代码存储库，例如在集成代码存储库108内创建oem 1实现存储库122、oem 2实现存储库124等。对特定的oem特定实现代码存储库的读/写访问受到app开发者和特定oem的登录要求和安全设置的限制。
59.同样在操作604中，app开发者在操作604处在共享代码存储库内创建共享api库，例如在集成代码存储库108内创建api存储库120。oem受到对api存储库120的只读访问的安全设置和登录要求的限制，而app开发者具有读/写访问权限。
60.然后，在操作606处，app开发者将在app的通用版本中使用的硬件功能api上传到共享api存储库，由所有授权oem进行只读访问。
61.然后，在操作608处，各个oem下载并定制api以生成定制oem集成代码118，该oem集成代码118然后被上传到与特定oem对应的实现代码存储库或者上传到app开发者代码存储库，例如app开发者代码存储库110。
62.然后在操作610处，由app开发者查阅定制oem集成代码，并且如果适当，则批准定制oem集成代码。然后在操作612处将经批准的oem集成代码上传到app商店112。oem集成代码包括各种标识符，例如app116、移动设备104、操作系统等的标识，这些标识符允许app 116向app商店112标识oem集成代码的相关版本。将认识到的是，单个app 116可以在由若干不同的oem提供的不同移动设备上运行，并且因此，可以存在可以与app 116一起使用的若干不同的经批准的oem集成代码版本。
63.响应于用户请求，移动设备104然后在操作614处从app商店112下载并安装app 116。然后，app 116在操作616处查询移动设备104以获得标识信息。然后，app 116在操作618处使用在操作616处获得的标识信息来查询app商店112，以确定定制集成代码是否可用于app 116与移动设备104的特定组合。如果定制集成代码可用于app 116与移动设备104的特定组合，则app 116在操作620处下载并且并入定制集成代码126，该定制集成代码126然后由上述app 116使用，如参照图1至图5所描述的那样。
64.机器架构
65.图7是机器700的图解表示，在该机器内可以执行用于使机器700执行本文中讨论的方法中的任何一种或更多种的指令710(例如，软件、程序、应用、小程序、app或其他可执行代码)。例如，指令710可以使机器700执行本文中描述的方法中的任何一种或更多种。指令710将通用的非编程的机器700变换成被编程成以所描述的方式执行描述和示出的功能的特定机器700。机器700可以作为独立设备操作或者可以耦接(例如，联网)至其他机器。在
联网的部署中，机器700可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器700可以包括但不限于：服务器计算机、客户端计算机、个人计算机(pc)、平板计算机、膝上型计算机、上网本、机顶盒(stb)、个人数字助理(pda)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能电器)、其他智能设备、web装置、网络路由器、网络交换机、网络桥接器或者能够顺序地或以其他方式执行指定要由机器700采取的动作的指令710的任何机器。此外，虽然示出了仅单个机器700，但是术语“机器”也应当被视为包括单独或联合执行指令710以执行本文中讨论的方法中的任何一种或更多种的机器的集合。例如，机器700可以包括移动设备104或者形成sdk服务器系统的一部分的若干服务器设备中的任何一个。在一些示例中，机器700还可以包括客户端和服务器系统两者，其中在服务器侧执行特定方法或算法的某些操作，并且在客户端侧执行特定方法或算法的某些操作。
66.机器700可以包括可以被配置成经由总线740彼此通信的处理器704、存储器706和输入/输出i/o部件638。在示例中，处理器704(例如，中央处理单元(cpu)、精简指令集计算(risc)处理器、复杂指令集计算(cisc)处理器、图形处理单元(gpu)、数字信号处理器(dsp)、专用集成电路(asic)、射频集成电路(rfic)、另一处理器或其任何合适的组合)可以包括例如执行指令710的处理器708和处理器712。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令的两个或更多个独立的处理器(有时被称为“核”)。尽管图7示出了多个处理器704，但是机器700可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者其任何组合。
67.存储器706包括处理器704可经由总线740访问的主存储器714、静态存储器716和存储单元718。主存储器706、静态存储器716和存储单元718存储实现本文中描述的方法或功能中的任何一个或更多个的指令710。指令710还可以在其被机器700执行期间完全地或部分地驻留在主存储器714内、在静态存储器716内、在存储单元718内的机器可读介质720内、在处理器704中的至少之一内(例如，在处理器的缓存存储器内)、或其任何合适的组合。
68.i/o部件702可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量结果等的各种部件。特定机器中包括的特定i/o部件702将取决于机器的类型。例如，便携式机器例如移动电话可以包括触摸输入设备或其他这样的输入机构，而无头服务器机器将不太可能包括这样的触摸输入设备。将认识到，i/o部件702可以包括图7中未示出的许多其他部件。在各种示例中，i/o部件702可以包括用户输出部件726和用户输入部件728。用户输出部件726可以包括视觉部件(例如，诸如等离子显示面板(pdp)、发光二极管(led)显示器、液晶显示器(lcd)、投影仪或阴极射线管(crt)的显示器)、声学部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号生成器等。用户输入部件728可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触感输入部件(例如，物理按钮、提供触摸或触摸姿势的位置和力的触摸屏、或其他触感输入部件)、音频输入部件(例如，麦克风)等。
69.在另外的示例中，i/o部件702可以包括生物计量部件730、运动部件732、环境部件
734、或位置部件736以及各种其他部件。例如，生物计量部件730包括用于检测表达(例如，手表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人(例如，声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件732包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)。
70.环境部件734包括例如：一个或更多个摄像装置(具有静止图像/照片和视频能力)、照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。
71.关于摄像装置，移动设备104可以具有摄像装置系统，该摄像装置系统包括例如移动设备104的前表面上的前摄像装置和移动设备104的后表面上的后摄像装置。前摄像装置可以例如用于捕获移动设备104的用户的静止图像和视频(例如，“自拍”)，然后可以用上述增强数据(例如，过滤器)对该静止图像和视频进行增强。例如，后摄像装置可以用于以更常规的摄像装置模式捕获静止图像和视频，这些图像类似地用增强数据进行增强。除了前摄像装置和后摄像装置之外，移动设备104还可以包括用于捕获360
°
照片和视频的360
°
摄像装置。
72.此外，移动设备104的摄像装置系统可以包括双后摄像装置(例如，主摄像装置以及深度感测摄像装置)，或者甚至在移动设备104的前后侧上包括三重、四重或五重后摄像装置配置。例如，这些多个摄像装置系统可以包括广角摄像装置、超广角摄像装置、长焦摄像装置、微距摄像装置和深度传感器。
73.位置部件736包括位置传感器部件(例如，gps接收器部件)、海拔传感器部件(例如，检测气压的高度计或气压计，根据气压可以得到海拔)、取向传感器部件(例如，磁力计)等。
74.可以使用各种技术来实现通信。i/o部件702还包括通信部件738，该通信部件可操作以经由相应的耦接或连接将机器700耦接至网络722或设备724。例如，通信部件738可以包括网络接口部件或另一合适的设备以与网络722对接。在其他示例中，通信部件738可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(nfc)部件、部件(例如，低能耗)、部件、以及用于经由其他模态提供通信的其他通信部件。设备724可以是其他机器或各种外围设备中的任何外围设备(例如，经由usb耦接的外围设备)。
75.此外，通信部件738可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件738可以包括射频识别(rfid)标签阅读器部件、nfc智能标签检测部件、光学阅读器部件(例如，用于检测诸如通用产品代码(upc)条形码的一维条形码、诸如快速反应(qr)码、aztec码、数据矩阵、dataglyph、maxicode、pdf417、超码(ultra code)、ucc rss-2d条形码的多维条形码和其他光学码的光学传感器)或声学检测部件(例如，用于识别标记的音频信号的麦克风)。另外，可以经由通信部件738得出各种信息，例如经由因特网协议(ip)地理定位的位置、经由信号三角测量的位置、经由检测可以指示特定位置的nfc信标信号
的位置等。
76.各种存储器(例如，主存储器714、静态存储器716以及处理器704的存储器)以及存储单元718可以存储由本文中描述的方法或功能中的任何一个或更多个使用或实施本文中描述的方法或功能中的任何一个或更多个的一组或更多组指令和数据结构(例如，软件)。这些指令(例如，指令710)在由处理器704执行时使各种操作实现所公开的示例。
77.可以经由网络接口设备(例如，通信部件738中包括的网络接口部件)，使用传输介质并且使用若干公知的传输协议中的任何一种传输协议(例如，超文本传输协议(http))，通过网络722来发送或接收指令710。类似地，可以使用传输介质经由至设备724的耦接(例如，对等耦接)来发送或接收指令710。
78.软件架构
79.图8是示出软件架构804的框图800，该软件架构可以安装在本文中描述的设备中的任何一个或更多个上。软件架构804由硬件例如包括处理器820、存储器826和i/o部件838的机器802支持。在该示例中，软件架构804可以被概念化为层的堆栈，在该层的堆栈中，每个层提供特定的功能。软件架构804包括诸如操作系统812、库810、框架808和应用806的层。在操作上，应用806通过软件堆栈来激活api调用850并响应于api调用850来接收消息852。
80.操作系统812管理硬件资源并提供公共服务。操作系统812包括例如内核814、服务816和驱动器822。内核814充当硬件层与其他软件层之间的抽象层。例如，内核814提供存储器管理、处理器管理(例如，调度)、部件管理、联网和安全设置以及其他功能。服务816可以为其他软件层提供其他公共服务。驱动器822负责控制底层硬件或与底层硬件对接。例如，驱动器822可以包括显示驱动器、摄像装置驱动器、或低功耗驱动器、闪存驱动器、串行通信驱动器(例如，usb驱动器)、驱动器、音频驱动器、电源管理驱动器等。
81.库810提供由应用806使用的公共低级基础设施。库810可以包括系统库818(例如，c标准库)，该系统库提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外，库810可以包括api库824，例如媒体库(例如，用于支持各种媒体格式的呈现和操纵的库，所述各种媒体格式例如运动图像专家组-4(mpeg4)、高级视频编码(h.264或avc)、运动图像专家组层-3(mp3)、高级音频编码(aac)、自适应多速率(amr)音频编解码器、联合图像专家组(jpeg或jpg)或便携式网络图形(png))、图形库(例如，用于在显示器上的图形内容中以二维(2d)和三维(3d)渲染的opengl框架)、数据库库(例如，提供各种关系数据库功能的sqlite)、web库(例如，提供web浏览功能的webkit)等。库810还可以包括各种其他库828，以向应用806提供许多其他api。
82.框架808提供由应用806使用的公共高级基础设施。例如，框架808提供各种图形用户界面(gui)功能、高级资源管理以及高级位置服务。框架808可以提供可以由应用806使用的广泛的其他api，其中的一些api可以特定于特定的操作系统或平台。
83.在示例中，应用806可以包括家庭应用836、联系人应用830、浏览器应用832、书籍阅读器应用834、位置应用842、媒体应用844、消息收发应用846、游戏应用848和诸如第三方应用840的各种各样的其他应用。应用806是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的一个或更多个应用806，编程语言例如面向对象的编程语言(例如，objective-c、java或c++)或过程编程语言(例如，c语言或汇编语言)。在特定示
例中，第三方应用840(例如，由除了特定平台的供应商之外的实体使用android
tm
或ios
tm
软件开发工具包(sdk)开发的应用)可以是在诸如ios
tm
、android
tm
、phone的移动操作系统或其他移动操作系统上运行的移动软件。在该示例中，第三方应用840可以激活由操作系统812提供的api调用850以有助于本文中描述的功能。
84.术语表
[0085]“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这样的指令的通信。可以使用传输介质经由网络接口设备来通过网络发送或接收指令。
[0086]“客户端设备”是指与通信网络对接以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(pda)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
[0087]“通信网络”是指网络的一个或更多个部分，该网络可以是自组织网络、内联网、外联网、虚拟专用网络(vpn)、局域网(lan)、无线lan(wlan)、广域网(wan)、无线wan(wwan)、城域网(man)、因特网、因特网的一部分、公共交换电话网(pstn)的一部分、普通老式电话服务(pots)网络、蜂窝电话网络、无线网络、网络、其他类型的网络或者两个或更多个这样的网络的组合。例如，网络或网络的一部分可以包括无线网络或蜂窝网络，并且耦接可以是码分多址(cdma)连接、全球移动通信系统(gsm)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接可以实现各种类型的数据传输技术中的任何数据传输技术，例如单载波无线电传输技术(1xrtt)、演进数据优化(evdo)技术、通用分组无线电服务(gprs)技术、增强数据速率gsm演进(edge)技术、包括3g的第三代合作伙伴计划(3gpp)、第四代无线(4g)网络、通用移动电信系统(umts)、高速分组接入(hspa)、全球微波接入互操作性(wimax)、长期演进(lte)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
[0088]“部件”是指具有以下边界的设备、物理实体或逻辑，该边界由功能或子例程调用、分支点、api或者对特定处理或控制功能提供分区或模块化的其他技术定义。部件可以经由其接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的经封装的功能硬件单元，并且可以是通常执行相关功能中的特定功能的程序的一部分。部件可以构成软件部件(例如，在机器可读介质上实施的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例实施方式中，可以通过软件(例如，应用或应用部分)将一个或更多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如，处理器或处理器组)配置为操作以执行本文中描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如，硬件部件可以包括被永久地配置成执行某些操作的专用电路系统或逻辑。硬件部件可以是例如现场可编程门阵列(fpga)或专用集成电路(asic)的专用处理器。硬件部件还可以包括通过软件临时配置成执行某些操作的可编程逻辑或电路系统。例如，硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置，硬件部件就变成被唯一地定制成执行
所配置的功能的特定机器(或机器的特定部件)，而不再是通用处理器。将认识到，可以出于成本和时间考虑来决定机械地、在专用且永久配置的电路系统中还是在临时配置(例如，通过软件配置)的电路系统中实现硬件部件。因此，短语“硬件部件”(或者“硬件实现的部件”)应当被理解成包含有形实体，即被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)成以某种方式操作或者执行本文中描述的某些操作的实体。考虑硬件部件被临时配置(例如，被编程)的实施方式，无需在任一时刻处对硬件部件中的每一个进行配置或实例化。例如，在硬件部件包括通过软件配置成变成专用处理器的通用处理器的情况下，该通用处理器可以在不同时间处分别被配置为不同的专用处理器(例如，包括不同的硬件部件)。软件相应地配置一个或多个特定处理器以例如在一个时刻处构成特定硬件部件，并且在不同的时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此，描述的硬件部件可以被认为通信地耦接。在同时存在多个硬件部件的情况下，可以通过在两个或更多个硬件部件之间或之中(例如，通过适当的电路和总线)的信号传输来实现通信。在其中多个硬件部件在不同时间处被配置或被实例化的实施方式中，可以例如通过将信息存储在多个硬件部件访问的存储器结构中并且在该存储器结构中检索信息来实现这样的硬件部件之间的通信。例如，一个硬件部件可以执行操作，并且将该操作的输出存储在其通信地耦接至的存储器设备中。然后，其他硬件部件可以在随后的时间处访问存储器设备以检索和处理存储的输出。硬件部件还可以发起与输入设备或输出设备的通信，并且可以对资源进行操作(例如，信息的集合)。本文中描述的示例方法的各种操作可以至少部分地由临时地被配置(例如，由软件)或永久地被配置成执行相关操作的一个或更多个处理器来执行。无论是临时地被配置还是永久地被配置，这样的处理器可以构成操作以执行本文中描述的一个或更多个操作或功能的处理器实现的部件。如本文中使用的，“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地，本文中描述的方法可以至少部分地由处理器实现，其中特定的一个或多个处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或更多个处理器820或处理器实现的部件来执行。此外，一个或更多个处理器还可以操作成支持“云计算”环境中的相关操作的执行或者操作为“软件即服务”(saas)。例如，操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，其中这些操作能够经由网络(例如，因特网)并且经由一个或更多个适当的接口(例如，api)进行访问。某些操作的执行可以分布在处理器之间，不是仅驻留在单个机器内，而是跨多个机器被部署。在一些示例实施方式中，处理器或处理器实现的部件可以位于单个地理位置中(例如，在家庭环境、办公室环境或服务器群内)。在其他示例实施方式中，处理器或处理器实现的部件可以跨多个地理位置分布。
[0089]“计算机可读存储介质”是指机器存储介质和传输介质两者。因此，这些术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物，并且可以在本公开内容中可互换地使用。
[0090]“机器存储介质”是指存储可执行指令、例程和数据的单个或多个存储设备和介质(例如，集中式或分布式数据库，以及相关联的缓存和服务器)。因此，术语应当被视为包括但不限于固态存储器以及光学和磁介质，包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和设备存储介质的具体示例包括：非易失性存储器，包括例如半导体存储器设备，例如可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、
fpga和闪存设备；磁盘，例如内部硬盘和可移除盘；磁光盘；以及cd-rom和dvd-rom盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物，并且在本公开内容中可以互换使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质，所述载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
[0091]“非暂态计算机可读存储介质”是指能够存储、编码或携载由机器执行的指令的有形介质。
[0092]“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以有助于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以将信息编码在信号中的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物，并且可以在本公开内容中互换使用。

技术特征：
1.一种在包括一个或更多个处理器的计算设备中处理硬件请求的方法，包括：从应用服务模块接收对硬件相关功能的请求；确定所述硬件相关功能是否能够由oem特定sdk提供；基于确定所述硬件相关功能能够由oem特定sdk提供，向所述oem特定sdk提供与所述硬件相关功能相关的命令和参数；以及基于确定所述硬件相关功能不能由oem特定sdk提供，向操作系统硬件抽象层提供与所述硬件相关功能相关的命令和参数。2.根据权利要求1所述的方法，其中，所述确定由下载到oem特定硬件设备的定制库执行。3.根据权利要求1的方法，其中，在所述计算设备的操作系统中默认支持所述硬件相关功能，并且对所述硬件相关功能的请求是默认请求，所述方法还包括：向所述oem特定sdk提供与所述默认请求相关的命令和参数。4.根据权利要求2的方法，其中，所述应用服务模块被包含在非oem特定的应用的一部分中。5.一种提供针对包括一个或更多个处理器的特定计算设备定制的应用的方法，包括：由所述特定计算设备下载所述应用的第一版本，以用于在所述特定计算设备上执行；由所述应用查询所述特定计算设备，以获得标识所述特定计算设备的信息；以及由在所述特定计算设备上执行的所述应用下载定制硬件集成代码，以用于当在所述特定计算设备上执行时与所述应用一起使用。6.根据权利要求5所述的方法，其中，所述定制硬件集成代码特定于特定oem或特定oem提供的设备。

技术总结
一种在包括一个或更多个处理器的计算设备中处理硬件请求的方法，包括：从应用服务模块接收对硬件相关功能的请求；确定硬件相关功能是否能够由OEM特定SDK提供；基于确定硬件相关功能能够由OEM特定SDK提供，向OEM特定SDK提供与硬件相关功能相关的命令和参数；以及基于确定硬件相关功能不能由OEM特定SDK提供，向操作系统硬件抽象层提供与硬件相关功能相关的命令和参数。命令和参数。命令和参数。


技术研发人员：刘纬经 马向英 布伦特
受保护的技术使用者：斯纳普公司
技术研发日：2020.12.10
技术公布日：2023/8/24