包括图像传感器的电子设备及其操作方法与流程

1.本公开涉及具有图像传感器的电子设备，并且更具体地，涉及用于在包括图像传感器的电子设备中执行自动聚焦功能的技术。


背景技术：

2.随着对高分辨率模式的要求，已经开发了通过使用图像传感器来改善聚焦性能的技术。由于对相机安装结构的限制，已经开发了减小所得像素尺寸并增加所得像素数量的图像传感器。根据这种趋势，已经提出了减小像素尺寸的方法。具体而言，基于对具有高聚焦性能而非简单的高像素模式的图像传感器的最新需求，已经开发了能够进行相位差检测的像素结构。
3.同时，根据现有技术的自动聚焦(af)方法，具有2
×
1像素结构的两个光电二极管(pd)被设置在单个微镜头下方，并且关于左侧数据和右侧数据被分类，从而执行自动聚焦功能，使得参考两者之间的相位差进行聚焦。然而，随着pd尺寸的减小，对能够具有高分辨率的结构的需求日益增加，并且已经提出使用具有2
×
2像素结构的四个pd来代替2
×
1结构，以便共享单个微镜头。在最近的图像传感器中需要这种方法，因为除了高分辨率的优点之外，还可以获得左右之间和上下之间的相位差。


技术实现要素：

4.技术问题
5.在通过一个浮置扩散(fd)节点共享四个pd的4pd结构的情况下，四个pd中的每一个都需要被读出一次，并且已经读出的pd值不能被再次冗余地读出。
6.为了克服这些限制，模数转换(adc)的数量增加，使得通过使用关于左、右、上和下的数据来检测每个视差(disparity)。在这种情况下，帧速率可能受到影响，从而使得快速图像数据传输变得困难。
7.然而，如果仅使用一个方向(例如，左和右或上和下)上的相位差，为防止这种帧速率损失，精度可能低于使用左、右、上和下之间的相位差的情况。
8.问题的解决方案
9.根据实施例的电子设备可以包括具有多个单位像素的图像传感器。每个单位像素包括至少四个pd。pd在第一方向和不同于第一方向的第二方向上彼此相邻设置。该电子设备还包括电连接到图像传感器的至少一个处理器。至少一个处理器被配置为在多个单位像素中的第一单位像素中通过读出包括在第一单位像素中的第一pd组和在第一方向上与第一pd组相邻的第一单位像素中的第二pd组，执行第一adc。至少一个处理器还被配置为通过读出在第二方向上与第一单位像素中的第一pd组相邻的第一单位像素中的第三pd组来执行第二adc，并且通过读出在第二方向上与第一单位像素中的第二pd组相邻的第一单位像素中的第四pd组来执行第三adc。至少一个处理器还被配置为基于第一adc、第二adc和第三adc的结果来检测第二方向上的第一相位差，并且基于第二adc和第三adc的结果来检测第
一方向上的第二相位差。
10.根据实施例的用于操作电子设备的方法可以包括：在电子设备的图像传感器中包括的多个单位像素中的第一单位像素中，通过读出第一单位像素中包括的第一pd组和在第一方向上与第一pd组相邻的第一单位像素中的第二pd组来执行第一adc，通过读出在第二方向上与第一单位像素中的第一pd组相邻的第一单位像素中的第三pd组来执行第二adc，第二方向垂直于第一方向，通过读出在第二方向上与第一单位像素中的第二pd组相邻的第一单位像素中的第四pd组来执行第三adc，基于执行第一adc、第二adc和第三adc的结果检测第二方向上的第一相位差，以及基于执行第二adc和第三adc的结果检测第一方向上的第二相位差。
11.发明的有益效果
12.根据本公开的各种实施例的电子设备和方法可以减少帧率损失，同时确保多个方向上的相位差，从而提高af性能。
13.可从本公开获得的有益效果不限于上述有益效果，并且本公开所属领域的技术人员将从以下描述中清楚地理解本文未提及的其他有益效果。
附图说明
14.从以下结合附图的描述中，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
15.图1示出了根据实施例的相机模块和电子设备的结构；
16.图2示出了根据实施例的电子设备的主要硬件元件；
17.图3是根据实施例的图像传感器的像素阵列的截面图；
18.图4是根据实施例的图像传感器的单位像素的电路图；
19.图5是示出根据实施例的由处理器执行的用于电子设备中的自动聚焦的操作的流程图；
20.图6a示出了在根据实施例的电子设备中当图像传感器包括包含具有2
×
2阵列的四个光电二极管(pd)的单位像素时执行adc；
21.图6b示出了在根据实施例的电子设备中当具有4
×
4阵列的图像传感器的16个光电二极管(pd)共享相同滤色器时执行adc；
22.图7示出了在根据各种实施例的电子设备中执行adc；
23.图8示出了在根据实施例的电子设备中相对于不同单位像素组以不同顺序读出像素；
24.图9是示出在根据实施例的电子设备中通过比较第一方向的可靠性和第二方向的可靠性来确定adc模式的流程图；
25.图10是示出根据实施例的基于电子设备中的致动器的位置的视差的图形；
26.图11是根据各种实施例的网络环境中的电子设备的框图；和
27.图12是示出根据各种实施例的相机模块的框图。
具体实施方式
28.图1示出了根据实施例的相机模块和电子设备的结构。
29.图1示意性地示出了根据实施例的相机模块180和安装有相机模块180的电子设备100的外部。使用移动设备(诸如，例如智能手机)示出和描述了图1的实施例，但是本领域技术人员将理解，该实施例可以应用于各种电子设备或移动设备中的任何安装有相机的电子设备。
30.参考图1，根据实施例，显示器110可以设置在电子设备100的前表面上。根据实施例，显示器110可以占据电子设备100的大部分前表面。显示器110和至少部分围绕显示器110的边缘的边框190区域可以设置在电子设备100的前表面上。显示器110可以包括平坦区域和从平坦区域向电子设备100的侧表面延伸的弯曲区域。图1所示的电子设备100是一个示例，并且各种实施例是可能的。例如，电子设备100的显示器110可以仅包括没有弯曲区域的平坦区域，或者可以仅在一个边缘包括弯曲区域，而不是在两个边缘都包括弯曲区域。此外，根据实施例，弯曲区域可以延伸到电子设备100的后表面，因此，电子设备100可以包括附加的平坦区域。
31.根据实施例，电子设备100还可以包括扬声器、接收器、前置相机161、接近传感器和主页(home)键。根据实施例的电子设备100可以设置有后盖150，同时与电子设备的机身集成。在另一个实施例中，后盖150可以具有这样的形状，其中后盖150可从电子设备100的机身上拆下，以便允许更换电池。后盖150可以被称为电池盖或后表面盖。
32.根据实施例，用于识别用户指纹的指纹传感器171可以设置在显示器110的第一区170中。指纹传感器171可以设置在显示器110下面的层上，因此，用户不会看到。可替换地，指纹传感器171可以被设置成难以看到。此外，除指纹传感器171之外，可以在显示器110的部分区中设置用于用户/生物特征认证的附加传感器。在另一个实施例中，用于用户/生物特征认证的传感器可以设置在边框190的一个区中。例如，用于虹膜认证的红外(ir)传感器可以被设置为通过显示器110的一个区暴露或者通过边框190的一个区暴露。
33.根据实施例，前置相机161设置在电子设备100的前表面上的第二区160中。在图1的实施例中，示出了通过显示器110的一个区域暴露前置相机161。然而，在另一个实施例中，前置相机161可以通过边框190暴露。在另一实施例中(未示出)，显示器110可以在第二区160的后表面中包括音频模块、传感器模块(例如，传感器163)、相机模块(例如，前置相机161)和发光元件(未示出)中的至少一个。例如，相机模块可以设置在电子设备100的前表面和/或侧表面中，以便面对前表面和/或侧表面。例如，前置相机161可以是不通过第二区160可视地暴露的显示器下相机(under-display camera，udc)。
34.根据实施例，电子设备100可以包括至少一个前置相机161。例如，电子设备100可以具有两个前置相机，包括第一前置相机和第二前置相机。根据实施例，第一前置相机和第二前置相机可以是具有相同规格(例如，像素)的相同类型的相机。然而，在另一实施例中，第一前置相机和第二前置相机可以被实现为具有不同规格的不同相机。电子设备100可以通过两个前置相机支持与双相机相关的功能(例如，3d图像捕获、af等)。对前置相机的描述可以等同或类似地适用于电子设备100的后置相机。
35.根据实施例，电子设备100还可以包括传感器163或用于辅助图像捕获的各种类型的硬件，诸如闪光灯。例如，电子设备100可以包括用于感测对象(subject)和电子设备100之间的距离的距离传感器(例如，飞行时间(tof)传感器)。距离传感器可以被设置为与前置相机161和/或后置相机分离，或者可以被设置为包括在前置相机161和/或后置相机中。
36.根据实施例，至少一个物理键可以设置在电子设备100的侧部。例如，用于打开/关闭显示器110或者打开/关闭电子设备100的电源的第一功能键151可以相对于电子设备100的前表面设置在右边缘。根据实施例，用于控制电子设备100的音量或控制屏幕亮度的第二功能键152可以被布置在相对于电子设备100的前表面的左边缘。此外，附加的按钮或按键也可以设置在电子设备100的前表面或后表面上。例如，映射到特定功能的物理按钮或触摸按钮可以设置在前表面的边框190的下端区中。
37.图1所示的电子设备100对应于一个示例，并且该示例不限制应用本公开中公开的技术精神的设备的类型。例如，通过采用柔性显示器或铰链结构，本公开的技术精神可以应用于可以在横向或纵向方向上折叠的可折叠电子设备，或者可以滚动的可滚动电子设备，或者平板或笔记本pc。
38.参考图1，根据实施例的电子设备100可以包括相机模块180。相机模块180可以包括镜头组件111、外壳113、ir截止滤波器115、图像传感器120和图像信号处理器(isp)130。
39.根据实施例，在镜头组件111中，镜头的数量、布置、类型等可以根据前置相机161和后置相机而变化。基于镜头组件111的类型，前置相机161和后置相机可以具有不同的特性(例如，焦距、最大放大率)。镜头可以沿着光轴向前或向后移动，并且可以进行操作，使得可以通过改变焦距来捕获成为对象的目标物体的清晰图像。
40.根据实施例，相机模块180可以包括用于在光轴上对准的至少一个镜头的镜筒，以及用于围绕光轴在镜筒的圆周安装磁体和/或至少一个线圈的外壳113。根据实施例，相机模块180可以使用包括在外壳113中的至少一个线圈和/或磁体来执行由图像传感器120获取的图像的稳定功能(例如，光学图像稳定(ois))。例如，相机模块180可以在处理器的控制下控制通过至少一个线圈的电流的方向和/或强度，以控制电磁力，并且可以通过电磁力使用洛伦兹力来在基本垂直于光轴的方向上移动(或旋转)镜头组件111和包括镜头组件111的镜头载体的至少一部分。
41.根据实施例，相机模块180可以使用用于图像稳定功能的另一种方法。例如，相机模块180可以使用数字稳定(视频数字图像稳定(vdis))。根据实施例，相机模块180可以包括用于软件处理图像传感器120的数据输出值以执行图像稳定的方法。例如，相机模块180可以基于通过vdis的视频帧的差异(不同图像)提取运动矢量，并且可以通过图像处理增加锐度。此外，相机模块180可以基于通过vdis的视频提取运动矢量，以将除了电子设备100的摇动之外的对象本身的运动识别为摇动(shake)。
42.根据实施例，ir截止滤波器115可以设置在图像传感器120的顶面上。穿过镜头的对象的图像可以被ir截止滤波器115部分过滤，然后被图像传感器120感测。
43.根据实施例，图像传感器120可以设置在印刷电路板(pcb)140、印刷板组件(pba)、柔性pcb(fpcb)或刚性-柔性pcb(rfpcb)的顶面上。图像传感器120可以通过连接器电连接到连接到pcb 140的isp 130。fpcb或电缆可用作连接器。
44.根据实施例，图像传感器120可以是互补金属氧化物半导体(cmos)传感器。多个单独的像素集成在图像传感器120中，并且单独的像素中的每一个可以包括微镜头、滤色器和pd。单独的像素中的每一个是一种类型的光电探测器，并且可以将输入光转换成电信号。光电探测器可以包括pd。例如，图像传感器120可以通过镜头组件111放大接收的光通过光接收元件的光电效应生成的电流。例如，单独的像素中的每一个可以包括光电转换元件(或感
光元件(位置敏感检测器(psd))和多个晶体管。
45.根据实施例，通过镜头组件111入射的对象的光学信息可以由图像传感器120转换成电信号，并输入到isp 130中。
46.根据实施例，当isp 130和图像传感器120在物理上彼此分离时，基于适当标准的传感器接口可以将图像传感器120电连接到isp 130。
47.根据实施例，isp 130可以对电转换的图像数据进行图像处理。isp 130中的处理可以分为前isp(以下称为“预处理”)和isp链(以下称为“后处理”)。去马赛克处理(demosaicing process)之前的图像处理可以指预处理，去马赛克处理之后的图像处理可以指后处理。预处理过程可以包括3a处理、镜头阴影校正、边缘增强、坏像素校正和拐点校正(knee correction)。3a可以包括自动白平衡(awb)、自动曝光(ae)和af中的至少一个。后处理过程可以包括传感器指数(index)改变、调谐参数改变和屏幕比例调整中的至少一个。后处理过程可包括处理从图像传感器120输出的图像数据或从缩放器输出的图像数据的过程。isp 130可通过后处理过程调整图像的对比度、锐度、饱和度和抖动中的至少一个。调整对比度、锐度或饱和度的过程可以在yuv颜色空间中执行，抖动过程可以在红色、绿色和蓝色(grb)颜色空间中执行。预处理过程的一部分可以在后处理过程中执行，或者后处理过程的一部分可以在预处理过程中执行。此外，预处理过程的一部分可以作为后处理过程的一部分重复。
48.根据实施例，除了电子设备100的后表面之外，相机模块180还可以设置在前表面上。此外，为了提高相机的性能，电子设备100可以不仅包括一个相机模块180，还可以包括多个相机模块180。例如，电子设备100还可以包括用于视频通话或自拍的前置相机161。与后置相机模块相比，前置相机161可以支持相对少量的像素。与后置相机的相机模块180相比，前置相机161可以相对较小。
49.图2示出了根据实施例的电子设备的主要硬件元件。在描述图2时，可以简要描述上面参考图1描述的元件，或者可以省略对其的描述。
50.参照图2，根据实施例的电子设备100可以包括镜头组件111、图像传感器120、isp 130、处理器210、显示器110和存储器220。
51.根据实施例，在镜头组件111中，镜头的数量、布置、类型等可以根据前置相机和后置相机而变化。基于镜头组件的类型，前置相机和后置相机可以具有不同的特性(例如，焦距、最大放大率等)。
52.根据实施例，当isp 130与图像传感器120物理分离时，可以存在基于标准的传感器接口。
53.根据实施例，isp 130可以对电转换的图像数据进行图像处理。isp 130中的处理可以分为前isp(以下称为“预处理”)和isp链(以下称为“后处理”)。去马赛克处理之前的图像处理可以指预处理，去马赛克处理之后的图像处理可以指后处理。预处理过程可以包括3a处理、镜头阴影校正、边缘增强、坏像素校正和拐点校正。3a可以包括awb、ae和af中的至少一个。后处理过程可以包括传感器指数改变、调谐参数改变和屏幕比例调整中的至少一个。后处理过程可包括处理从图像传感器120输出的图像数据或从缩放器输出的图像数据的过程。isp 130可通过后处理过程调整图像的对比度、锐度、饱和度、抖动等。调整对比度、锐度或饱和度的过程可以在yuv颜色空间中执行，抖动调整过程可以在红色、绿色和蓝色
(grb)颜色空间中执行。isp 130可以将在执行后处理过程之后获得的图像数据发送到存储器220(例如，显示缓冲器)。显示器110可以在处理器210的控制下在显示屏上显示存储在存储器220中的图像数据。
54.根据实施例，处理器210可以执行/控制由电子设备100支持的各种功能。例如，处理器210可以执行以编程语言编写并存储在存储器220中的代码，以执行应用并控制各种类型的硬件。例如，处理器210可以执行支持拍摄功能并存储在存储器220中的应用。此外，处理器210可以执行相机模块(例如，图1的相机模块180)，并且可以配置和支持适当的拍摄模式，使得相机模块180可以执行用户期望的操作。
55.根据实施例，存储器220可以存储可以由处理器210执行的指令。存储器220可以被理解为包括临时存储数据的诸如随机存取存储器(ram)的元件和/或永久存储数据的诸如固态驱动器(ssd)的元件的概念。例如，处理器210可以调用存储在ssd中的指令来实现ram空间中的软件模块。在各种实施例中，可以包括各种类型的存储器，并且可以根据设备的用途采用其适当的类型。
56.根据实施例，与相机模块180相关联的应用可以存储在存储器220中。例如，相机应用可以存储在存储器220中。相机应用可以支持各种拍摄功能，例如摄影、运动图像拍摄、全景摄影和慢动作记录。
57.根据实施例，处理器210可以在显示器110上显示由处理器210执行的应用的执行屏幕，或者存储在存储器220中的诸如图像和/或运动图像的内容。此外，处理器210可以在显示器110上实时显示通过相机模块180获取的图像数据。
58.图3是根据实施例的图像传感器的像素阵列的截面图。
59.参照图3，图像传感器120可以包括多个单位像素310。根据实施例，单位像素310中的每一个可以包括至少四个pd 313。根据实施例，多个单位像素310可以位于与对应于光入射方向的z轴垂直的平面上。根据实施例，多个单位像素310的第一方向(例如，x轴方向)可以垂直于单位像素310的第二方向(例如，y轴方向)。根据实施例，第一方向(例如，x轴方向)和第二方向(例如，y轴方向)可以垂直于z轴方向。
60.根据实施例，单位像素(310)中的每一个可以包括微镜头311、滤色器312和多个pd 313或其组合。根据实施例，多个pd 313中的每一个也可以被称为光接收元件。根据实施例，多个pd 313也可以被称为多pd。
61.根据实施例，微镜头311可以聚焦入射到微镜头311上的光。根据实施例，微镜头311可以调整入射到微镜头311上的光的路径，使得光到达多个pd 313中的每一个。
62.根据实施例，滤色器312可以允许具有预定颜色(或颜色通道)的光通过。根据实施例，多个pd 313中的每一个的滤色器312可以根据预先指定的图案(例如，拜耳图案)允许具有预先指定的颜色(例如，红色、蓝色或绿色)中的一种颜色(例如，红色)的光穿过。根据实施例，滤色器312可以阻挡具有不同于预先指定的颜色(或颜色通道)的颜色的光。
63.根据实施例，多个pd 313的数量可以大于或等于4。根据实施例，多个pd 313中的每一个可以输出对应于入射光的值。根据实施例，多个pd 313中的每一个可以基于光电效应输出对应于入射光的值。根据实施例，多个pd 313中的每一个可以基于光电效应输出与入射光的强度(或照度)对应的值。
64.根据实施例，多个pd 313中的每一个可以基于光电效应生成基于入射光的强度
(或照度)的电荷。根据实施例，多个pd 313中的每一个可以输出基于产生的电荷量的电流。
65.图4是根据实施例的图像传感器的单位像素的电路图。
66.根据实施例，单位像素310可以包括多个pd 410、对应于pd 410的传输门(tg)420、fd节点430、源跟随器(sf)450、行选择(以下称为“sel”)460和复位门(rst)470。
67.根据实施例，单位像素310可以包括四个pd 410。例如，单位像素310可以包括具有2
×
2阵列的四个pd 410(例如，第一pd 411、第二pd 412、第三pd 413和第四pd 414)和连接到四个pd 410的至少一个fd节点430。例如，单位像素310可以暗指微镜头单元或滤色器单元。本文中，已经基于包括具有2
×
2阵列的四个pd 410的单位像素310进行了描述。然而，这是一个示例，本领域技术人员可以实施的各种实施例都是可能的。
68.根据实施例，当tg 420导通时，在曝光时间内累积在pd 410中的电荷可以移动到fd节点430。例如，当第一tg 421导通时，积累在第一pd 411中的电荷可以移动到fd节点430。根据实施例，图像传感器120可以获取对应于移动到fd节点430的电荷的模拟数据。例如，模拟数据可以包括关于在曝光时间内累积在pd 410中的电荷量的信息。
69.根据实施例，图像传感器120可以通过单位像素310获取模拟数据。例如，图像传感器120可以控制tg 420获取与通过至少一个pd 410获取的光量数据相对应的模拟数据。例如，图像传感器120可以在曝光时间内通过第一pd 411、第二pd 412、第三pd 413和第四pd 414获取光量数据。当图像传感器120导通第一tg 421时，图像传感器120可以基于通过第一pd 411获取的光量数据来获取模拟数据。当图像传感器120开启第一tg 421、第二tg 422、第三tg 423和第四tg 424时，图像传感器120可以基于通过第一pd 411、第二pd 412、第三pd 413和第四pd 414获取的光量数据来获取模拟数据。
70.根据实施例，图像传感器120可以基于通过四个pd 410之一获取的光量数据来获取模拟数据。在另一实施例中，图像传感器120还可以基于通过四个pd 410中的至少两个pd获取的光量数据来获取模拟数据。例如，还可以理解，图像传感器120通过单位像素310获取模拟数据。
71.根据实施例，存储在fd节点430中的电荷可以通过sf 450读出，并且可以作为电信号输出。根据实施例，图像传感器120可以通过adc对模拟数据进行数字转换，以获取数字数据。例如，可以理解，数字数据可以暗指图像数据。
72.根据实施例，图像传感器120可以将sel 460从关断状态切换到开启状态，以便输出特定行的图像数据。
73.根据实施例，图像传感器120可以执行相关双采样(cds)操作，以便降低噪声。例如，图像传感器120可以导通rst 470以重置fd节点430中累积的数据，并且可以读出重置之后剩余的重置数据。图像传感器120可以关断rst 470，然后将累积在pd 410中的电荷移动到fd节点430，并且可以读出移动到fd节点430的电荷以获取读出数据。
74.图5是示出根据实施例的由电子设备中用于af的处理器执行的操作的流程图。
75.参照图5，在510，根据实施例的处理器210可以在多个单位像素中的第一单位像素中通过读出第一单位像素中包括的第一pd组和在第一方向(例如，垂直方向)上与第一pd组相邻的第二pd组，执行第一adc。
76.根据实施例，在包括在图像传感器120中的多个单位像素中，第一pd组可以放置在第一位置，第二pd组可以在第一方向上与第一pd组相邻设置，第一方向是从第一pd组向下
315tr来执行第二adc。根据实施例，处理器210可以通过读出在第二方向上与第二pd 315bl相邻的第四pd 315br来执行第三adc。根据实施例，当存在多个单位像素时，执行第一adc、第二adc和第三adc的操作可以应用于所有单位像素。
85.参照图6b，根据实施例的图像传感器120可以通过单位像素310获取模拟数据。例如，图像传感器120可以通过pd 612获取模拟数据，pd 612包括在四个单位像素310中，并且共享相同的滤色器610。根据实施例，图像传感器120可以基于通过包括在四个单位像素310中的16个pd 612中的至少一个pd获取的光量数据来获取模拟数据。
86.根据实施例，在共享一个滤色器610的pd 612中，处理器210可以通过读出第一pd组和在第一方向(例如，垂直方向)上与第一pd组相邻的第二pd组来执行第一adc。根据实施例，处理器210可以通过读出在第二方向(例如，水平方向)上与第一pd组相邻的第三pd组来执行第二adc。根据实施例，处理器210可以通过读出在第二方向上与第二pd组相邻的第四pd组来执行第三adc。根据实施例，当存在多个单位像素时，执行第一adc、第二adc和第三adc的操作可以应用于所有单位像素。
87.图7示出了根据各种实施例在电子设备中执行adc。
88.参照图7，根据实施例的电子设备100的图像传感器120可以包括多个单位像素310。根据实施例，四个单位像素310可以共享相同的滤色器(例如，图6b中的滤色器610)。根据实施例，每个单位像素310可以包括至少四个pd。根据实施例，单位像素310可以包括第一pd 315tl、在第一方向(例如，垂直方向)上与第一pd 315tl相邻的第二pd 315bl、在第二方向(例如，水平方向)上与第一pd 315tl相邻的第三pd 315tr以及在第二方向上与第二pd 315bl相邻的第四pd 315br。
89.根据各个实施例的处理器210可以确定读出包括在单位像素310中的pd(例如，第一pd 315tl、第二pd 315bl、第三pd 315tr和第四pd 315br)的顺序。根据各个实施例，处理器210可以根据该顺序以第一模式、第二模式、第三模式和第四模式中的一种模式读出包括在单位像素310中的pd(315tl、315bl、315tr、315br)。
90.在第一模式中，根据实施例的处理器210可以通过读出第三pd 315tr和第四pd 315br来执行第一adc，可以通过读出第一pd 315tl来执行第二adc，并且可以通过读出第二pd 315bl来执行第三adc。
91.在第二模式中，根据实施例的处理器210可以通过读出第一pd 315tl和第二pd 315bl来执行第一adc，可以通过读出第三pd 315tr来执行第二adc，并且可以通过读出第四pd 315br来执行第三adc。
92.在第三模式中，根据实施例的处理器210可以通过读出第二pd 315bl和第四pd 315br来执行第一adc，可以通过读出第一pd 315tl来执行第二adc，并且可以通过读出第三pd 315tr来执行第三adc。
93.在第四模式中，根据实施例的处理器210可以通过读出第一pd 315tl和第三pd 315tr来执行第一adc，可以通过读出第二pd 315bl来执行第二adc，并且可以通过读出第四pd 315br来执行第三adc。
94.图8示出了根据实施例的对于电子设备中的不同单位像素组以不同顺序读出像素。
95.参照图8，在根据实施例的电子设备100中，图像传感器120可以包括多个单位像
素。根据实施例，在包括在多个单位像素中的第一单位像素810中的pd中，可以通过读出第一单位像素810的第一pd组315tl和第一单位像素810的第二pd组315bl来执行第一adc，第二pd组315bl在第一方向(例如，垂直方向)上与第一单位像素810的第一pd组315tl相邻，可以通过读出第一单位像素810的第三pd组315tr来执行第二adc，第三pd组315tr在第二方向(例如，水平方向)上与第一单位像素810的第一pd组315tl相邻，并且可以通过读出第一单位像素810的第四pd组315br来执行第三adc，第四pd组315br在第二方向(例如，水平方向)上与第一单位像素810的第二pd组315bl相邻。
96.根据实施例，在包括在多个单位像素中的第二单位像素820中的pd中，可以通过读取第二单位像素820的第一pd组325tl和第二单位像素820的第三pd组325tr来执行第四adc，第三pd组325tr在第二方向上与第二单位像素820的第一pd组325tl相邻，可以通过读出第二单位像素820的第二pd组325bl来执行第五adc，第二pd组325bl在第一方向上与第二单位像素820的第一pd组325tl相邻，并且可以通过读出第二单位像素820的第四pd组325br来执行第六adc，第四pd组325br在第二方向上与第二单位像素820的第二pd组325bl相邻。
97.根据实施例，在第一单位像素810中，处理器210可以基于执行第一adc、第二adc和第三adc的结果来检测第二方向上的第一相位差，并且可以基于执行第二adc和第三adc的结果来检测第一方向上的第二相位差。
98.根据实施例，在第二单位像素820中，处理器210可以基于执行第四adc、第五adc和第六adc的结果来检测第一方向上的第三相位差，并且可以基于执行第五adc和第六adc的结果来检测第二方向上的第四相位差。
99.根据实施例，处理器210可以基于第一相位差、第二相位差、第三相位差和第四相位差来执行af功能。
100.图9是示出根据实施例的通过比较电子设备中第一方向的可靠性和第二方向的可靠性来确定adc模式的方法的流程图。关于图9，重复或类似于上述内容的内容可以在此简要描述或省略。
101.参考图9，在901，根据实施例的处理器210可以从图像传感器120获取先前帧。根据实施例，处理器210可以接收图像传感器120先前获取的帧。
102.根据实施例，在操作903中，处理器210可以分析先前的图像帧以确定第一方向和第二方向上的可靠性。根据实施例，处理器210可以分析图像传感器120先前获取的帧，以确定第一方向(例如，垂直方向)和第二方向(例如，水平方向)上的可靠性。根据实施例，处理器210可以分别基于第一方向上的对比度信息和第二方向上的对比度信息来确定第一方向上的可靠性和第二方向上的可靠性。根据实施例，处理器210可以基于对比度信息确定对比度越大，可靠性越高。
103.根据实施例，在操作905中，处理器210可以确定第一方向上的可靠性是否高于第二方向上的可靠性。根据实施例，处理器210可以基于第一方向上的对比度信息和第二方向上的对比度信息来比较第一方向上的可靠性和第二方向上的可靠性。
104.根据实施例，当确定第一方向上的可靠性高于第二方向上的可靠性时，在操作907中，处理器210可以以第一模式执行读出。根据实施例，当确定第一方向(例如，垂直方向)上的对比度大于第二方向(例如，水平方向)上的对比度时，处理器210可以以第一模式执行读出。例如，第一模式可包括处理器210通过读出第一pd组和在第二方向上与第一pd组相邻的
第三pd组来执行第一adc，通过读出在第一方向上与第一pd组相邻的第二pd组来执行第二adc，通过读出在第二方向上与第二pd组相邻的第四pd组来执行第三adc，基于执行第一adc、第二adc和第三adc的结果来检测在第一方向上的相位差，并且基于执行第二adc和第三adc的结果来检测在第二方向上的相位差。
105.根据实施例，当没有确定第一方向上的可靠性高于第二方向上的可靠性时，在操作909中，处理器210可以以第二模式执行读出。根据实施例，当确定第一方向上的对比度小于第二方向上的对比度时，处理器210可以以第二模式执行读出。例如，第二模式可包括这样的模式，在该模式中处理器210可通过读出第一pd组和在第一方向上与第一pd组相邻的第二pd组来执行第一adc，通过读出在第二方向上与第一pd组相邻的第三pd组来执行第二adc，通过读出在第二方向上与第二pd组相邻的第四pd组来执行第三adc，基于执行第一adc、第二adc和第三adc的结果来检测在第二方向上的相位差，并且基于执行第二adc和第三adc的结果来检测在第一方向上的相位差。
106.根据实施例，在操作911中，处理器210可以输出当前图像帧。根据实施例，处理器210可基于以第一模式或第二模式执行读出的结果来输出当前图像帧。
107.图10是示出根据实施例的基于电子设备中致动器的位置的视差的图形。
108.参照图10，x轴表示致动器的位置，y轴表示基于致动器位置的视差。
109.根据实施例，isp 130可以将图像数据(rdata)存储在存储器220中，并且可以使用相位检测像素的位置信息(coor)来从存储在存储器220中的图像数据(rdata)中提取相位检测像素数据。根据实施例，isp 130可以根据相位检测像素数据计算每个相位检测像素的视差。
110.图10示出了当isp 130已经通过使用致动器在特定环境(例如，室内环境)中参考第一方向(例如，垂直方向)或第二方向(例如，水平方向)调整焦点位置时，在通过使用包括在图像处理器210的单位像素中的pd来检测相位差的情况下，示出基于致动器的位置的视差的实施例。例如，图10是示出当通过使用单位像素中包括的所有(全部)pd来检测相位差时以及当通过使用单位像素中包括的一半pd来检测相位差时基于致动器位置的视差的实施例。根据实施例，当isp 130通过使用包括在单位像素中的所有(全部)pd来检测相位差时的视差可以与当isp 130通过使用包括在单位像素中的一半pd来检测相位差时的视差相同，或者二者之间的差可以小于阈值。根据上述实施例，在通过执行三次adc来检测左、右、上和下相位差时和通过执行四次adc来检测左、右、上和下相位差时之间可能没有大的af性能差异。
111.图11是示出根据各种实施例的网络环境1100中的电子设备1101的框图。参照图11，网络环境1100中的电子设备1101可经由第一网络1198(例如，短距离无线通信网络)与电子设备1102进行通信，或者经由第二网络1199(例如，长距离无线通信网络)与电子设备1104或服务器1108进行通信。根据实施例，电子设备1101可经由服务器1108与电子设备1104进行通信。根据实施例，电子设备1101可包括处理器1120、存储器1130、输入设备1150、声音输出设备1155、显示设备1160、音频模块1170、传感器模块1176、接口1177、触觉模块1179、相机模块1180、电力管理模块1188、电池1189、通信模块1190、用户识别模块(sim)1196或天线模块1197。在一些实施例中，可从电子设备1101中省略所述部件中的至少一个(例如，显示设备1160或相机模块1180)，或者可将一个或更多个其它部件添加到电子设备
1101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块1176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示设备1160(例如，显示器)中。
112.处理器1120可运行例如软件(例如，程序1140)来控制电子设备1101的与处理器1120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器1120可将从另一部件(例如，传感器模块1176或通信模块1190)接收到的命令或数据加载到易失性存储器1132中，对存储在易失性存储器1132中的命令或数据进行处理，并将结果数据存储在非易失性存储器1134中。根据实施例，处理器1120可包括主处理器1121(例如，中央处理器(cpu)或应用处理器(ap))以及与主处理器1121在操作上独立的或者相结合的辅助处理器1123(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地，辅助处理器1123可被适配为比主处理器1121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器1123实现为与主处理器1121分离，或者实现为主处理器1121的部分。
113.在主处理器1121处于未激活(例如，睡眠)状态时，辅助处理器1123可控制与电子设备1101(而非主处理器1121)的部件之中的至少一个部件(例如，显示设备1160、传感器模块1176或通信模块1190)相关的功能或状态中的至少一些，或者在主处理器1121处于激活状态(例如，运行应用)时，辅助处理器1123可与主处理器1121一起来控制与电子设备1101的部件之中的至少一个部件(例如，显示设备1160、传感器模块1176或通信模块1190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器1123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器1123相关的另一部件(例如，相机模块1180或通信模块1190)的部分。
114.存储器1130可存储由电子设备1101的至少一个部件(例如，处理器1120或传感器模块1176)使用的各种数据。所述各种数据可包括例如软件(例如，程序1140)以及针对与其相关的命令的输入数据或输出数据。存储器1130可包括易失性存储器1132或非易失性存储器1134。
115.可将程序1140作为软件存储在存储器1130中，并且程序1140可包括例如操作系统(os)1142、中间件1144或应用1146。
116.输入设备1150可从电子设备1101的外部(例如，用户)接收将由电子设备1101的其它部件(例如，处理器1120)使用的命令或数据。输入设备1150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
117.声音输出设备1155可将声音信号输出到电子设备1101的外部。声音输出设备1155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
118.显示设备1160可向电子设备1101的外部(例如，用户)视觉地提供信息。显示设备1160可包括例如显示器、全息设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应一个的控制电路。根据实施例，显示设备1160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
119.音频模块1170可将声音转换为电信号，反之亦可。根据实施例，音频模块1170可经由输入设备1150获得声音，或者经由声音输出设备1155或与电子设备1101直接(例如，有线地)连接或无线连接的外部电子设备(例如，电子设备1102)的耳机输出声音。
120.传感器模块1176可检测电子设备1101的操作状态(例如，功率或温度)或电子设备1101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块1176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
121.接口1177可支持将用来使电子设备1101与外部电子设备(例如，电子设备1102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口1177可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
122.连接端1178可包括连接器，其中，电子设备1101可经由所述连接器与外部电子设备(例如，电子设备1102)物理连接。根据实施例，连接端1178可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
123.触觉模块1179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块1179可包括例如电机、压电元件或电刺激器。
124.相机模块1180可捕获静止图像或运动图像。根据实施例，相机模块1180可包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。
125.电力管理模块1188可管理对电子设备1101的供电。根据实施例，可将电力管理模块1188实现为例如电力管理集成电路(pmic)的至少部分。
126.电池1189可对电子设备1101的至少一个部件供电。根据实施例，电池1189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
127.通信模块1190可支持在电子设备1101与外部电子设备(例如，电子设备1102、电子设备1104或服务器1108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块1190可包括能够与处理器1120(例如，应用处理器(ap))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块1190可包括无线通信模块1192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块1194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络1198(例如，短距离通信网络，诸如蓝牙、无线保真(wi-fi)直连或红外数据协会(irda))或第二网络1199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，lan或广域网(wan)))与外部电子设备进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块1192可使用存储在用户识别模块1196中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络1198或第二网络1199)中的电子设备1101。
128.无线通信模块1192可以支持第四代(4g)网络之后的5g网络和下一代通信技术例如新的无线电(nr)接入技术。nr接入技术可以支持增强型移动宽带(embb)、大规模机器类型通信(mmtc)或超可靠低延迟通信(urllc)。无线通信模块1192可以支持高频带(例如，毫
米波带)以实现例如高数据传输速率。无线通信模块1192可以支持用于确保高频带上的性能的各种技术，例如波束成形、大规模多输入多输出(大规模mimo)、全维mimo(fd-mimo)、阵列天线、模拟波束成形或大规模天线。无线通信模块1192可以支持在电子设备1101、外部电子设备(例如电子设备1104)或网络系统(例如第二网络1199)中指定的各种要求。根据一个实施例，无线通信模块1192可以支持用于实现embb的峰值数据速率(例如20gbps或更高)、用于实现mmtc的损耗范围(例如164db或更低)、或者用于实现urllc的u平面延迟(例如，对于下行链路(dl)和上行链路(ul)中的每一个0.5ms或更低，或者1ms或更低的往返)。
129.天线模块1197可将信号或电力发送到电子设备1101的外部(例如，外部电子设备)或者从电子设备1101的外部(例如，外部电子设备)接收信号或电力。根据实施例，天线模块1197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，pcb)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块1197可包括多个天线。在这种情况下，可由例如通信模块1190(例如，无线通信模块1192)从所述多个天线中选择适合于在通信网络(诸如第一网络1198或第二网络1199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块1190和外部电子设备之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(rfic))可附加地形成为天线模块1197的一部分。
130.根据各种实施例，天线模块1197可以形成毫米波天线模块。根据一个实施例，毫米波天线模块可以包括pcb、设置在pcb的第一表面(例如，底表面)上或者与第一表面相邻并且能够支持指定高频带(例如，毫米波带)的rfic、以及设置在pcb的第二表面(例如，顶表面或者侧表面)上或者与第二表面相邻并且能够发送或者接收指定高频带的信号的多个天线(例如，阵列天线)。
131.上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
132.根据实施例，可经由与第二网络1199连接的服务器1108在电子设备1101和外部电子设备1104之间发送或接收命令或数据。电子设备1102和电子设备1104中的每一个可以是与电子设备1101相同类型的设备，或者是与电子设备1101不同类型的设备。根据实施例，将在电子设备1101运行的全部操作或一些操作可在外部电子设备1102、外部电子设备1104或服务器1108中的一个或更多个运行。例如，如果电子设备1101应该自动执行功能或服务或者应该响应于来自用户或另一设备的请求执行功能或服务，则电子设备1101可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子设备1101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子设备可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子设备1101。电子设备1101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。电子设备1101可以使用例如分布式计算或mec来提供超低延迟服务。在另一个实施例中，外部电子设备1104可以包括物联网(iot)设备。服务器1108可以是使用机器
学习和/或神经网络的智能服务器。根据实施例，外部电子设备1104或服务器1108可以包括在第二网络1199中。电子设备1101可以应用于基于5g通信技术或物联网相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
133.根据各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可包括例如便携式通信设备(例如，智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的实施例，电子设备不限于以上所述的那些电子设备。
134.应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
135.如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(asic)的形式来实现模块。
136.可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器1136或外部存储器1138)中的可由机器(例如，电子设备1101)读取的一个或更多个指令的软件(例如，程序1140)。例如，在处理器的控制下，所述机器(例如，电子设备1101)的处理器(例如，处理器1120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性存储介质”是有形设备，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
137.根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd-rom))的形式来发布计算机程序产品，或者可经由应用商店(例如，play store
tm
)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个
用户设备(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品(例如，可下载应用)中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。
138.根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
139.图12是示出根据各种实施例的相机模块1180的框图1200。参照图12，相机模块1180可包括镜头组件1210、闪光灯1220、图像传感器1230、图像稳定器1240、存储器1250(例如，缓冲存储器)或isp 1260。镜头组件1210可收集从将被拍摄图像的物体发出或反射的光。镜头组件1210可以包括一个或更多个镜头。根据实施例，相机模块1180可包括多个镜头组件1210。在这种情况下，相机模块1180可形成例如双相机、360度相机或球形相机。多个镜头组件1210中的一些可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件1210可以包括例如广角镜头或长焦镜头。
140.闪光灯1220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯1220可包括一个或更多个发光二极管(led)(例如，红绿蓝色(rgb)led、白色led、红外(ir)led或紫外(uv)led)或氙灯。图像传感器1230可通过将从物体发出或反射并经由镜头组件1210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器1230可包括从具有不同属性的图像传感器中选择的一个图像传感器(例如，rgb传感器、黑白(bw)传感器、ir传感器或uv传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器来实现包括在图像传感器1230中的每个图像传感器。
141.图像稳定器1240可沿特定方向移动图像传感器1230或包括在镜头组件1210中的至少一个镜头，或者响应于相机模块1180或包括相机模块1180的电子设备1101的移动来控制图像传感器1230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器1240可使用布置在相机模块1180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块1180或电子设备1101的这样的移动。根据实施例，可将图像稳定器1240实现为例如光学图像稳定器。
142.存储器1250可至少暂时地存储经由图像传感器1230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果由于快门时滞而导致图像捕捉延迟或者快速捕捉了多个图像，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器1250中，并且可经由显示设备1160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果
满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如isp 1260来获取和处理存储在存储器1250中的原始图像的至少一部分。根据实施例，可将存储器1250配置为存储器1130的至少一部分，或者可将存储器1250配置为独立于存储器1130进行操作的分离的存储器。
143.isp 1260可对经由图像传感器1230获取的图像或存储在存储器1250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3d)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，isp 1260可对包括在相机模块1180中的部件中的至少一个部件(例如，图像传感器1230)执行控制(例如，曝光时间控制或读出时序控制)。可将由isp 1260处理的图像存储回存储器1250以用于进一步处理，或者可将该图像提供给在相机模块1180之外的外部部件(例如，存储器1130、显示设备1160、电子设备1102、电子设备1104或服务器1108)。根据实施例，可将isp 1260配置为处理器1120的至少一部分，或者可将isp 1260配置为独立于处理器1120进行操作的分离的处理器。如果将isp 1260配置为与处理器1120分离的处理器，则可由处理器1120经由显示设备1160将由isp 1260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
144.根据实施例，电子设备1101可包括具有不同属性或功能的多个相机模块1180。在这种情况下，所述多个相机模块1180中的至少一个相机模块1180可形成例如广角相机，并且所述多个相机模块1180中的至少另一个相机模块1180可形成长焦相机。类似地，所述多个相机模块1180中的至少一个相机模块1180可形成例如前置相机，并且所述多个相机模块1180中的至少另一个相机模块1180可形成后置相机。
145.如上所述，根据实施例的电子设备(例如，图1中的电子设备100)可以包括图像传感器(例如，图2中的图像传感器120)，该图像传感器包括多个单位像素，每个单位像素包括至少四个光电二极管(pd)，pd在第一方向和不同于第一方向的第二方向上彼此相邻地设置，并且至少一个处理器电连接到图像传感器，其中，至少一个处理器在多个单位像素中的第一单位像素中，通过读出包括在第一单位像素中的第一pd组和在第一方向上与第一pd组相邻的第二pd组来执行第一模数转换器(adc)，通过读出在第二方向上与第一pd组相邻的第三pd组来执行第二adc，通过读出在第二方向上与第二pd组相邻的第四pd组来执行第三adc，基于执行第一adc、第二adc和第三adc的结果来检测在第二方向上的第一相位差，并且基于执行第二adc和第三adc的结果来检测在第一方向上的第二相位差。
146.根据实施例，至少一个处理器可以基于第一相位差和第二相位差来执行af功能。
147.根据实施例，单位像素中的每一个可以包括至少一个滤色器，该滤色器形成在各个单位像素中包括的至少四个pd上，并且可以包括至少一个微镜头，该微镜头形成在该至少一个滤色器上。
148.根据实施例，至少四个pd可以共享相同的滤色器和相同的微镜头。
149.根据实施例，单位像素中的每一个可以包括具有2
×
2阵列的四个pd和连接到四个pd的至少一个fd节点。
150.根据实施例，四个单位像素可以共享相同的滤色器。
151.根据实施例，至少一个处理器可以分析由图像传感器获取的帧，以将第一方向上的可靠性与第二方向上的可靠性进行比较，并且当基于比较的结果确定第二方向上的可靠
性高于第一方向上的可靠性时，可以执行第一adc、第二adc和第三adc。
152.当基于比较的结果确定第一方向上的可靠性较高时，至少一个处理器可以通过读出第一单位像素中包括的第一pd组和在第二方向上与第一pd组相邻的第三pd组来执行第四adc，并且可以通过读出在第一方向上与第一pd组相邻的第二pd组来执行第五adc，可以通过读出在第二方向上与第二pd组相邻的第四pd组来执行第六adc，可以基于第四adc、第五adc和第六adc的结果来检测在第一方向上的第三相位差，并且可以基于第五adc和第六adc的结果来检测在第二方向上的第四相位差。
153.根据实施例，可以分别基于第一方向上的对比度和第二方向上的对比度来确定第一方向上的可靠性和第二方向上的可靠性，并且至少一个处理器可以确定对比度越大，可靠性越高。
154.根据实施例，在单位像素中，第一pd组可以设置在第一位置，并且第一方向可以是从第一pd组向下的垂直方向。
155.根据实施例，在包括在多个单位像素中的第二单位像素中的pd中，至少一个处理器可以通过读出第二单位像素的第一pd组和在第二方向上与第二单位像素的第一pd组相邻的第二单位像素的第三pd组来执行第四adc，并且可以通过读出在第一方向上与第二单位像素的第一pd组相邻的第二单位像素的第二pd组来执行第五adc，可以通过读出在第二方向上与第二单位像素的第二pd组相邻的第二单位像素的第四pd组来执行第六adc，可以基于第四adc、第五adc和第六adc的结果来检测在第一方向上的第三相位差，并且可以基于执行第五adc和第六adc的结果来检测第二方向上的第四相位差，并且可以基于第一相位差、第二相位差、第三相位差和第四相位差来执行af功能。
156.根据实施例，第一方向可以垂直于第二方向。
157.如上所述，提供了一种用于操作电子设备的方法。在包括在电子设备的图像传感器中的多个单位像素中的第一单位像素中，通过读出包括在第一单位像素中的第一pd组和在第一方向上与第一pd组相邻的第一单位像素中的第二pd组来执行第一adc。通过读出在第二方向上与第一单位像素中的第一pd组相邻的第一单位像素中的第三pd组来执行第二adc。第二方向垂直于第一方向。通过读出在第二方向上与第一单位像素中的第二pd组相邻的第一单位像素中的第四pd组来执行第三adc。基于第一adc、第二adc和第三adc的结果检测第二方向上的第一相位差。基于第二adc和第三adc的结果检测第一方向上的第二相位差。
158.根据实施例的用于操作电子设备的方法可以包括基于第一相位差和第二相位差执行af功能的操作。
159.在根据实施例的用于操作电子设备的方法中，单位像素中的每一个可以包括形成在各个单位像素中包括的至少四个pd上的至少一个滤色器，并且可以包括形成在至少一个滤色器上的至少一个微镜头。
160.在根据实施例的用于操作电子设备的方法中，至少四个pd可以共享相同的滤色器和相同的微镜头。
161.在根据实施例的用于操作电子设备的方法中，单位像素中的每一个可以包括具有2
×
2阵列的四个pd和连接到四个pd的至少一个fd节点。
162.在根据实施例的用于操作电子设备的方法中，单位像素可以共享相同的滤色器。
163.根据实施例的用于操作电子设备的方法可以包括分析由图像传感器获取的帧以将第一方向上的可靠性与第二方向上的可靠性进行比较的操作，以及当基于比较结果确定第二方向上的可靠性高于第一方向上的可靠性时执行第一adc、第二adc和第三adc的操作。
164.根据实施例的用于操作电子设备的方法可以包括分析由图像传感器获取的帧以将第一方向上的可靠性与第二方向上的可靠性进行比较的操作，以及当基于比较的结果确定第一方向上的可靠性高于第二方向上的可靠性时，通过读出包括在第一单位像素中的第一pd组和在第二方向上与第一pd组相邻的第三pd组来执行第四adc，通过读出在第一方向上与第一pd组相邻的第二pd组来执行第五adc，以及通过读出在第二方向上与第二pd组相邻的第四pd组来执行第六adc，基于第四adc、第五adc和第六adc的结果检测第一方向上的第三相位差，并基于第五adc和第六adc的结果检测第二方向上的第四相位差的操作。
165.虽然已经参照本公开的某些实施例显示和描述了本公开，但是本领域技术人员将理解，在不脱离本公开的范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的范围不应被定义为限于实施例，而是应由所附权利要求及其等同物来定义。

技术特征：
1.一种电子设备，包括：图像传感器，包括多个单位像素，其中每个单位像素包括至少四个光电二极管(pd)，pd在第一方向和不同于第一方向的第二方向上彼此相邻设置；以及至少一个处理器，电连接到图像传感器，其中，所述至少一个处理器被配置为：在多个单位像素中的第一单位像素中，通过读出包括在第一单位像素中的第一pd组和在第一方向上与第一pd组相邻的第二pd组执行第一模数转换(adc)，通过读出在第二方向上与第一pd组相邻的第三pd组来执行第二adc；通过读出在第二方向上与第一单位像素中的第二pd组相邻的第四pd组来执行第三adc；基于第一adc、第二adc和第三adc的结果，检测第二方向上的第一相位差；和基于第二adc和第三adc的结果，检测第一方向上的第二相位差。2.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为基于第一相位差和第二相位差来执行自动聚焦功能。3.根据权利要求1所述的电子设备，其中，所述多个单位像素中的每一个包括至少一个滤色器，所述至少一个滤色器形成在各个单位像素中包括的至少四个pd上，并且包括至少一个微镜头，所述微镜头形成在所述至少一个滤色器上。4.根据权利要求3所述的电子设备，其中，所述至少四个pd被配置为共享相同的滤色器和相同的微镜头。5.根据权利要求1所述的电子设备，其中，所述多个单位像素中的每一个包括具有2
×
2阵列的四个pd，以及连接到所述四个pd的至少一个浮置扩散(fd)节点。6.根据权利要求5所述的电子设备，其中，所述多个单位像素被配置为共享相同的滤色器。7.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为：分析由所述图像传感器获取的帧，以比较第一方向上的可靠性和第二方向上的可靠性；和当基于比较的结果确定第二方向上的可靠性高于第一方向上的可靠性时，执行第一adc、第二adc和第三adc。8.根据权利要求7所述的电子设备，其中，所述至少一个处理器被配置为：当基于比较的结果确定第一方向上的可靠性较高时，通过读出包括在第一单位像素中的第一pd组和在第二方向上与第一pd组相邻的第三pd组来执行第四adc，通过读出在第一方向上与第一pd组相邻的第二pd组来执行第五adc，通过读出在第二方向上与第二pd组相邻的第四pd组来执行第六adc，基于第四adc、第五adc和第六adc的结果，检测第一方向上的第三相位差，以及基于第五adc和第六adc的结果，检测第二方向上的第四相位差。9.根据权利要求7所述的电子设备，其中，分别基于第一方向上的对比度和第二方向上的对比度来确定第一方向上的可靠性和第二方向上的可靠性，并且所述至少一个处理器被配置为确定对比度越大，可靠性越高。
10.根据权利要求1所述的电子设备，其中，在所述多个单位像素中，第一pd组设置在第一位置，并且第一方向是从第一pd组向下的垂直方向。11.根据权利要求1所述的电子设备，其中，在所述多个单位像素中的第二单位像素中包括的pd中，所述至少一个处理器被配置为：通过读出第二单位像素的第一pd组和在第二方向上与第二单位像素的第一pd组相邻的第二单位像素的第三pd组来执行第四adc，通过读出在第一方向上与第二单位像素的第一pd组相邻的第二单位像素的第二pd组来执行第五adc，通过读出在第二方向上与第二单位像素的第二pd组相邻的第二单位像素的第四pd组来执行第六adc，基于第四adc、第五adc和第六adc的结果，检测第一方向上的第三相位差，基于第五adc和第六adc的结果，检测第二方向上的第四相位差，以及基于第一相位差、第二相位差、第三相位差和第四相位差，执行自动聚焦功能。12.根据权利要求1所述的电子设备，其中，第一方向垂直于第二方向。13.一种用于操作电子设备的方法，包括：在包括在电子设备的图像传感器中的多个单位像素中的第一单位像素中，通过读出包括在第一单位像素中的第一pd组和在第一方向上与第一pd组相邻的第二pd组来执行第一模数转换(adc)；通过读出在第二方向上与第一pd组相邻的第三pd组来执行第二adc，第二方向垂直于第一方向；通过读出在第二方向上与第二pd组相邻的第四pd组来执行第三adc；基于第一adc、第二adc和第三adc的结果，检测第二方向上的第一相位差；以及基于第二adc和第三adc的结果，检测第一方向上的第二相位差。14.根据权利要求13所述的方法，包括：分析由图像传感器获取的帧，以比较第一方向上的可靠性和第二方向上的可靠性，以及当基于比较的结果确定第二方向上的可靠性较高时，执行第一adc、第二adc和第三adc。15.根据权利要求14所述的方法，包括：分析由图像传感器获取的帧，以比较第一方向上的可靠性和第二方向上的可靠性，以及当基于比较的结果确定第一方向上的可靠性较高时，通过读出包括在第一单位像素中的第一pd组和在第二方向上与第一pd组相邻的第三pd组来执行第四adc；通过读出在第一方向上与第一pd组相邻的第二pd组来执行第五adc；通过读出在第二方向上与第二pd组相邻的第四pd组来执行第六adc；基于第四adc、第五adc和第六adc的结果，检测第一方向上的第三相位差；以及基于第五adc和第六adc的结果，检测第二方向上的第四相位差。

技术总结
提供了一种方法和电子设备，其中，在图像传感器的第一单位像素中，通过读出第一光电二极管(PD)组和在第一方向上与第一PD组相邻的第二PD组来执行第一模数转换(ADC)。通过读出在第二方向上与第一PD组相邻的第三PD组来执行第二ADC。第二方向垂直于第一方向。通过读出在第二方向上与第二PD组相邻的第四PD组来执行第三ADC。基于第一ADC、第二ADC和第三ADC检测第二方向上的第一相位差。基于第二ADC和第三ADC检测第一方向上的第二相位差。三ADC检测第一方向上的第二相位差。三ADC检测第一方向上的第二相位差。


技术研发人员：文仁儿 朴宰亨 下川修一 尹汝倬 姜家王 金东秀
受保护的技术使用者：三星电子株式会社
技术研发日：2022.02.10
技术公布日：2023/10/8