焦点检测设备、摄像设备、焦点检测方法和存储介质与流程

1.本公开的一个方面涉及焦点检测设备和摄像设备。


背景技术：

2.传统上已知用于检测被摄体并进行焦点检测的焦点检测设备。日本特开(“jp”)2015-22058公开了一种用于基于所检测的被摄体的位置和大小来设置用于焦点检测的图像信号的读取位置和视野长度的焦点检测方法。jp2021-152600公开了一种用于避免在焦点检测区域偏离被摄体的情况下聚焦于背景而不是被摄体的现象(远近冲突(perspective conflict))的方法。jp2018-36366公开了一种用于进行控制以在拍摄图像中的被摄体是模糊(被摄体模糊)的情况下始终拍摄视角内的被摄体的图像稳定设备。
3.在针对作为jp 2018-36366中所公开的被摄体图像稳定对象的被摄体和作为jp 2015-22058和jp 2021-152600中所公开的焦点检测对象的被摄体进行不同控制的情况下，被摄体可能会偏离焦点检测区域。这是因为被摄体图像稳定消极地反映被摄体的转移以防止摄像质量降低，而焦点检测需要通过灵敏地响应于被摄体的转移来继续聚焦的控制。


技术实现要素：

4.本公开的一个方面提供了可以在进行被摄体图像稳定的同时进行高精度的焦点检测的焦点检测设备。
5.根据本发明的一个方面的焦点检测设备包括至少一个处理器以及耦接到该至少一个处理器的存储器，其中该存储器具有指令，所述指令在由处理器执行时，作为如下的单元进行操作：第一确定单元，其被配置为基于被摄体信息来确定图像稳定区域；以及第二确定单元，其被配置为基于所述被摄体信息来确定焦点检测区域，并且基于所述焦点检测区域来确定用于焦点检测的计算区域。所述第二确定单元基于所述图像稳定区域和所述焦点检测区域之间的关系来确定所述计算区域。具有上述焦点检测设备的摄像设备、与上述焦点检测设备相对应的焦点检测方法、以及存储有使计算机执行上述控制方法的程序的存储介质还构成本公开的另一方面。
6.通过参考附图对示例性实施例的以下说明，本发明的进一步特征将变得明显。在下文中，术语“单元”可以是指软件上下文、硬件上下文、或者软件和硬件上下文的组合。在软件上下文中，术语“单元”是指功能性、应用、软件模块、功能、例程、指令集或可以由可编程处理器(诸如微处理器、中央处理单元(cpu)或者特别设计的可编程装置或控制器等)执行的程序。存储器包含指令或程序，其中该指令或程序在由cpu执行时，使cpu进行与单元或功能相对应的操作。在硬件上下文中，术语“单元”是指硬件元件、电路、装配件、物理结构、系统、模块或子系统。术语“单元”可以包括机械、光学或电子组件或者其任意组合。术语“单元”可以包括有源组件(例如晶体管)或无源组件(例如电容器)。术语“单元”可以包括具有基板和其他材料层的半导体装置，该其他材料层具有各种导电浓度。术语“单元”可以包括可以执行存储在存储器中的程序以进行指定功能的cpu或可编程处理器。术语“单元”可以
包括由晶体管电路或任意其他切换电路实现的逻辑元件(例如，and(与)、or(或))。在软件和硬件上下文的组合中，术语“单元”或“电路”是指如上所述的软件和硬件上下文的任意组合。此外，术语“元件”、“装配件”、“组件”或“装置”也可以是指与封装材料集成或不集成的“电路”。
附图说明
7.图1是根据各个实施例的摄像设备的框图。
8.图2a和图2b是根据各个实施例的图像传感器中的单位像素单元(unit pixel cell)的前视图和单位像素单元的二维排列图。
9.图3a至图3c解释了在各个实施例中的使用图像传感器的焦点检测的原理。
10.图4是示出与根据各个实施例的摄像设备的焦点检测相关的操作的时序图。
11.图5a和图5b解释了根据各个实施例的被摄体检测单元所检测到的被摄体和被摄体检测信息。
12.图6是示出根据各个实施例的摄像设备的操作的流程图。
13.图7是示出根据各个实施例的图像稳定对象选择处理的流程图。
14.图8是示出根据各个实施例的被摄体的焦点检测计算区域的改变处理的流程图。
15.图9a至图9c解释了根据第一实施例的基于图像稳定区域和焦点检测区域之间的关系的焦点检测计算区域。
16.图10a和图10b解释了根据第二实施例的基于图像稳定区域和焦点检测区域之间的关系的焦点检测计算区域。
具体实施方式
17.现在将参考附图给出根据本公开的实施例的详细说明。
18.第一实施例
19.现在将参考图1给出基于本公开的第一实施例的摄像设备(焦点检测设备)100的说明。图1是根据本实施例的摄像设备100的框图。图1未示出与本实施例的特征不直接相关的块。
20.附图标记101表示包括光学透镜单元(摄像光学系统)、快门、孔径光阑(光圈)和透镜控制单元等的光学系统单元，并且通过将在下面描述的透镜驱动控制单元111来驱动和控制，该光学透镜单元包括用于提供调焦的调焦透镜。透镜驱动控制单元111根据将在下面描述的图像偏移量计算单元110所计算出的散焦量来输出用于光学系统单元101中所包括的调焦透镜的驱动信号。在本实施例中，摄像设备100与光学系统单元101一体化，但是本公开不限于本实施例，并且光学系统单元可以可附接到摄像设备且从摄像设备可拆卸。
21.图像传感器102是具有以二维矩阵排列的单位像素单元的光电转换元件，并且通过光学系统单元101中所包括的快门和孔径光阑来进行曝光控制。通过将在下面描述的图像传感器驱动控制单元114，将图像传感器102中的单位像素单元驱动到光学系统单元101所投影的成像圈(image circle)内的任意位置。
22.现在将参考图2a和图2b给出图像传感器102的配置的说明。图2a是图像传感器102中的单位像素单元200的前视图。图2b是单位像素单元200的二维排列图。如图2b所示，图像
传感器102具有以拜耳阵列重复排列的单位像素单元200。
23.如图2a所示，单位像素单元200具有微透镜2以及包括光电二极管(pd)的像素1a和1b。像素1a和1b是通过相同的微透镜2来接受入射光的分割pd。来自各个分割pd的输出可以通过其排列来提供瞳分割图像。下文中，像素1a所获得的图像(图像信号)将被称为a图像(a图像信号)，并且像素1b所获得的图像(图像信号)将被称为b图像(b图像信号)。
24.a/d转换器103将在模拟信号处理器(未示出)中通过模拟信号处理而产生并从图像传感器102输出的模拟电信号转换为数字电信号(像素信号)，并且将像素信号输出到拍摄单元104。模拟信号处理器包括用于去除传输线上的噪声的相关双采样(cds)电路和非线性放大电路等。拍摄单元104判断像素信号的有效时段和类型，并且将a图像和b图像的像素信号输出到数字信号处理器105、被摄体检测单元108、图像偏移量计算单元110和图像稳定量计算单元113。
25.数字信号处理器105针对以拜耳阵列输入的a图像和b图像进行分割像素之间的加法处理，并且进行以同步处理、伽玛处理和噪声降低处理为代表的数字信号处理。将已应用数字信号处理的图像数据转换为以jpeg为代表的压缩图像数据，并且输出到外部记录装置106以供记录。同步处理、伽玛处理、噪声降低处理和jpeg压缩的技术与本实施例不直接相关，并且将省略对其描述。
26.被摄体检测单元108检测被摄体，将被摄体信息添加到拍摄图像数据(像素信号)中，并且将拍摄图像数据输出到焦点检测计算区域选择单元109和图像稳定区域选择单元112。
27.现在将参考图5a和图5b给出被摄体检测单元108所检测到的被摄体和被摄体检测信息的说明。图5a解释了被摄体检测单元108所检测到的被摄体。图5b解释了被摄体检测信息。
28.图5a示出存在于视角内的两个被摄体。被摄体检测单元108向视角给出图5b所示的被摄体检测信息。这里，被摄体检测信息具有各个被摄体的索引、在先前帧中存在相同被摄体的情况下标记的索引、所检测的坐标(位置)、以及作为与宽度和高度有关的信息的大小。被摄体检测单元108分配各个被摄体的检测可靠性和被摄体类型。检测可靠性例如是使得面向背面或侧面的帧的可靠性低于正面面部的被摄体检测的可靠性的输出。被摄体类型信息包括诸如所检测的人、运载工具和动物等的信息，并且还包括诸如眼部、整个面部、侧面面部和头部等的部位信息。
29.焦点检测计算区域选择单元109和图像稳定区域选择单元112进行控制以基于使用先前帧的拍摄图像的被摄体检测结果来选择下一帧的计算区域(焦点检测计算区域)。这种配置可以缩短下面将描述的透镜驱动控制的反馈时间。因此，没有必要参考同一帧的被摄体检测结果。
30.图像稳定区域选择单元112基于从被摄体检测单元108输出的被摄体信息来选择(确定)用于视角的图像稳定的区域(图像稳定区域)，并且将与所选择的区域有关的信息输出到图像稳定量计算单元113和焦点检测计算区域选择单元109。如果重复选择了具有最高可靠性的所检测到的被摄体作为图像稳定对象，则用户所观察到的视角可能不稳定，并且摄像质量可能显著降低。为此，图像稳定区域选择单元112进行控制使得可靠性高并且先前帧的被摄体索引和用于图像稳定的被摄体不会频繁变化。在所有的所检测到的被摄体的可
靠性低的情况下，进行图像稳定(整个视角的模糊校正)以在不降低用户的观看质量的情况下进行图像稳定。
31.图像稳定量计算单元113基于以绝对差值和(sad)为代表的相关计算来计算图像稳定区域选择单元112所选择的区域在先前帧和当前帧之间的运动量(运动矢量)，并且将所计算出的运动矢量输出到图像传感器驱动控制单元114。图像传感器驱动控制单元114基于从图像稳定量计算单元113输出的运动矢量来驱动图像传感器102，并且限制(控制)读取范围使得图像稳定区域选择单元112所选择的区域停止在视角中心处。
32.本实施例进行控制以移动图像传感器102，从而读出成像圈内的任意光学图像，但是例如可以指定从图像传感器102读出的图像的位置。可以进行控制以在拍摄单元104处切出并输出从图像传感器102以全视角读出的范围的一部分。
33.基于从被摄体检测单元108输出的被摄体信息以及与图像稳定区域选择单元112所选择的区域有关的信息，焦点检测计算区域选择单元109确定(选择)焦点检测计算区域的坐标(位置)、以及下面将描述的图像偏移量计算单元110要进行相关计算的图像(计算区域)。然后，焦点检测计算区域选择单元109将与焦点检测计算区域(计算区域)有关的信息输出到图像偏移量计算单元110。
34.现在将参考图9a至图9c给出由焦点检测计算区域选择单元109基于被摄体信息和图像稳定区域所确定的焦点检测计算区域(计算区域)的说明。图9a至图9c解释了基于图像稳定区域和焦点检测区域之间的关系的焦点检测计算区域(计算区域)。在图9a至图9c中，点划线指示图像稳定区域，点线指示焦点检测区域，并且在各图的右侧将焦点检测计算区域(计算区域)放大为灰色区域。
35.在图9a中，图像稳定区域901a覆盖整个视角，并且在视角内存在焦点检测区域902a(或焦点检测区域902a是图像稳定区域901a的一部分)。在这种情况下，被摄体可能会由于被摄体模糊而偏离用于拍摄被摄体的区域，因此进行控制使得计算区域903a小于焦点检测区域902a。在通过未示出的用户指令构件关闭了图像稳定功能的情况下，图像稳定不起作用，被摄体更可能偏离用于拍摄被摄体的区域。在这种情况下，可以进行控制以使计算区域903a更小。
36.在图9b中，图像稳定区域901b和焦点检测区域902b近似相同。在这种情况下，由于照相机抖动和被摄体模糊，被摄体位置的移位在视角内趋于稳定。因此，进行控制以使计算区域903b扩大。
37.在图9c中，图像稳定区域901c和焦点检测区域902c不同。在这种情况下，由于被摄体模糊，被摄体位置的移位在视角内趋于不稳定。因此，进行控制以使计算区域903c小于焦点检测区域902c。
38.现在将给出针对该控制的理由的说明。焦点检测计算区域选择单元109与图像稳定独立地选择作为聚焦对象的被摄体。例如，在需要多人的运动中，期望被摄体面部可以向摄像设备100露出，并且在只能拍摄到后头部的情形下，即使被摄体处于聚焦，拍摄图像的价值也趋于低。因此，通过对作为图像稳定对象的被摄体设置高灵敏度，可以获得有价值的拍摄图像。
39.现在将给出更小计算区域的效果和大计算区域的效果之间的差异的说明。在使计算区域小的情况下，基于先前帧的被摄体检测结果来预测下一帧中的聚焦被摄体的xy坐标
(位置)，选择计算区域，并且进行计算，该控制具有使位于不同距离的被摄体在计算区域中不被混合的效果。因此，不太可能错误地聚焦于计算区域中所包括的背景和前景。另一方面，在使计算区域大的情况下，可以广泛地确保针对相同被摄体的计算区域(焦点检测计算区域)。因此，能够提高聚焦精度，这是因为可以减少诸如高iso感光度、低照度和低对比度等的妨碍焦点检测计算的因素的影响。
40.图像偏移量计算单元110计算从拍摄单元104输出的a图像(a图像信号)和b图像(b图像信号)之间的图像偏移量，并且将所计算出的图像偏移量输出到透镜驱动控制单元111。透镜驱动控制单元111将图像偏移量转换为散焦量，并且驱动光学系统单元101中的调焦透镜(进行调焦控制)。
41.针对通过将图2b所示的以二维矩阵排列的单位像素单元200分割为n
×
m而获得的各个矩形区域，计算a图像和b图像之间的图像偏移量。根据先前帧的焦点检测计算区域选择单元109的输出来确定计算区域。基于所获得的n
×
m焦点检测计算结果以及当前帧的焦点检测计算区域的坐标(位置)来选择被摄体存在的位置。由于这种控制，可以在无需等待被摄体检测单元108对当前帧的处理的情况下获取具有低时延(低延迟时间)的透镜驱动控制。根据来自焦点检测计算区域选择单元109的输出信号来确定焦点检测计算区域的范围和位置。
42.现在将参考图3a至图3c给出使用相位差的焦点检测的原理。图3a至图3c解释了使用图像传感器102的焦点检测的原理。图3a至图3c所示的图像传感器102具有如参考图2a和图2b所述的多个单位像素单元200。单位像素单元200的位置分别用单位像素单元p1至p13来表示。单位像素单元200中的像素1a和1b分别被表示为像素a和像素b。
43.排列有多个单位像素单元p，其中多个单位像素单元p各自具有在微透镜2下的分割像素a和b。放置在微透镜2下的像素a和b是使用微透镜2作为出射光瞳来分割的像素。在焦点检测期间，将从多个像素a(a图像像素组)输出的信号和从多个像素b(b图像像素组)输出的信号在列方向上(或在行方向上)组合，以生成a图像和b图像作为同色单位像素单元组的输出。各个对应点的偏移通过sad计算来计算。sad计算的结果由以下式(1)获得。
44.c ＝σ| yan-ybn |
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
45.在式(1)中，n是用于进行水平方向上的sad计算(相关计算)的范围内的微透镜的数量(编号)。yan和ybn分别是与第n个微透镜相对应的a图像的亮度信号和b图像的亮度信号。绘制通过使针对b图像的亮度信号ybn的对应像素偏移所获得的值，并且使偏移量最小化的位置是聚焦位置。
46.在图3a所示的聚焦状态下，摄像光学系统的成像位置是单位像素单元p7的微透镜下的像素a和b，并且因此a图像像素组和b图像像素组彼此近似一致。此时，通过相关计算所获得的a图像像素组和b图像像素组之间的图像偏移量d(a)近似为零。
47.在图3b所示的后焦点状态下，摄像光学系统的成像位置是单位像素单元p9的微透镜下的像素a和单位像素单元p5的微透镜下的像素b。此时，生成通过相关计算所获得的a图像像素组和b图像像素组之间的图像偏移量d(b)。
48.在图3c所示的前焦点状态下，摄像光学系统的成像位置是单位像素单元p5的微透镜下的像素a和单位像素单元p9的微透镜下的像素b。此时，通过相关计算所获得的a图像像素组与b图像像素组之间的图像偏移量是与图3b所示的后焦点状态下的方向相反的方向上
的图像偏移量d(c)。
49.这意味着a图像像素组和b图像像素组与聚焦状态下的相同被摄体相对应，但是a图像像素组和b图像像素组与后焦点状态和前焦点状态下偏移了图像偏移量d的被摄体相对应。公知技术可以基于作为相关计算结果的最小值的图像偏移量d和基线长度来计算散焦量，并且可以进行对被摄体的调焦操作。
50.现在将参考图6给出从在摄像设备100的实时取景摄像期间的被摄体检测单元108所进行的被摄体检测起到透镜驱动控制单元111所进行的透镜驱动完成为止的操作的说明。图6是示出摄像设备100的操作的流程图。
51.首先，在步骤s600中，被摄体检测单元108检测一个或多于一个被摄体并且生成被摄体信息。接下来，在步骤s601中，图像稳定区域选择单元112参考步骤s600中所检测到的被摄体和所生成的被摄体信息，并且确定用于图像稳定的被摄体和图像稳定区域(选择图像稳定对象)。
52.现在将参考图7给出步骤s601的处理(图像稳定对象的选择)的详细描述。图7是示出图像稳定对象的选择处理的流程图。
53.首先，在步骤s700中，图像稳定区域选择单元112检查所检测到的所有被摄体的可靠性，并且将指示图像稳定对象候选的标志信息分配给可靠性值高于阈值的被摄体。接下来，在步骤s701中，图像稳定区域选择单元112确认被摄体类型，并且判断对象被摄体是否是用于图像稳定的被摄体类型。如果对象被摄体是用于图像稳定的被摄体类型，则启用图像稳定对象候选标志(使该图像稳定对象候选标志有效)。另一方面，如果对象被摄体不是用于图像稳定的被摄体类型，则禁用图像稳定对象标志(使该图像稳定对象标志无效)。这里，用于图像稳定的被摄体类型包括通过未示出的用户指令构件所选择的人、动物和运载工具等。
54.接下来，在步骤s702中，图像稳定区域选择单元112判断在当前帧中的启用图像稳定对象候选标志的被摄体中，是否存在与作为先前帧中用于图像稳定的判断对象的被摄体相同的被摄体。如果存在相同的被摄体，则选择该相同的被摄体作为用于图像稳定的被摄体。另一方面，如果不存在相同的被摄体，则选择最可靠的图像稳定对象被摄体(确认被摄体转移)。在禁用所有图像稳定对象候选标志的情况下，可以选择整个视角作为图像稳定对象被摄体。
55.接下来，在步骤s703中，图像稳定量计算单元113基于与图像稳定对象被摄体有关的区域信息来计算与先前帧中的图像稳定对象被摄体的区域有关的运动矢量。如果在先前帧中不存在相同的被摄体，则将运动矢量的值设置为0。
56.接下来，在步骤s704中，图像稳定量计算单元113基于先前帧的运动矢量的量和当前帧的运动矢量的量来预测下一帧的被摄体模糊量，并且确定被摄体图像稳定位置。对可以使用低通滤波器来控制灵敏度的校正量进行计算，使得校正值不会由于所预测的模糊量而变成陡峭的值，并且该流程结束。
57.接下来，在图6的步骤s602中，图像传感器驱动控制单元114基于所预测的被摄体模糊量进行控制，使得在下一帧的曝光开始之前完成图像传感器102的驱动(被摄体图像稳定)。接下来，在步骤s603中，图像稳定量计算单元113对焦点检测计算区域选择单元109参考的与所选择的图像稳定被摄体(用于图像稳定的被摄体)有关的信息进行通知。
58.接下来，在步骤s604中，焦点检测计算区域选择单元109从被摄体检测单元108所获取的被摄体中选择作为焦点检测对象的被摄体(焦点检测被摄体)。对焦点检测被摄体的选择进行控制，使得被摄体可以比在步骤s601中进行的图像稳定对象的选择更容易地转移。另外，进行控制使得更重视根据被摄体类型的优先级。例如，在检测到人面部和眼睛的情况下，进行控制使得给予眼睛更高的优先级。
59.接下来，在步骤s605中，焦点检测计算区域选择单元109基于步骤s600中获取的被摄体信息和步骤s603中生成的与图像稳定被摄体(校正区域)有关的信息，从预先用n
×
m像素计算出的焦点检测结果中选择有效的计算结果。即，焦点检测计算区域选择单元109基于被摄体信息和校正区域信息来改变焦点检测计算区域(计算区域)。
60.现在将参考图8给出步骤s605(用于改变焦点检测计算区域)的处理的详细描述。图8是示出用于改变焦点检测计算区域的处理的流程图。
61.首先，在步骤s800中，焦点检测计算区域选择单元109判断被摄体图像稳定区域(图像稳定区域)是否覆盖整个视角(整个拍摄图像)。如果图像稳定区域覆盖了整个视角，则流程进行到步骤s802。另一方面，如果图像稳定区域没有覆盖整个视角(即，如果要校正特定被摄体)，则流程进行到步骤s801。
62.在步骤s801中，焦点检测计算区域选择单元109判断图像稳定区域和焦点检测计算区域是否指示相同的区域。如果图像稳定区域和焦点检测计算区域指示相同的区域，则流程进行到步骤s803。另一方面，如果图像稳定区域和焦点检测计算区域不指示相同的区域，则流程进行到步骤s802。这里，相同的区域不但包括完全相同的区域，而且包括实质相同的区域(近似相同的区域)。在不将整个视角设置为图像稳定区域的情况下，焦点检测计算区域可以指示图像稳定区域的一部分。
63.在步骤s802中，焦点检测计算区域选择单元109使焦点检测计算区域的范围窄于被摄体检测单元108所获取的被摄体检测位置(被摄体区域)，并且该流程结束。将焦点检测计算区域设置为窄于被摄体区域，这可以限制多个距离处的被摄体在焦点检测计算区域中被混合。
64.在步骤s803中，焦点检测计算区域选择单元109使焦点检测计算区域的范围与被摄体检测单元108所获取的被摄体检测位置(被摄体区域)相同，并且该流程结束。这里，相同的范围不但包括完全相同的范围，而且包括实质相同的范围(近似相同的范围)。如上所述，设置宽的焦点检测计算区域(与被摄体区域相同)，这可以确保针对具有高iso感光度、低照度和低对比度的被摄体的宽的计算范围，从而提高聚焦精度。
65.接下来，在图6的步骤s606中，图像偏移量计算单元110基于从焦点检测计算区域选择单元109输出的焦点检测计算区域来计算图像偏移量(焦点检测计算)。接下来，在步骤s607中，透镜驱动控制单元111将图像偏移量转换为散焦量，并且驱动光学系统单元101(透镜驱动)，并且该流程结束。
66.现在将参考图4给出从摄像设备100的曝光到透镜驱动控制的序列的描述。图4是示出与摄像设备100的焦点检测相关的操作的时序图。
67.首先，在定时t400处，图像传感器驱动控制单元114使用图像传感器102曝光经由光学系统单元101所形成的图像。接下来，在定时t401处，图像传感器驱动控制单元114完成利用图像传感器102的曝光操作并进行读出操作。即，图像传感器驱动控制单元114经由a/d
转换器103和拍摄单元104将来自图像传感器102的信号输出到被摄体检测单元108、图像偏移量计算单元110和图像稳定量计算单元113。接下来，在定时t402处，被摄体检测单元108进行被摄体检测处理。在近似相同的定时，图像偏移量计算单元110进行用于以n
×
m被分割的矩形区域的计算处理。
68.接下来，在定时t403处，图像稳定量计算单元113基于被摄体检测单元108的输出来计算被摄体图像稳定量，并且向焦点检测计算区域选择单元109通知与进行了被摄体图像稳定的被摄体有关的信息(与图像稳定对象有关的被摄体信息)。接下来，在定时t404处，图像传感器驱动控制单元114开始图像传感器102的图像高度中的位置驱动，并且在作为下一帧的曝光开始定时的定时t405或在定时t405之前完成驱动。在定时t405处，图像传感器102对经由光学系统单元101所形成的图像进行下一帧的曝光操作。在随后的定时t406和定时t407处，进行与定时t401和定时t402处相同的处理。
69.接下来，在定时t408处，图像稳定量计算单元113基于来自被摄体检测单元108的输出来计算被摄体图像稳定量，并且向焦点检测计算区域选择单元109通知与进行了被摄体图像稳定的对象被摄体有关的信息。焦点检测计算区域选择单元109从在定时t407处分割为n
×
m的矩形区域的计算结果中，选择在定时t403处获得的与图像稳定对象有关的被摄体信息和在定时t407处获得的焦点检测计算结果。
70.接下来，在定时t409处，图像传感器驱动控制单元114和透镜驱动控制单元111开始图像传感器102的图像高度中的位置驱动以及光学系统单元101的聚焦驱动以聚焦于被摄体。然后，驱动完成，直到作为下一帧的曝光开始定时的定时t405为止。在定时t410之后的操作是对从定时t405到定时t409的操作的重复。
71.本实施例可以在进行被摄体图像稳定的同时，通过减少将被摄体从焦点检测计算区域中移除的频率来实现高精度的焦点检测。
72.第二实施例
73.现在将给出本公开的第二实施例的说明。第一实施例讨论了在进行了图像稳定的被摄体(图像稳定区域)和用于焦点检测的被摄体(焦点检测区域)不同的情况下的焦点检测计算区域(计算区域)的选择控制。本实施例将参考图10a和图10b来讨论在图像稳定区域和焦点检测区域彼此相关的情况下的计算区域的选择控制。图10a和图10b解释了基于图像稳定区域和焦点检测区域之间的关系的焦点检测计算区域。在图10a和图10b中，点划线指示图像稳定区域，点线指示焦点检测区域，并且在各图的右侧用放大的灰色区域来指示计算区域。
74.在图10a中，图像稳定区域1001a是面部，并且焦点检测区域1002a是眼睛。在这种情况下，即使焦点检测区域1002a由于照相机抖动和被摄体模糊而偏离眼睛区域，也可以推断出周边区域处于相同的距离，并且本实施例进行控制使得计算区域1003a与焦点检测区域1002a一样宽或宽于焦点检测区域1002a。本实施例讨论了人面部和眼睛之间的关系，但是本发明不限于本实施例。例如，上述关系类似地可适用于图像稳定对象区域是运载工具、并且用于焦点检测计算的区域是搭乘运载工具的人的情况。换句话说，该控制是在如下情况下进行的：将未指定整个视角的区域设置为图像稳定区域，并且将其一部分设置为焦点检测被摄体位置。
75.在图10b中，图像稳定区域1001b是身体，并且焦点检测区域1002b是面部(图像稳
定区域1001b和焦点检测区域1002b是相关被摄体类型的情况)。一般来说，身体具有比面部大的区域，并且在运动中趋于稳定。因此，可以选择身体作为图像稳定区域。另一方面，一般来说，焦点检测被摄体经常是面部。在这种情况下，假设面部的图像高度内的xy坐标根据身体的运动而移动，并且推断出指示同一被摄体。因此，进行控制，以使得计算区域1003b与面部区域(焦点检测区域1002b)一样宽或宽于面部区域。可以基于坐标(位置)进行控制，或者可以通过向被摄体检测时的索引信息添加指示被摄体之间的关系的信息来判断控制。
76.如上所述，在各个实施例中，焦点检测设备(摄像设备100)包括第一确定单元(图像稳定区域选择单元112)和第二确定单元(焦点检测计算区域选择单元109)。第一确定单元基于被摄体信息来确定图像稳定区域。第二确定单元基于被摄体信息来确定焦点检测区域，并且基于焦点检测区域来确定用于焦点检测的计算区域(焦点检测计算区域)。第二确定单元基于图像稳定区域和焦点检测区域之间的关系来确定计算区域。
77.第二确定单元可以基于图像稳定区域和焦点检测区域之间的位置关系来确定计算区域。第一确定单元和第二确定单元可以基于来自图像传感器102的输出信号来获取被摄体信息。焦点检测设备可以具有被配置为基于图像稳定区域进行图像稳定的图像稳定单元(图像稳定量计算单元113、图像传感器驱动控制单元114)。焦点检测设备还包括被配置为对计算区域中的图像信号之间的图像偏移量进行计算的计算单元(图像偏移量计算单元110)。
78.被摄体信息可以包括与被摄体的位置(坐标)、大小、可靠性和类型中的至少一个有关的信息。在图像稳定区域是整个图像的情况下，计算区域可以小于被摄体信息中的被摄体。在图像稳定区域和焦点检测区域相同(大致相同)的情况下的计算区域可以大于在图像稳定区域和焦点检测区域不同的情况下的计算区域。在焦点检测区域是图像稳定区域的一部分的情况下的计算区域可以大于在图像稳定区域和焦点检测区域不同的情况下的计算区域。在图像稳定区域和焦点检测区域是相关被摄体类型的情况下的计算区域可以大于在图像稳定区域和焦点检测区域不是相关被摄体类型的情况下的计算区域。
79.这样，通过基于图像稳定区域和焦点检测区域之间的关系进行处理，即使针对图像稳定区域和焦点检测区域设置不同的区域，也可以适当地选择计算区域(焦点检测计算区域)。结果，可以在进行图像稳定的同时，在减少将被摄体从焦点检测计算区域中移除的频率的情况下进行焦点检测。
80.其他实施例
81.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或设备，该系统或设备的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并且进行程序的方法。
82.本公开可以提供一种焦点检测设备、摄像设备、焦点检测方法和存储介质，其各自可以在进行被摄体图像稳定的同时、通过减少将被摄体从焦点检测计算区域中移除的频率来提供高精度的焦点检测。
83.尽管已经参考示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

技术特征：
1.一种焦点检测设备，包括：第一确定单元，其被配置为基于被摄体信息来确定图像稳定区域；以及第二确定单元，其被配置为基于所述被摄体信息来确定焦点检测区域，并且基于所述焦点检测区域来确定用于焦点检测的计算区域，其中，所述第二确定单元基于所述图像稳定区域和所述焦点检测区域之间的关系来确定所述计算区域。2.根据权利要求1所述的焦点检测设备，其特征在于，所述第二确定单元基于所述图像稳定区域和所述焦点检测区域之间的位置关系来确定所述计算区域。3.根据权利要求1所述的焦点检测设备，其特征在于，所述第一确定单元和所述第二确定单元基于来自图像传感器的输出信号来获取所述被摄体信息。4.根据权利要求1所述的焦点检测设备，还包括图像稳定单元，所述图像稳定单元被配置为基于所述图像稳定区域来进行图像稳定。5.根据权利要求1所述的焦点检测设备，还包括计算单元，所述计算单元被配置为计算所述计算区域中的图像信号之间的图像偏移量。6.根据权利要求1所述的焦点检测设备，其特征在于，所述被摄体信息包括与所述被摄体的位置、大小、可靠性和类型中的至少一个有关的信息。7.根据权利要求1所述的焦点检测设备，其特征在于，在所述图像稳定区域是整个图像的情况下，所述计算区域小于所述被摄体信息中的被摄体。8.根据权利要求1所述的焦点检测设备，其特征在于，在所述图像稳定区域和所述焦点检测区域相同的情况下的计算区域大于在所述图像稳定区域和所述焦点检测区域不同的情况下的计算区域。9.根据权利要求1所述的焦点检测设备，其特征在于，在所述焦点检测区域是所述图像稳定区域的一部分的情况下的计算区域大于在所述图像稳定区域和所述焦点检测区域不同的情况下的计算区域。10.根据权利要求1至9中任一项所述的焦点检测设备，其特征在于，在所述图像稳定区域和所述焦点检测区域是相关被摄体类型的情况下的计算区域大于在所述图像稳定区域和所述焦点检测区域不是相关被摄体类型的情况下的计算区域。11.一种摄像设备，包括：图像传感器；以及根据权利要求1至10中任一项所述的焦点检测设备。12.一种焦点检测方法，包括：第一确定步骤，用于基于被摄体信息来确定图像稳定区域；以及第二确定步骤，用于基于所述被摄体信息来确定焦点检测区域，并且基于所述焦点检测区域来确定用于焦点检测的计算区域，其中，所述第二确定步骤基于所述图像稳定区域和所述焦点检测区域之间的关系来确定所述计算区域。13.一种非暂时性计算机可读存储介质，其存储有用于使计算机执行根据权利要求12所述的焦点检测方法的程序。

技术总结
本公开涉及焦点检测设备、摄像设备、焦点检测方法和存储介质。焦点检测设备包括第一确定单元和第二确定单元，该第一确定单元被配置为基于被摄体信息来确定图像稳定区域，该第二确定单元被配置为基于被摄体信息来确定焦点检测区域，并且基于焦点检测区域来确定用于焦点检测的计算区域。第二确定单元基于图像稳定区域和焦点检测区域之间的关系来确定计算区域。域。域。


技术研发人员：堀川洋平
受保护的技术使用者：佳能株式会社
技术研发日：2023.01.31
技术公布日：2023/8/5