电子设备以及用于该控制电子设备的方法与流程

1.本公开涉及一种电子设备以及用于该控制电子设备的方法，并且更具体地，涉及一种能够基于在图像(或视频)中所包括的对象来确定执行超慢动作(super slow motion，ssm)功能的定时的电子设备以及用于控制该电子设备的方法。
2.对相关申请的交叉引用
3.本技术基于2020年10月28日在韩国知识产权局提交的第10-2020-0141202号韩国专利申请并且根据35u.s.c.
§
119(a)要求其优先权，该韩国专利申请的公开内容通过引用整体合并于此。


背景技术：

4.超慢动作(ssm)图像指代为了记录特定场景中的高速运动而捕获的图像。由于为了生成ssm图像消耗大量的计算资源、存储资源和电力，所以优选的是在一个场景中特定事件发生的短时间段内生成ssm图像。
5.当ssm图像记录功能手动地激活时，如果意外事件发生或者图像中所包括的对象快速地运动，则用户很可能早于或晚于适当的定时而执行ssm图像记录开始操作。因此，用户可能无法记录预期事件的ssm图像，或者可能记录具有非常大容量的ssm图像，因为包括了非预期场景。


技术实现要素：

6.技术问题
7.一个或多个实施例提供了一种用于基于在通过至少一个相机获得的图像中所包括的对象来确定执行ssm功能的时间点的电子设备、以及用于控制该电子设备的方法。
8.技术的解决方案
9.根据实施例，电子设备可以包括：第一相机，包括具有第一焦距的第一镜头；第二相机，包括具有与第一焦距不同的第二焦距的第二镜头；存储器；以及处理器，被配置为：获得关于在第一图像中所包括的第一对象的信息，该第一图像是通过第一相机捕获电子设备的周围而获得的；根据基于所获得的关于第一对象的信息来标识关于与第一对象相关联的第二对象的信息，通过第二相机获得第二图像；以及基于第二对象是否被包括在所获得的第二图像中，确定使用第一相机执行高速捕获的时间点。
10.一种控制包括第一相机和第二相机的电子设备的方法，第一相机包括具有第一焦距的第一镜头，第二相机包括具有与第一焦距不同的第二焦距的第二镜头，该方法可以包括：获得关于在第一图像中所包括的第一对象的信息，该第一图像是通过第一相机捕获电子设备的周围而获得的；根据基于所获得的关于第一对象的信息来标识关于与第一对象相关联的第二对象的信息，通过第二相机获得第二图像；以及基于第二对象是否被包括在所获得的第二图像中，确定使用第一相机执行高速捕获的时间点。
11.发明的效果
12.根据上述各种实施例，电子设备可以正确地并且高效地确定执行ssm功能的定时。
附图说明
13.图1a是简要地示出根据本公开的实施例的电子设备的配置的框图；
14.图1b是示出根据本公开的实施例的知识库的结构的图；
15.图2是示出根据本公开的实施例的控制电子设备的方法的流程图；
16.图3是示出根据本公开的实施例的由电子设备激活第二相机的处理的流程图；
17.图4a和图4b是示出根据本公开的实施例的通过电子设备使用第一相机的高速捕获的流程图；
18.图5是示出根据本公开的实施例的通过电子设备使用第一相机执行高速捕获的处理的流程图；
19.图6是示出根据本公开的实施例的使用第一相机执行高速捕获的处理的流程图；
20.图7是示出根据本公开的实施例的使用第一相机执行高速捕获的处理的流程图；和
21.图8是具体地示出根据本公开的实施例的电子设备的配置的框图。
具体实施方式
22.在下文中，将参考附图详细描述本公开。要理解的是，图中的各种元件和区域可能未按比例示出。因此，本公开的范围不受从附图得到的相对大小或间距的限制。图1a是用于描述根据本公开的实施例的电子设备100的配置和操作的框图。在描述本公开时，电子设备100可以被实现为用户终端设备，诸如智能电话、平板型pc、桌面型pc、膝上型pc、上网本计算机和可穿戴设备，但是不限于此。本公开的电子设备100可以由包括相机的各种设备来实现。
23.如图1a所示，电子设备100可以包括第一相机110、第二相机120、存储器130、处理器140和显示器150。然而，图1a中所示的配置是用于实现本公开的实施例的示例，并且对本领域技术人员而言明显的适当硬件和软件配置可以额外地包括在电子设备100中。
24.第一相机110可以通过捕获电子设备100的周围来获得一个或多个图像。第一相机110可以通过捕获电子设备100的周围来获得第一图像。第一相机110可以获得由多个图像帧组成的第一图像，多个图像帧通过捕获电子设备100的外围而获得，并且第一图像可以包括实时视图。另外，由多个图像帧组成的第一图像可以存储在临时地存储信息的存储器130当中的缓冲器中。具有第一焦距的第一镜头(lens)可以包括在第一相机110中。
25.第二相机120可以通过捕获电子设备100(诸如第一相机110)的周围来获得一个或多个图像。第二相机120可以获得由多个图像帧组成的第二图像，多个图像帧通过捕获电子设备100的周围而获得，并且第二图像可以包括实时视图。
26.第二相机120可以位于距电子设备100上的第一相机110的阈值距离内。阈值距离可以是通过实验、研究等的预定值，但是不限于此，并且可以在电子设备100的制造步骤中改变。
27.在第二相机120中所包括的第二镜头的第二焦距可以与在第一相机110中所包括的第一镜头的第二焦距不同。例如，在第二相机120中所包括的第二镜头的第二焦距可以短
于在第一相机110中所包括的第一镜头的第一焦距。
28.例如，超广角镜头(ultra-wide lens)可以包括在第二相机120中，而广角镜头(wide lens)可以包括在第一相机110中。第二相机120可以具有比第一相机110更大的视场(fov)。因此，当第一相机110和第二相机120在彼此间隔开阈值距离的位置处捕获电子设备100的周围时，通过第二相机120所获得的第二图像可以由包括比通过第一相机110所获得的第一图像更广的区域的图像帧组成。
29.然而，这仅仅是实施例，并且在第二相机120中所包括的第二镜头的第二焦距可以长于在第一相机110中所包括的第一镜头的第一焦距。例如，第二相机120可以包括广角镜头，而第一相机110可以包括超广角镜头。
30.第一相机110和第二相机120中的每个可以包括图像传感器(例如，互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器)。依赖于是否施加电力，可以关断或接通图像传感器。
31.每个相机110、120被去激活的状态可以意味着：其中每个相机110、120中所包括的图像传感器被关断的状态；或者其中每个相机110、120中所包括的图像传感器被接通，但是由每个相机110、120使用图像传感器所获得的多个图像帧未被存储在缓冲器中的状态。
32.当每个相机110、120被激活时，在每个相机110、120中所包括的图像传感器被接通，并且由每个相机110、120使用图像传感器所获得的多个图像帧被存储在缓冲器中，或者在缓冲器中所存储的多个图像帧被处理器140正显示在显示器150上。在描述本公开时，第二相机120的激活意味着第二相机120从去激活状态切换到激活状态。
33.存储器130可以存储与电子设备100的至少一个其他元件相关的程序或数据。指令意味着可以由处理器140以编程语言直接地执行的并且是程序执行或操作的最小单元的一个动作语句。处理器140访问存储器130，并且通过处理器140可以执行数据的读取/写入/修改/删除/更新。
34.在本公开中，术语存储器可以包括存储器130、处理器140中的只读存储器(rom，未示出)、ram(未示出)、或者安装到电子设备100的存储卡(未示出)(例如，微型安全数字(sd)卡和记忆棒)。
35.存储器130可以存储：用于基于第一图像和第二图像确定通过第一相机110执行ssm功能的时间点的软件模块，以及每个模块执行各种操作所需的数据。用于确定第一相机110执行ssm功能的时间点的模块可以包括第一感兴趣区域(roi)确定模块20、对象识别模块30、对象属性分析模块40、相关联对象确定模块50、第二图像监测模块60和高速捕获执行模块70。
36.ssm功能意味着下述功能：通过以高速(例如，480帧每秒(fps)或960fps等)捕获电子设备100的周围来获得超慢动作图像，并且缓慢地播放所获得的超慢动作图像(例如，以与一般慢动作(240fps)相比，慢32倍或慢4倍来再现所获得的超慢动作图像)。通过ssm功能，用户可以有效地检测肉眼难以标识的对象的快速运动或细微改变。同时，与ssm功能相关联的回放速度或捕获速度不限于上述示例性数值，并且可以由用户设置为各种值。
37.通过第一相机110执行ssm功能所捕获的超慢动作图像可以是具有相对地高的帧率(例如，480fps或960fps)的图像。同时，与ssm功能相对应的帧率可以是预定值，但是可以由用户改变。
38.第一roi确定模块20是用于确定通过第一相机110所获得的第一图像上的第一roi并且获得关于所确定的第一roi的信息的模块。这里，第一图像的第一roi意味着第一图像中针对图像分析而确定(或选择)的部分区域。
39.第一roi确定模块20可以通过使用训练为确定roi的第三模型95或自动聚焦方法来自动地确定第一图像上的第一roi。作为另一示例，第一roi确定模块20可以将在显示器150上所显示的第一图像上输入用户触摸的区域确定为第一roi。
40.第一roi确定模块20可以获得关于所确定的第一roi的信息。例如，关于第一roi的信息可以包括在第一roi中所包括的图像的特征信息(例如，在第一roi中所包括的图像的像素值、亮度、色度信息等)和指示第一roi的指示符(例如，关于与第一roi相对应的边界框的大小或形状的信息)。指示第一roi的指示符可以具有预定的大小或形状，但不限于此，并且可以通过用户命令来改变。第一roi确定模块20可以通过分析在第一roi中所包括的图像来获得在第一roi中所包括的图像的特征信息。
41.对象识别模块30是用于通过使用第一模型80识别在第一roi中所包括的第一对象来获得关于第一对象的信息的模块。具体地，对象识别模块30可以通过将通过第一roi确定模块20所获得的关于第一roi的信息输入到第一模型80来获得关于在第一roi中所包括的第一对象的信息。关于第一对象的信息可以包括例如第一对象的类型、第一对象的大小以及基于第一图像中所包括的多个帧图像的关于第一对象的位置改变量的信息。也就是说，第一对象识别模块30可以通过获得关于第一对象的信息来识别在第一roi中所包括的第一对象。
42.对象属性分析模块40是用于基于通过对象识别模块30所获得的关于第一对象的信息来分析第一对象的属性(动态或静态属性)以便标识第一对象是否是运动对象的模块。例如，对象属性分析模块40可以在关于第一对象的信息当中标识构成第一图像的多个图像帧上的第一对象的位置改变量，并且基于所标识的第一对象的位置改变量来分析第一对象的属性。对象属性分析模块40可以根据第一对象的属性输出与第一对象是否是运动对象相关的信息。
43.相关联对象确定模块50是用于下述的模块：标识在知识库85上是否存在连接到包括第一对象的类型的第一节点的另一节点，并且标识在另一节点中所包括的信息。也就是说，相关联对象确定模块可以基于关于第一对象的信息(例如，第一对象的类型等)来标识关于与第一对象相关联的第二对象的信息是否存在。
44.与第一对象的类型相关联(或相关)的第二对象的类型可以被包括在连接到包括第一对象的类型的第一节点的另一节点中。与第一对象的类型相关联的第二对象(或第一对象的相关联对象)的类型)意味着被预测为出现在第一对象的外围区域的对象的类型。例如，当第一对象的类型是球门柱时，第二对象的类型可以被实现为预测将出现在球门柱的外围区域中的足球。在这种情况下，第二对象可以是单数，但是不限于此，并且可以提供两个或更多个第二对象。
45.也就是说，相关联对象确定模块50可以通过使用通过对象识别模块30所获得的关于第一对象的信息当中的第一对象的类型，在知识库85上标识包括第一对象的类型的第一节点。相关联对象确定模块50可以标识知识库85上是否存在连接到所标识的第一节点的另一节点。如果标识出存在连接到第一节点的另一节点(例如，第二节点)，则相关联对象确定
模块50可以获得(或标识)在第二节点中所包括的第二对象的类型。
46.相关联对象确定模块50可以通过使用知识库85来获得关于第一对象的类型和第二对象的类型之间的关系的信息。例如，知识库85上连接第一节点和第二节点的边可以包括关于第一对象的类型和第二对象的类型之间的关系的信息。
47.关于关系的信息可以包括与第一对象的类型和第二对象的类型之间的各种关系相关的信息。例如，关于关系的信息可以包括关于第一对象的类型和第二对象的类型之间的方向关系的信息。关于方向关系的信息可以包括与基于第一对象的当前位置而第二对象出现或存在的概率的位置相对应的方向信息，但不限于此。
48.第二图像监测模块60是用于下述的模块：基于通过相关联对象确定模块50所获得的第二对象的类型和关于第一对象的类型和第二对象的类型之间的关系的信息，在通过第二相机120获得的第二图像当中确定第二roi；以及通过监测第二roi来标识第二对象是否出现在第二roi中。第二roi意味着为了监测第二对象是否出现在第二图像中而确定(或设置)的区域。
49.第二图像监测模块60可以基于关于第一对象的类型和第二对象的类型之间的关系的信息，将其中第二图像的第二对象被预测为出现的区域确定为第二roi。例如，当通过相关联对象确定模块50获得关于关系的信息时，第二图像监测模块60可以基于第一对象的当前位置将与第一对象的左侧方向相对应的区域确定为第二roi，该关于关系的信息包括指示第二对象出现在与第一对象的左侧方向相对应的区域中的信息。在这种情况下，第二roi可以设置在第一图像和第二图像不重叠的区域上，但是不限于此。
50.第二图像监测模块60可以确定第二图像上的第二roi，并且获得关于第二roi的信息(例如，关于在第二roi中所包括的图像的特征信息(例如，在第二roi中所包括的图像的色度、亮度等)，以及关于指示第二roi的指示符的大小、形状等的信息。
51.例如，第二图像监测模块60可以确定第二roi并且分析在第二roi中所包括的图像以获得关于在第二roi中所包括的图像的特征信息。这里，指示第二roi的指示符可以具有预定的大小或形状，但是不限于此，并且可以由用户改变。
52.第二图像监测模块60可以标识第二对象是否出现在第二roi上。例如，第二图像监测模块60可以通过将关于在第二roi中所包括的图像的特征信息和第二对象的类型输入到第二模型93，来获得关于与第二对象的类型相对应的对象是否出现在第二roi中的信息。
53.在另一示例中，第二图像监测模块60可以在第一数据库收集的、与知识库85上的多个节点中所包括的对象的类型相关的特征当中，标识与第二对象的类型相关的信息。第二图像监测模块60可以监测是否从第二roi中提取了与所标识的第二对象的类型相关的信息，以标识第二对象是否出现在第二roi中。
54.高速捕获执行模块70是用于当通过第二图像监测模块60在第二roi中获得指示第二对象出现的信息时，进行控制以执行第一摄像机110的高速捕获的模块。也就是说，由高速捕获执行模块70进行的控制使得第一相机110执行高速捕获意味着开始执行ssm功能。
55.存储器130可以存储训练第一模型80和第二模型93来识别对象以执行对象识别操作所需的信息。
56.第一模型80是人工智能(ai)模型，其被训练为：识别在第一roi中所包括的对象，并且当对象识别模块30输入关于在第一图像中所包括的第一roi的信息时，输出关于所识
别的对象的信息。这里，关于第一roi的信息可以包括关于在第一roi中所包括的图像的信息(例如，构成图像的像素的色度、亮度等)。
57.第二模型93是人工智能模型，其被训练为：如果第二图像监测模块60输入关于第二roi中所包括的图像的信息(例如，诸如构成第二roi中所包括的图像的像素的色度和亮度的各种特征信息)和第二对象的类型的信息，则输出关于与第二对象的类型相对应的对象是否被包括在第二roi中的信息。
58.例如，当关于在第二roi中所包括的图像的信息和第二对象的类型被输入时，第二模型93可以标识与第二对象的类型相关的特征信息是否被输出到在第二roi中所包括的图像，并且当与第二对象的类型相关的特征信息被提取时，输出指示与第二对象的类型相对应的对象被包括在第二roi中的信息。
59.第一模型80和第二模型93可以包括被训练为输出与输入图像相对应的特征信息等的人工神经网络。除非另有说明，否则神经网络的示例包括但不限于卷积神经网络(cnn)、深度神经网络(dnn)、循环神经网络(rnn)、受限波尔兹曼机器(rbm)、深度信念网络(dbn)、双向循环深度神经网络(brdnn)、生成对抗网络(gan)和深度q网络。
60.参考图1，实施例中第一模型80和第二模型93被实现为分离的模型，但是第一模型80和第二模型93可以被实现为相同的模型。
61.存储器130可以存储第三模型95执行在第一图像中确定roi的操作所需的信息。第三模型95是被训练为确定输入的第一图像中的roi的人工智能模型。例如，第三模型95可以被训练为将第一图像中所包括的至少一个对象存在于其中的区域确定为roi。
62.存储器130可以存储第四模型97执行操作所需的信息。第四模型97指代人工智能模型，其被训练为当输入与第一对象的类型或第一对象的图像相对应的标签时，输出与第一对象的类型相关联的第二对象的类型，或者输出指示不存在与第一对象相关联的第二对象的信息。
63.存储器130可以存储知识库90，该知识库90包括与多个对象中的每个相关的信息。知识库85可以包括：包含多个对象的类型的多个节点和包含关于多个对象之间的关系的信息的边。
64.根据实施例，如图1b所示，知识库85可以以知识图的形式实现，该知识图包括：边，包含关于多个对象之间的关系的信息；和节点，包含多个对象的类型。
65.例如，假设第一对象的类型是球门柱。知识库85可以包括包含第一对象类型的第一节点98。在知识库85上，第一节点98和第二节点98-1(包括作为足球的、与第一对象的类型相关的对象的节点)可以通过边99-1连接，边99-1包括关于在向下方向上的关系的信息。另外，在知识库85上，第一节点98和第三节点98-2(包括作为篮球的、与第一对象的类型相关的对象的节点)可以通过边99-2连接，边99-2包括关于作为左/右方向的关系的信息。在这种情况下，第一节点98和第二节点98-1由包括关于第一节点98和第二节点98-1向下的关系的信息的边99-1连接的事实，可能意味着作为在第二节点98-1中所包括的对象的类型的足球很可能位于作为在第一节点98中所包括的第一对象的类型的球门柱的下方区域中。
66.知识库85可以以如图1b所示的知识图的形式构造，但是这仅仅是实施例，并且可以以构造成为获得关于对象之间的关系的信息的各种信息库的形式来实现。
67.存储器130可以包括能够通过处理器140的访问来记录、处理或修改信息的工作存
储器，以及用于存储和保存信息的存储装置存储器。
68.工作存储器可以包括诸如动态ram(dram)、静态ram(sram)或同步动态ram(sdram)的易失性随机存取存储器(ram)，和诸如磁阻ram(mram)或相变ram(pram)的非易失性ram中的至少一个。存储装置存储器可以包括各种类型的rom存储器(例如，一次性可编程rom(otprom)、可编程rom(prom)、可擦除可编程rom(eprom))、磁存储器设备(例如，硬盘等)或各种辅助存储设备中的至少一种。
69.用于确定第一相机110执行ssm功能的时间点的模块20、30、40、50、60、70可以存储在存储装置存储器中。操作第一模型80、第二模型93、第三模型95和第四模型97所需要的数据和知识库85可以存储在存储装置存储器中。
70.工作存储器可以以被包括在处理器140中作为处理器140的一个组件的形式来实现，但是这仅仅是实施例，并且工作存储器可以被实现为与处理器140分离的单独组件。
71.处理器140电连接到存储器130，以控制电子设备100的整体功能和操作。处理器140可以配置有一个或多个处理器来控制电子设备100的操作。
72.处理器140可以将用于确定执行在存储装置存储器中所存储的ssm功能的时间点的模块20、30、40、50、60、70以及用于由模块20、30、40、50、60、70执行各种操作的数据加载到工作存储器。处理器140可以将第一模型80、第二模型93、第三模型95、第四模型97执行各种操作所需要的数据和每个模型加载到工作存储器。处理器140可以将知识库85加载到工作存储器中。处理器140可以基于加载到工作存储器中的数据，通过各种模块和人工智能模型来执行各种操作。这里，加载指代将在存储装置存储器中所存储的数据取回(retrieve)到工作存储器并且存储该数据以便处理器140可以访问的操作。
73.处理器140可以加载各种模块20、30、40、50、60和70以及各种人工智能模型80和90中的每个来每次执行操作所需的数据，但是不限于此。处理器140可以加载每个模块和模型执行特定操作所需要的数据，而与顺序无关。
74.此外，当各种模块或模型中的一个要执行特定操作时，处理器140可以仅加载与模块或模型中的一个执行特定操作相对应的数据。当各种模块20、30、40、50、60、70和各种人工智能模型80、90的操作完成时，操作完成的模块和模型所需要的数据可以在工作存储器中删除。
75.当加载相关联对象确定模块50时，处理器140可以加载知识库85，但是这仅仅是示例性的，并且可以与顺序无关地加载知识库85。
76.处理器140可以获得关于在第一图像中所包括的第一对象的信息，该第一图像通过第一相机110捕获电子设备100的周围而获得。具体地，处理器140可以通过第一相机110捕获电子设备100的周围来获得第一图像，并且通过将被训练为识别对象的第一模型应用于所获得的第一图像来获得关于在第一图像中所包括的第一对象的信息。
77.更具体地，处理器140可以通过第一roi确定模块20确定使用第一相机110获得的第一图像上的第一roi。处理器140可以控制第一图像显示在显示器150上。
78.根据实施例，处理器140可以通过第一roi确定模块20，经由将第一图像输入到第三模型95来确定包括至少一个对象的区域作为第一roi，该第三模型95被训练为来确定roi。在另一实施例中，处理器140可以通过第一roi确定模块20，使用自动聚焦方法来将第一图像上存在至少一个对象的区域确定为第一roi。
79.根据另一实施例，处理器140可以将第一图像中输入用户触摸的区域确定为第一roi。处理器140可以将在第一图像中确定的第一roi显示为具有预定大小和形状(例如，矩形)的指示符。例如，处理器140可以从显示在显示器150上的第一图像当中确定输入用户触摸的区域作为第一roi，并且控制指示所确定的第一roi的指示符显示在显示器150上。
80.处理器140可以通过对象识别模块30向第一模型80输入关于由第一roi确定模块20所获得的第一roi的信息，识别在第一roi中所包括的第一对象，以及获得关于所识别的第一对象的信息。关于第一对象的信息可以包括例如第一对象的类型、第一对象的大小以及基于第一图像中所包括的多个帧图像的关于第一对象的位置改变量或运动方向的信息。
81.如果基于关于第一对象的信息标识出存在关于与第一对象相关联的第二对象的信息，则处理器140可以通过第二相机120获得第二图像。
82.具体地，处理器140可以基于关于第一对象的信息来标识第一对象是否是运动对象。处理器140可以通过对象属性分析模块40、基于关于第一对象的信息来分析第一对象是具有动态属性还是静态属性，并且标识第一对象是否是运动对象。例如，处理器140可以通过对象属性分析模块40在关于第一对象的信息当中在第一图像中所包括的多个图像帧上标识第一对象的位置改变量。
83.作为示例，当第一对象的位置改变量超过第一阈值时，处理器140可以分析出第一对象包括为动态的属性，并且可以标识出第一对象是运动对象。作为另一示例，当第一对象的位置改变量小于或等于第一阈值时，处理器140可以分析出第一对象包括静态属性，并且可以标识出第一对象是不运动的对象。这里，第一阈值可以是预定值，但是可以由用户改变。
84.处理器140可基于与第一对象是否是运动对象相关的标识结果来激活第二相机120，并且通过使用激活的第二相机120来获得第二图像。
85.具体地，当标识出第一对象是没有运动的对象时，处理器140可以基于关于第一对象的信息(例如，第一对象的类型)来标识是否存在与第一对象的类型相关联的第二对象的信息(例如，第二对象的类型)。
86.根据实施例，处理器140可以通过相关联对象确定模块50，通过使用关于第一对象的信息当中的关于第一对象的类型的信息，在知识库85中所包括的多个节点当中标识包括第一对象的第一节点。处理器140可以通过相关联对象确定模块50来标识在知识库85上是否存在通过边连接到第一节点的第二节点。
87.例如，如图1b所示，知识库85可以以知识图的形式实现，该知识图包括：包含多个对象的类型的节点和具有多个对象之间的方向关系信息的边。处理器140可以通过相关联对象确定模块50来标识在知识库85上包括第一对象的节点是否通过边连接到另一节点。
88.当第一对象的类型是球门柱时，处理器140可以通过相关联对象确定模块50在知识库85中所包括的多个节点当中标识包括球门柱的第一节点98。另外，处理器140可以通过相关联对象确定模块50来标识在知识库85上第一节点98是否通过边连接到另一节点。具体地，处理器140可以通过相关联对象确定模块50来标识出在知识库85上第一节点98通过边99-1、99-2连接到第二节点98-1和第三节点98-2。
89.根据另一实施例，处理器140可以通过相关联对象确定模块50，在关于第一对象的信息当中通过应用与第一对象的类型相对应的标签中预定义的基于规则的算法，来标识是
否存在与第一对象的类型相关联的第二对象。与第一对象的类型相对应的标签意味着指示第一对象的类型的特性的信息。基于规则的算法意味着这样的算法：当输入与第一对象的类型相对应的标签时，被使得输出与第一对象的类型相关联的对象类型。当关于与第一对象的类型相关的对象的信息不包括在基于规则的算法中时，处理器140可以通过相关联对象确定模块50标识出与第一对象的类型相关的对象不存在。
90.在另一实施例中，处理器140可以通过相关联对象确定模块50，在关于第一对象的信息当中基于指示第一对象的图像的像素值和大小的边界框，来标识与第一对象相关联的第二对象的像素值和大小。这里，像素值指代表示在第一对象的图像中所包括的颜色属性的值，而边界框指代可以包括第一对象的所有类型的最小大小的框。
91.具体地，处理器140可以通过相关联对象确定模块50，通过使用指示第一对象的图像的像素值和大小的边界框来标识指示可能与第一对象关联的第二对象的像素值和大小的边界框。关于表示第二对象的像素值和大小的边界框的信息可以被包括在相关联对象确定模块50中，第二对象可以与表示第一对象的图像的像素值和大小的边界框相关联。
92.在另一实施例中，处理器140可以通过相关联对象确定模块50中的第四模型97来标识与第一对象的类型相关联的第二对象是否存在。具体地，处理器140可以从关于第一对象的信息当中提取与第一对象的类型相对应的标签，并且将提取的标签输入到第四模型97，来以标签的形式获得关于与第一对象相关联的第二对象的类型的信息。此后，可以标识出通过第二模型在第二图像中所获得的对象信息当中是否存在先前获得的第二对象类型，该第二图像从第二相机120获得。
93.当标识出在知识库85上存在连接到第一节点的另一节点时，处理器140可以激活第二摄像机120。例如，当标识出在知识库85上存在连接到第一节点的另一节点时，处理器140可以激活第二相机。
94.处理器140可以通过使用激活的第二相机120通过捕获电子设备100的周围来获得第二图像。当具有比第一相机110更短焦距的第二镜头被包括在第二相机120中时，第二图像是通过捕获比第一图像更广的区域而获得的图像，并且因此，第一图像可以被包括在第二图像中。此时，处理器140在显示器150上显示第一图像。然而，由于构成第二图像的多个图像帧被存储在缓冲器中，所以处理器140可以通过使用存储的多个图像帧来标识第二对象是否存在于不与第一图像和第二图像重叠的区域中。也就是说，处理器140可以基于存储在缓冲器上的帧来执行各种操作，因为第二图像和第一图像不重叠的区域没有显示在显示器150上，但是相对应的区域存储在缓冲器中。
95.在另一示例中，当具有比第一相机110的焦距更长的焦距的第二镜头被包括在第二相机120中时，第一图像是通过捕获比第二图像更广的区域而获得的图像，并且因此，第二图像可以被包括在第一图像中。
96.处理器140可以标识在通过第二相机120所获得的第二图像上是否存在被标识为包括在连接到第一节点的另一节点中的类型的第二对象。根据实施例，当通过使用知识库85，在位于第一对象的第一方向的区域中存在指示与第一对象的类型相关的类型的第二对象的信息时，处理器140可以通过第二图像监测模块60检测第二图像中与第一对象的第一方向对应的区域，以标识第二图像上是否存在第二对象。
97.例如，当通过使用知识库85，信息指示作为与第一对象的类型相关联的类型的第
二对象的篮球可能位于作为第一对象的类型的球门柱的左方向和右方向的区域中时，处理器140可以通过第二图像监测模块60从第二图像当中检测位于球门柱的左方向和右方向的区域，以标识第二图像上是否存在篮球。
98.然而，这仅仅是实施例，处理器140可以通过完整地检测第二图像来标识在第二图像上是否存在与第一对象的类型相关联的类型的第二对象。也就是说，处理器140可以基于通过知识库85获得的信息来标识在第二图像中所包括的第二对象，但是可以通过检测第二图像的完整区域来标识第二对象。
99.当标识出在第二图像上存在第二对象时，处理器140可以通过第二图像监测模块60、基于关于第一对象的类型和第二对象的类型之间的关系的信息来确定第二区域上的第二roi。
100.例如，假设处理器140通过使用知识库85获得关于关系的信息，所述关系中与第一对象的类型相关联的类型的第二对象位于与第一对象的第一方向相对应的区域中。处理器140可以基于第一方向来估计第二对象的运动方向。例如，处理器140可以估计第二对象从位于第一对象的第一方向上的区域(或者第二对象当前所位于的区域)、在朝向第一对象的方向上运动。例如，处理器140可以估计篮球从位于当前定位的球门柱的左方向或右方向的区域、在朝向球门柱的方向上运动。
101.在另一示例中，处理器140可以通过第二图像监测模块60、通过使用第二对象在构成第二图像的多个图像帧上的位置改变量或运动方向来估计第二对象的运动方向。处理器140可以通过第二图像监测模块60、基于推断的第二对象的运动方向来确定第二图像中的第二roi。具体地，处理器140可以将与基于第二对象在第二图像中所位于的区域估计的第二对象的运动方向相对应的区域确定为第二roi。第二roi可以是一个，但是可以确定两个或更多个第二感兴趣区域。
102.如果标识出第二对象出现在通过第二图像监测模块60所确定的第二roi上，则处理器140可以通过高速捕获执行模块70使用第一相机110执行高速捕获。也就是说，处理器140可以将第二对象运动并且出现在第二roi上的时间点确定为通过使用具有ssm功能的第一相机110执行高速捕获的时间点。ssm功能包括通过使用第一相机110以高速捕获电子设备100的周围来获得超慢动作图像的功能，以及以比一般图像再现速度(30fps)慢32倍或比一般慢动作(240fps)慢4倍来再现所获得的超慢动作图像的功能。
103.处理器140可以经由第二图像监测模块60来监测第二对象是否出现在所确定的第二roi上。处理器140可以监测第二roi以标识第二对象是否出现在第二roi上。
104.例如，处理器140可以通过第二图像监测模块60，经由在第二模型93中输入关于在第二roi中所包括的图像的特征信息和第二对象的类型，来标识与第二对象的类型相对应的对象是否出现在第二roi上。
105.作为另一示例，处理器140可以通过第二图像监测模块60从第一数据库中标识出与第二对象的类型相关的信息，该第一数据库收集与知识库85上的多个节点中所包括的对象的类型相关的特征。处理器140可以通过第二图像监测模块60监测是否提取了与第二roi中的所标识的第二对象的类型相关的信息，以标识第二对象是否出现在第二roi中。
106.在本公开的另一实施例中，当基于关于第一对象的信息标识出第一对象是运动对象时，处理器140可以通过对象识别模块30来估计第一对象运动的方向。具体地，处理器140
可以通过计算第一对象在第一图像中所包括的多个图像帧上的运动改变量或运动方向来估计第一对象的运动方向。
107.处理器140可以基于第一对象运动的方向来确定第一图像上的第三roi。第三roi意味着被设置为监测第一对象是否出现在第一图像中的区域。例如，处理器140可以在第一图像上基于第一对象存在的方向确定与第一对象运动的方向相对应的区域作为第三roi。这里，一个第三roi可以是一个，但是可以提供两个或更多个第三roi。当标识出第一对象出现在第三roi上时，处理器140可以通过使用第一相机110来执行高速成像。与此相关的实施例将在稍后描述的部分中详细描述。
108.根据本公开的另一实施例，当标识出在知识库85上没有其他节点连接到的第一节点时，处理器140可以通过对象识别模块30监测在第一roi中所包括的第一对象的状态改变。当标识出第一对象的状态改变时，处理器140可以通过使用第一相机110来执行高速捕获。例如，当第一对象的状态改变量超过第二阈值时，处理器140可以通过使用第一相机110执行高速捕获。也就是说，处理器140可以将第一对象的状态改变的时间点确定为通过使用第一相机110执行高速捕获的时间点。将参考图7详细描述与其相关的实施例。
109.在本公开的另一实施例中，处理器140可以基于关于第一roi的信息来标识出第一对象未被包括在第一roi中。例如，当用户触摸输入到在显示器150上显示的第一图像中不包括第一对象的区域时，处理器140可以将用户触摸的不包括第一对象的区域确定为第一roi。此时，处理器140可以标识出第一对象未被包括在第一roi中。
110.如果标识出第一对象未被包括在第一roi中，则处理器140可以激活第二相机120。处理器140可以通过第二图像监测模块60来监测在通过使用第二相机120获得的第二图像当中、不与第一图像重叠的区域上是否存在对象。
111.这里，假设第二图像是通过捕获比第一图像更广的区域所获得的实时视图。当标识出在第二图像中不与第一图像重叠的区域中存在第三对象时，并且当标识出第三对象在第一图像方向上运动时，处理器140可以通过使用第一相机110来执行高速捕获。第三对象在第一图像方向上的运动可以意味着第三对象在第一图像和第一图像重叠的区域、在第二图像中第三对象不与第一图像重叠的区域中运动。将参考图4a和图4b详细描述与其相关的实施例。
112.根据本公开的另一实施例，当通过使用第一相机110执行高速捕获时，处理器140可以获得关于第一roi和第二roi之间的关系的信息。例如，关于第一roi和第二roi之间的关系的信息可以包括关于第一roi和第二roi的相对位置的信息、关于第一roi和第二roi的每个中所包括的对象的类型的信息。
113.处理器140可以基于获得的关于第一roi和第二roi之间的关系的信息，确定稍后将通过使用第一相机110执行高速捕获的时间点。
114.例如，假设当使用第一相机110执行高速捕获时，帧被包括在第一roi中，足球被包括在第二roi中，并且第二roi被设置在第一roi的右侧区域中。此后，当标识出球门柱被包括在通过第一相机110所获得的第一图像上确定的第一roi中时，处理器140可基于关于第一roi和第二roi之间的关系的信息在第一roi的右区域上设置第二roi，并且可推断足球可能被包括在第二roi中。当足球出现在第二roi中时，处理器140可以使用第一相机110执行高速捕获。
115.根据本公开的另一实施例，假设第一图像是通过超广角镜头获得的图像，而第二图像是通过广角镜头获得的图像。在这种情况下，处理器140可以将指示第一图像的轮廓(或边界)的指示符确定为第一roi。当特定对象出现在指示第一roi的指示符中时，处理器140可以使用第一相机110执行高速捕获。
116.显示器150可以在处理器140的控制下显示各种信息。显示器150可以显示由通过第一相机110所获得的多个图像帧组成的第一图像。显示器150可以以比一般图像再现速度(30fps)慢32倍或比一般慢动作(240fps)慢4倍来显示(或再现)通过第一相机110所获得的超慢动作图像。然而，这仅仅是实施例，显示器150可以以用户设置的速度显示超慢动作图像。
117.显示器150可以与触摸面板一起实现为触摸屏，以及显示器150可以实现为液晶显示面板(lcd)、有机发光二极管(有机发光二极管)显示器等，并且可以实现为柔性显示器、透明显示器等。然而，实施例不限于上述实施方式，并且显示器150可以根据电子设备100的类型而不同地实现。
118.与人工智能相关的功能可以通过处理器140和存储器130来操作。处理器140可以包括一个或多个处理器。一个或多个处理器可以是：通用处理器，诸如中央处理器(cpu)、应用处理器(ap)、数字信号处理器(dsp)、专用处理器等；图形专用处理器，诸如图形处理器(gpu)、视觉处理单元(vpu)；ai专用(ai-only)处理器，诸如神经网络处理器(npu)等。
119.一个或多个处理器140可以根据在存储器130中所存储的预定义操作规则或ai模型来控制输入数据的处理。如果一个或多个处理器是ai专用处理器，则ai专用处理器可以设计为具有专用于处理特定ai模型的硬件结构。
120.通过训练或学习来提供预定义的操作规则或人工智能模型。通过学习提供可以指代，例如，通过将学习算法应用于多个学习数据，形成有期望特性的预定义操作规则或ai模型。该学习可以在其中执行根据实施例的ai的设备自身中执行，和/或可以通过单独的服务器/系统来实现。
121.学习算法的示例包括但不限于监督学习、非监督学习、半监督学习或强化学习。
122.ai模型可以包括多个神经网络层。多个神经网络层中的每个包括多个权重值，并且可以通过利用前一层的结果和多个权重值的迭代操作来执行神经网络处理操作。在多个神经网络层中所包括的多个权重值可以通过ai模型的学习结果来优化。例如，权重值可以被更新，使得在学习处理中由ai模型获得的损失值或成本值被减小或最小化。
123.图2是示出根据本公开的实施例的控制电子设备的方法的流程图。
124.在操作s210，电子设备100可以获得关于在第一图像中所包括的第一对象的信息，该第一图像是通过第一相机捕获电子设备的周围而获得的。具体地，电子设备100可以确定第一图像上的第一roi。将参考图3详细描述在第一图像上确定第一roi的处理。
125.电子设备100可以标识出第一对象是否被包括在所确定的第一roi中。当标识出第一对象被包括在第一roi中时，电子设备100可以通过将关于第一roi的信息应用于被训练为识别对象的第一人工智能模型来获得关于在第一roi中所包括的第一对象的信息。将参考图3详细描述电子设备100获得关于第一对象的信息的处理。将参考图4a详细描述第一对象未被包括在第一roi中的示例。
126.在操作s220，当基于获得的关于第一对象的信息标识出存在关于与第一对象相关
联的第二对象的信息时，电子设备100可以通过第二相机获得第二图像。
127.具体地，电子设备100可以通过使用关于第一对象的信息来标识第一对象是否是运动对象。如果标识出第一对象是不运动的对象，则电子设备100可以标识知识库上是否存在与第一对象的类型相关联的第二对象的信息(例如，第二对象的类型等)。当标识出在知识库上存在关于第二对象的类型的信息时，电子设备100可以激活第二相机。另外，电子设备100可以通过使用激活的第二相机来获得第二图像。将参考图3详细描述与其相关的实施例。
128.然而，这仅仅是实施例，并且电子设备100可以在不使用知识库的情况下标识是否存在与第一对象的类型相关联的第二对象的类型。由于上面已经描述了与本发明相关的实施例，所以将省略重复的描述。
129.将参考图6详细描述第一对象被标识为运动对象的情况。另外，将参考图7详细描述知识库上不存在关于与第一对象的类型相关联的第二对象的类型的信息的情况。
130.在操作s230，电子设备100可以基于第二对象是否被包括在所获得的第二图像中来确定要通过使用第一相机执行高速捕获的时间点。当标识出第二图像上存在第二对象时，电子设备100可以基于第二对象的运动方向来确定第二roi。电子设备100可监测第二对象是否出现在所确定的第二roi上。当标识出第二对象出现在第二roi上时，电子设备100可以通过使用第一相机来执行高速捕获。将参考图5详细描述与其相关的实施例。
131.图3是示出根据本公开的实施例的通过电子设备激活第二相机的处理的流程图。图3的s310到s330指定了图2的s210的操作。
132.在操作s310，电子设备100可以确定通过第一相机所获得的第一图像上的第一roi。
133.例如，电子设备100可以将第一图像输入到被训练为确定roi的第三模型，以将包括至少一个对象的区域确定为第一roi。第三模型可以是人工智能模型，该人工智能模型被训练为将包括第在一图像中的、包含至少一个对象的区域确定为roi。
134.作为另一示例，电子设备100可以通过使用自动聚焦方法来确定第一图像上的第一roi。自动聚焦指代对第一图像中所包括的特定对象进行自动聚焦的功能。当通过自动聚焦方法对第一图像中所包括的对象之一进行聚焦时，电子设备100可以将第一图像中包括聚焦的对象的区域确定为第一roi。
135.在另一示例中，电子设备100可以从在包括触摸屏的显示器上所显示的第一图像当中、将输入用户触摸的区域确定为第一roi。电子设备100可以在输入用户触摸的区域中显示具有预定大小或形状的边界框，并且将显示边界框的区域设置为第一roi。
136.在操作s320，电子设备100可以标识第一对象是否被包括在第一roi中。同时，由于当使用第三模型或自动聚焦方法时，对象被包括在第一roi中，所以电子设备100可以省略步骤s320并且执行步骤s330。
137.假设其中不包括第一对象的区域被确定为第一roi，这是因为用户触摸被输入到在显示器上所显示的第一图像当中不包括第一对象的区域。在这种情况下，电子设备100可以标识出第一对象未被包括在第一roi中。将参考图4a详细描述第一对象未被包括在第一roi中的情况。
138.当第一对象被包括在第一roi中时，在操作s330，电子设备100可以通过将关于第
一roi的信息输入到被训练为识别对象的第一模型中来获得关于在第一roi中所包括的第一对象的信息。关于第一roi的信息可以包括关于在第一roi中所包括的图像的信息(例如，构成图像的像素的色度、亮度等)。关于第一对象的信息可以包括例如第一对象的类型、第一对象的大小以及基于第一图像中所包括的多个帧图像的关于第一对象的位置改变量的信息。
139.在操作s340，电子设备100可以通过使用关于第一对象的信息来标识第一对象是否是运动对象。例如，电子设备100可以在关于第一对象的信息当中标识构成第一图像的多个图像帧上的第一对象的位置改变量，并且基于所标识的第一对象的位置改变量来分析第一对象的属性。电子设备100可以根据第一对象的属性来标识第一对象是否是运动对象。
140.如果标识出第一对象没有运动，则在操作s350，电子设备100可以标识在知识库上是否存在关于与第一对象的类型相关联的第二对象的类型的信息。上面已经描述了关于知识库上是否存在关于与第一对象的类型相关联的第二对象的类型的信息相关的实施例，因此将省略重复描述。
141.如果标识出在知识库上存在关于与第一对象的类型相关联的第二对象的类型的信息，则电子设备100可以激活第二相机。将参考图5详细描述第二相机被激活之后的实施例。当第一对象是运动对象时，将参考图6详细描述。将参考图6详细描述在知识库上不存在关于与第一对象的类型相关联的第二对象的类型的信息的情况。
142.图4a是示出根据本公开的实施例的通过使用第一相机由电子设备100执行高速捕获的处理的流程图。图4a是参考图4b具体示出在操作s320-n第一对象未被包括在第一图像400上的第一roi 407中的情况下的实施例的流程图。
143.当标识出第一对象未被包括在第一roi中时，在操作s410，电子设备100可以激活第二相机。电子设备100可以通过使用激活的第二相机获得第二图像。这里，假设第一图像400是广角视图，而第二图像405是具有比第一图像400更广的视图的超广角视图。
144.在操作s420，电子设备100可以监测在通过使用第二相机所获得的第二图像405当中在不与第一图像400重叠的区域上是否存在对象。
145.在操作s430，当标识出在第二图像405的第一图像400不重叠的区域上存在第三对象时，并且当标识出第三对象在第一图像方向上运动时，电子设备100可以通过使用第一相机110来执行高速捕获。在这种情况下，第三对象在第一图像方向上的运动意味着第三对象在第一图像和第二图像重叠的方向上、在第一图像和第二图像重叠的区域中、在第二图像中第三对象不与第一图像重叠的区域中运动(例如，在箭头411-1至411-8的方向上)。
146.根据本公开的另一实施例，电子设备100可以在第二图像中不与第一图像重叠的区域中设置第二roi(或子roi)409。例如，如图4b所示，电子设备100可以在与第一图像和第二图像重叠的区域中设置第二roi 409。电子设备100可以监测特定对象是否出现在第二roi 409中。
147.例如，当标识出第三对象在箭头411-4的方向上运动的同时出现在第二roi 409上时，电子设备100可以通过使用第一相机来执行高速捕获。电子设备100可以在通过使用第一相机执行高速捕获的同时执行ssm功能。
148.图5是示出了电子设备使用第一相机执行高速捕获的处理的本公开的另一实施例和流程图，描述了s360之后的操作。
149.在操作s510，电子设备100可以通过使用激活的第二相机获得第二图像。在操作s520，电子设备100可以标识在第二图像上是否存在第二对象。根据实施例，电子设备100可以基于知识库上所包括的信息来标识第二图像上是否存在第二对象。例如，电子设备100可以基于知识库中包括的关于第一对象的类型和第二对象的类型之间的关系的信息(例如，第一对象的类型和第二对象的类型之间的方向关系信息等)来标识第二图像上是否存在第二对象。
150.如果标识出在第二图像上存在第二对象，则在操作s530，电子设备100可以估计第二对象的运动方向。在一个实施例中，假设包括指示在知识库85上与第一对象的类型相关联的类型的第二对象位于与第一对象的第一方向相对应的区域中的信息(即，关于方向关系的信息)。电子设备100可以基于第一方向来估计第二对象的运动方向。具体地，电子设备100可以推断电子设备100从第二对象的当前位置(例如，位于第一对象的第一方向的区域)朝向第一对象运动。
151.作为另一实施例，电子设备100可以通过计算第二对象在构成第二图像的多个帧上的位置改变量或运动方向来估计第二对象要运动的方向。例如，如果计算出第二对象在构成第二图像的多个帧上在朝向第一对象的方向上运动了第一位置改变量，则电子设备100可以估计第二对象在朝向第一对象的方向上运动。
152.如果标识出在第二图像上不存在第二对象，则电子设备100可以估计第一对象的运动方向。将参考图6详细描述与其相关的实施例。
153.在操作s540，电子设备100可以基于第二对象的运动方向确定第二图像上的第二roi。这里，第二roi意味着被确定(或设置)以监测第二对象是否出现在第二图像中的区域。电子设备100可以将第二图像的与第二对象的运动方向相对应的区域确定为第二roi，该运动方向是基于第二对象位于的区域而估计的。第二roi可以是一个，但是可以确定两个或更多个第二感兴趣区域。
154.在操作s550，电子设备100可以监测第二对象是否出现在第二roi上。根据实施例，电子设备100可以通过输入在第二roi中所包括的图像的特征信息和关于第二roi的信息当中的第二对象的类型到第二模型93，获得关于与第二对象的类型相对应的对象是否出现在第二roi中的信息。
155.作为另一示例，电子设备100可以在第一数据库当中标识与第二对象的类型相关的信息，该第一数据库收集与知识库上的多个节点中所包括的对象的类型相关的特征。另外，电子设备100可以监测是否从第二roi中提取了与所标识的第二对象的类型相关的信息，以标识第二对象是否出现在第二roi中。
156.如果标识出第二对象出现在第二roi上，则在操作s560，电子设备100可以通过使用第一相机来执行高速捕获。电子设备100可以将第二对象运动时出现在第二roi上的时间点确定为通过使用第一相机执行高速捕获的时间点。
157.图6是示出根据本公开的实施例的使用第一相机执行高速捕获的处理的流程图。
158.在操作s340-y，如果第一对象被标识为运动对象，则电子设备100可以执行图6的步骤s610。在操作s610，电子设备100可以估计第一对象的运动方向。具体地，电子设备100可以通过计算第一对象在第一图像中所包括的多个图像帧上的运动改变量或运动方向来估计第一对象的运动方向。
159.在操作s620，电子设备100可以基于估计的第一对象运动的方向确定第一图像上的第三roi。第三roi意味着被设置为监测第一对象是否出现在第一图像中的区域。例如，电子设备100可以基于第一对象存在的方向在第一图像上确定与第一对象运动的方向相对应的区域和第三roi。这里，第三roi可以是一个或两个或更多个。
160.在操作s630，电子设备100可以监测第一对象是否出现在第三roi上。当标识出第一对象出现在第三roi上时，在操作s640，电子设备100可以通过使用第一相机来执行高速捕获。也就是说，当在第一图像中所包括的第一对象是运动对象时，电子设备100可以确定第一图像上的第一roi，并且基于第一对象是否出现在第一roi中，使用第一相机执行高速捕获。
161.图7是用于描述根据本公开的实施例的确定通过使用第一相机执行高速捕获的时间点的处理的流程图。如果在操作350-n知识库上没有关于与第一对象的类型相关联的第二对象的类型的信息，或者如果在操作s520-n在第二图像上不存在第二对象，则在操作s710，电子设备100可以监测第一对象的状态改变。
162.在操作s720，电子设备100可以标识出第一对象的状态改变量是否超过第二阈值。这里，状态改变量意味着诸如第一对象的大小、体积、形状等物理量的改变程度被数字化。第二阈值可以是通过实验、研究等计算的预定值，但是不限于此，并且可以由用户改变。
163.在实施例中，假设第一对象被实现为包含水的气球。当包含水的气球爆裂时，包含水的气球的形状或体积可能大大地改变。在这种情况下，电子设备100可以标识包含水的气球的状态改变量超过第二阈值。
164.在操作s730，当第一对象的状态改变量被标识为超过第二阈值时，电子设备100可以通过使用第一相机来执行高速捕获。电子设备100可以将第一对象的状态改变的时间点确定为通过使用第一相机进行高速捕获的时间点。
165.根据本公开的另一实施例，当第一对象的状态当中的表示第一对象的图像的信息(例如，颜色、对比度、像素值等)改变时，电子设备100可以通过使用第一相机来执行高速捕获。例如，当表示第一对象的图像的信息的改变量(例如，第一对象的图像的颜色的改变等)超过第三阈值时，电子设备100可以通过使用第一相机来执行高速捕获。
166.图8是详细示出根据本公开的另一实施例的电子设备100的配置的框图。如图8所示，电子设备100可以包括第一相机110、第二相机120、存储器130、处理器140、显示器150、通信器160、扬声器170、麦克风180和输入器190。已经参考图1a详细描述了第一相机110、第二相机120、存储器130、处理器140和显示器150，并且将不再进一步描述。
167.通信器160可以包括电路并且与外部设备通信。通信器160与外部设备和外部服务器的通信可以包括通过第三设备(例如，中继器、集线器、接入点、服务器、网关等)的通信。
168.通信器160可以包括各种通信模块，以执行与外部设备的通信。例如，通信器160可以包括无线通信模块，例如，可以包括使用以下任何一种的蜂窝通信，例如：第五代(5g)、长期演进(lte)、高级lte(lte-a)、码分多址(cdma)、宽带cdma(wcdma)等。
169.作为另一示例，无线通信模块可以包括例如无线保真(wifi)、蓝牙(bt)、蓝牙低功耗(ble)、zigbee(紫蜂)、射频(rf)或体域网(ban)中的至少一种。然而，这仅仅是实施例，通信器120可以包括有线通信模块。
170.图1所示的第一模型80、知识库85、第二模型93、第三模型95和第四模型97可以包
括在外部服务器中。通信器160可以从外部服务器接收知识库85。
171.根据实施例，通信器160可以将关于第一roi的信息发送到包括第一模型80的外部服务器，并且可以从外部服务器接收关于第一对象的信息。
172.在另一实施例中，通信器160可以将关于在第二roi中所包括的图像和第二对象的类型的信息发送到包括第二模型93的外部服务器，并且从外部服务器接收指示与第二对象的类型对应的对象是否被包括在第二roi中的信息。
173.根据另一实施例，通信器160可以将第一图像发送到包括第三模型95的外部服务器，并且从外部服务器接收输入的第一图像当中关于被设置为第一roi的区域的信息。处理器140可以基于通过通信器160获得的关于被设置为第一roi的区域的信息来确定第一图像中的第一roi。
174.在另一实施例中，通信器160可将与第一对象的类型相对应的标签或第一对象的图像发送到包括第四模型97的外部服务器，并且从外部服务器接收指示与第一对象的类型相关联的第二对象的类型或与第一对象相关联的第二对象的信息。
175.扬声器170输出其中由音频处理单元(未示出)执行了诸如解码、放大和噪声过滤的各种处理操作的各种音频数据。此外，扬声器170可以输出各种通知声音或语音消息。
176.例如，扬声器170可以输出指示通过使用第一相机110执行高速捕获的时间点的通知声音。作为另一示例，扬声器160可以输出在ssm图像中所包括的音频数据。
177.麦克风180是能够接收来自用户的语音的配置。麦克风180可以设置在电子设备100内部，但是可以设置在电子设备100外部并且电连接到电子设备100。另外，当麦克风180设置在外部时，麦克风180可以通过有线/无线接口(例如，wi-fi、蓝牙)将生成的用户语音信号发送到处理器140。
178.麦克风180可以接收包括能够唤醒对话系统(未示出)的唤醒词(或触发词)的用户语音，该对话系统是能够识别和理解来自用户的语音输入的人工智能模型。麦克风180可以接收包括用于使用第一相机110执行高速捕获的命令的用户语音。处理器140可以向对话系统输入用户语音，该用户语音包括通过麦克风180获得的执行高速捕获的命令。处理器140可以基于通过对话系统获得的信息使用第一相机110来执行高速捕获。
179.输入器190包括电路，并且可以接收用于控制电子设备100的用户输入。输入器190可以包括用于接收使用用户手或手写笔的用户触摸的触摸面板，以及用于接收用户操纵的按钮等。作为另一示例，输入器190可以被实现为另一输入设备(例如，键盘、鼠标、运动输入器等)。输入器170可以接收各种用户命令。
180.然而，应当理解，本公开不限于下文描述的具体实施例，而是包括本公开的实施例的各种修改、等同物和/或替代物。关于附图的解释，贯穿本公开，相似的附图标记可以用于相似的组成元件。
181.在本公开中，诸如“具有”、“可能具有”、“包括”、“可能包括”等表达表示相对应的特征(例如，诸如数字、功能、操作或部件的组件)的存在，并且不排除附加特征的存在。
182.在本公开中，诸如“a或b”、“a或/和b中的至少一个”或“a或/和b中的一个或多个”的表达可以包括一起列举的项目的所有可能的组合。例如，术语“a[或/和]b中的至少一个”意味着(1)包括至少一个a，(2)包括至少一个b，或(3)包括至少一个a和至少一个b两者。
[0183]
当在本文使用时，术语“第一”、“第二”等可以表示各种组件，而与顺序和/或重要
性无关，并且可以用于将一个组件与另一组件相区分，而不对这些组件进行限制。
[0184]
如果某个元件(例如，第一元件)被描述为“可操作地或通信地耦合到/连接到”另一元件(例如，第二元件)或“与”另一元件“可操作地或通信地耦合到/连接”，则应当理解，该某个元件可以直接地或通过又一元件(例如，第三元件)连接到该另一元件。另一方面，如果描述了某个元件(例如，第一元件)“直接地耦合到”或“直接地连接到”另一元件(例如，第二元件)，则可以理解在该某个元件和该另一元件之间没有元件(例如，第三元件)。
[0185]
术语“被配置为”不一定意味着设备在硬件方面是“被专门地设计为”。相反，在某些情况下，表达“设备，被配置为”可能意味着该设备“能够”与另一设备或组件一起执行操作。例如，短语“处理器，被配置为执行a、b和c”可以意味着用于执行相对应操作的专用处理器(例如，嵌入式处理器)，或者可以通过执行在存储器设备中所存储的一个或多个软件程序来执行相对应的操作的通用处理器(例如，中央处理单元(cpu)或应用处理器)。
[0186]
如上所述的各种示例实施例可以采用包括在机器(例如，计算机)可读的机器可读存储介质中所存储的指令的软件来实现。机器是可以从存储介质调用指令并且根据调用的指令进行操作的设备，并且可以包括根据实施例的服务器云。当指令由处理器执行时，处理器可以直接地或通过使用处理器控制下的其他组件来执行与指令相对应的功能。
[0187]
诸如“模块”、“单元”、“部件”等术语用于指代执行至少一个功能或操作的元件，并且这种元件可以实现为硬件或软件、或者硬件和软件的组合。此外，除了当多个“模块”、“单元”、“部件”等中的每个需要在单独的硬件中实现时，组件可以集成在至少一个模块或芯片中并且在至少一个处理器中实现。
[0188]
指令可以包括由编译器生成的代码或由解释器可执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。本文中，术语“非暂时性”仅表示存储介质不包括信号，而是有形的，并且不对分数据半永久地存储在存储介质中的情况与数据临时存储在存储介质中的情况进行区分。例如，“非暂时性存储介质”可以指代临时地存储数据的缓冲器。
[0189]
根据实施例，根据本文公开的各种实施例的方法可以在计算机程序产品中提供。计算机程序产品可以作为商品在卖方和买方之间交换。计算机程序产品可以以机器可读存储介质(例如，压缩盘只读存储器(cd-rom))的形式分发，或者通过应用商店(例如，playstore
tm
)在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以临时地或至少临时存储在存储介质中，例如制造商的服务器、应用商店的服务器或中继服务器的存储器。
[0190]
根据各种实施例的每个元件(例如，模块或程序)可以包括单个实体或多个实体，并且上述子元件的一些子元件可以被省略，或者不同的子元件可以进一步被包括在各种实施例中。替代地或附加地，一些元件(例如，模块或程序)可以被集成到一个实体中，以执行与在集成之前由每个相应元件执行的相同或相似的功能。根据各种实施例，由模块、程序或另一元件执行的操作可以顺序地、并行地、重复地或以启发式的方式执行，或者至少一些操作可以以不同的顺序执行、省略或者可以添加不同的操作。

技术特征：
1.一种电子设备，包括：第一相机，包括具有第一焦距的第一镜头；第二相机，包括具有与第一焦距不同的第二焦距的第二镜头；存储器；以及处理器，被配置为：获得关于在第一图像中所包括的第一对象的信息，第一图像是通过第一相机捕获电子设备的周围而获得的，根据基于所获得的关于第一对象的信息来标识关于与第一对象相关联的第二对象的信息，通过第二相机获得第二图像，以及基于第二对象是否被包括在所获得的第二图像中，确定使用第一相机执行高速捕获的时间点。2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：确定所获得的第一图像上的第一感兴趣区域(roi)，以及通过将关于第一roi的信息应用于被训练为识别对象的第一模型，获得关于在第一roi中所包括的第一对象的信息。3.根据权利要求1所述的电子设备，其中，所述存储器存储知识库，知识库包括与多个对象中的每个相关的信息，其中，所述处理器还被配置为：使用关于第一对象的信息来标识第一对象是否是运动对象，基于标识出第一对象是非运动对象，标识在知识库上是否存在关于与第一对象的类型相关联的第二对象的类型的信息，以及基于标识出在知识库上存在关于第二对象的类型的信息，通过激活第二相机来获得第二图像。4.根据权利要求3所述的电子设备，其中，所述知识库包括多个节点和边，多个节点包括多个对象的类型，边包含关于多个节点之间的方向关系的信息，其中，所述处理器还被配置为：在知识库中所包括的多个对象当中标识包含第一对象的类型的第一节点，以及标识在知识库上通过包括关于方向关系的信息的边是否存在连接到所标识的第一节点的节点。5.根据权利要求4所述的电子设备，其中，所述处理器还被配置为：基于标识出在知识库上存在连接到第一节点的第二节点，通过激活第二相机来获得第二图像，以及基于连接在第一节点和第二节点之间的边中所包括的关系信息，标识第二对象是否存在于第二图像上。6.根据权利要求5所述的电子设备，其中，所述处理器还被配置为：基于标识出第二对象存在于第二图像上，估计第二对象的运动方向，以及基于所估计的第二对象的运动方向来确定第二图像上的第二roi。7.根据权利要求6所述的电子设备，其中，所述处理器还被配置为：标识第二对象是否出现在所确定的第二roi上，以及将第二对象出现在第二roi上的时间点确定为使用第一相机执行高速捕获的时间点。
8.根据权利要求3所述的电子设备，其中，所述处理器还被配置为：基于使用关于第一对象的信息标识出第一对象是运动对象，估计第一对象运动的方向，基于所估计的第一对象运动的方向来确定第一图像上的第三roi，以及将第一对象出现在第三roi上的时间点确定为使用第一相机执行高速捕获的时间点。9.根据权利要求3所述的电子设备，其中，所述处理器还被配置为：基于标识出在知识库上不存在关于与第一对象的类型相关联的第二对象的类型的信息，监测在第一roi中所包括的第一对象的状态改变，以及将第一对象的状态改变的时间点确定为使用第一相机执行高速捕获的时间点。10.根据权利要求2所述的电子设备，其中，所述处理器还被配置为：根据基于关于第一roi的信息标识出第一对象未被包括在第一roi中，通过激活第二相机来获得第二图像，标识第二图像上不与第一图像重叠的区域上的第三对象，以及将第三对象在第一图像的方向上运动的时间点确定为使用第一相机执行高速捕获的时间点。11.一种控制电子设备的方法，所述电子设备包括第一相机和第二相机，第一相机包括具有第一焦距的第一镜头，第二相机包括具有与第一焦距不同的第二焦距的第二镜头，所述方法包括：获得关于在第一图像中所包括的第一对象的信息，第一图像是通过第一相机捕获电子设备的周围而获得的，根据基于所获得的关于第一对象的信息来标识关于与第一对象相关联的第二对象的信息，通过第二相机获得第二图像，以及基于第二对象是否被包括在所获得的第二图像中，确定使用第一相机执行高速捕获的时间点。12.根据权利要求11所述的方法，其中，获得关于第一对象的信息包括：确定所获得的第一图像上的第一感兴趣区域(roi)；和通过将关于第一roi的信息应用于被训练为识别对象的第一模型，获得关于在第一roi中所包括的第一对象的信息。13.根据权利要求11所述的方法，其中，获得第二图像包括：使用关于第一对象的信息来标识第一对象是否是运动对象；基于标识出第一对象是非运动对象，标识在知识库上是否存在关于与第一对象的类型相关联的第二对象的类型的信息；以及基于标识出在知识库上存在关于第二对象的类型的信息，通过激活第二相机来获得第二图像。14.根据权利要求13所述的方法，其中，所述知识库包括多个节点和边，多个节点包括多个对象的类型，边包括关于多个节点之间的方向关系的信息，其中，确定包括在知识库中所包括的多个对象中标识包括第一对象的类型的第一节点，以及标识在知识库上通过包括关于方向关系的信息的边是否存在连接到所标识的第一节点的节点。
15.根据权利要求14所述的方法，其中，确定包括：基于标识出在知识库上存在连接到第一节点的第二节点，通过激活第二相机来获得第二图像，以及基于连接在第一节点和第二节点之间的边中所包括的关系信息，标识第二对象是否存在于第二图像上。

技术总结
公开了一种电子设备以及用于控制该电子设备的方法。本公开的电子设备可以包括：第一相机，包括具有第一焦距的第一镜头；第二相机，包括具有与第一焦距不同的第二焦距的第二镜头；存储器；以及处理器，其：获取关于在第一图像中所包括的第一对象的信息，该第一图像是通过第一相机捕获电子设备的周围而获取的；如果基于所获取的关于第一对象的信息标识出关于与第一对象相关联的第二对象的信息存在，则通过第二相机获取第二图像；以及基于第二对象是否包括在所获取的第二图像中，确定要使用第一相机执行高速图像捕获的时间点。相机执行高速图像捕获的时间点。相机执行高速图像捕获的时间点。


技术研发人员：崔贤秀 姜承秀 康爔允
受保护的技术使用者：三星电子株式会社
技术研发日：2021.09.14
技术公布日：2023/7/20