结算处理系统、显示装置以及显示方法与流程

结算处理系统、显示装置以及显示方法
1.关联申请的相互参照
2.本技术要求2020年11月2日在日本技术的特愿2020-183749的优先权，并将在先申请的全部内容引入于此以用于参照。
技术领域
3.本发明涉及结算处理系统、显示装置以及显示方法。


背景技术：

4.例如专利文献1中公开了在零售店等中能够在没有工作人员的介入的情况下由购买者自己进行结算处理的自助收银机系统。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2016-194959号公报。


技术实现要素：

8.本发明的一个方面的结算处理系统具有拍摄装置、显示装置以及收银机。所述拍摄装置拍摄拍有拍摄对象的第一图像。所述显示装置获取所述第一图像，并对所述收银机的输入部显示包括所述拍摄对象的识别信息的第二图像。所述收银机基于所述识别信息来确定所述拍摄对象的类型。所述第二图像是对所述第一图像执行物体识别处理或校正处理而生成的。
9.另外，本发明的一个方面的显示装置具有输入部以及输出部。所述输入部获取拍有拍摄对象的第一图像。所述输出部执行对收银机的输入部显示包括所述拍摄对象的识别信息的第二图像的显示处理。所述第二图像是对所述第一图像执行物体识别处理或校正处理而生成的。
10.另外，本发明的一个方面的显示方法获取拍有拍摄对象的第一图像，对所述第一图像执行物体识别处理或校正处理，生成包括所述拍摄对象的识别信息的第二图像，对收银机的输入部显示所述第二图像。
11.另外，本发明的一个方面的结算处理系统具有物体识别装置、显示装置以及收银机。所述物体识别装置基于拍有拍摄对象的第一图像来确定所述拍摄对象。所述显示装置对所述收银机的输入部显示包括所述拍摄对象的识别信息的第二图像。所述收银机基于所述识别信息确定所述拍摄对象的类型。
附图说明
12.图1是结算处理系统的第一实施方式的功能框图。
13.图2是结算处理系统的第一实施方式的外观图。
14.图3是结算处理系统的第一实施方式中包括的显示装置的功能框图。
15.图4是条码的图像示意图。
16.图5a是对条码执行旋转校正处理前的图像示意图。
17.图5b是对条码执行旋转校正处理后的图像示意图。
18.图6a是对条码执行再生成校正处理前的图像示意图。
19.图6b是对条码执行再生成校正处理后的图像示意图。
20.图7是结算处理系统的第一实施方式中的拍摄对象的确定处理的流程图。
21.图8是结算处理系统的第二实施方式的功能框图。
22.图9是结算处理系统的第二实施方式的外观图。
23.图10是结算处理系统的第二实施方式中包括的显示装置的功能框图。
24.图11是结算处理系统的第二实施方式中的拍摄对象的确定处理的流程图。
25.图12是结算处理系统的第三实施方式的功能框图。
26.图13是结算处理系统的第三实施方式中的拍摄对象的确定处理的流程图。
具体实施方式
27.当引入专利文献1那样的自助收银机系统时，大多伴随与现有的收银机系统进行替换。鉴于设备投资的成本，期望引入自助收银机系统而不伴随与现有的收银机系统进行替换。根据本发明，能够构建与现有的收银机系统连接的形式的自助收银机系统。
28.以下，参照附图说明应用了本发明的结算处理系统以及显示装置的实施方式。
29.[第一实施方式]
[0030]
图1和图2是结算处理系统的第一实施方式的各功能框图和外观图。
[0031]
如图1所示，本发明的第一实施方式的结算处理系统构成为包括拍摄装置1、显示装置2以及收银机3。
[0032]
在以后的图中，连接各功能块的实线箭头表示控制信号或进行通信的信息的流动。实线箭头表示的通信可以是有线通信，可以是无线通信，也可以是两者的组合。当通过无线进行通信时，拍摄装置1、显示装置2或收银机3也可以构成为包括用于按照包括例如bluetooth(注册商标)或ieee802.11的各种通信标准进行无线通信的通信模块。无线通信也可以是光通信。
[0033]
另外，在以后的图中，连接各功能块的虚线箭头表示例如位于终点侧的功能块获取位于箭头的起点侧的功能块的信息这样的信息的流动。虚线箭头表示的信息的流动例如也可以是图像分析的流动。
[0034]
拍摄装置1构成为包括拍摄部11、获取部12以及输出部13。
[0035]
拍摄部11拍摄拍摄对象，生成拍有拍摄对象的第一图像。第一图像也能够称为拍摄图像。
[0036]
拍摄部11构成为包括拍摄光学系统以及拍摄元件。拍摄光学系统例如包括1个以上的透镜以及光圈等光学部件。透镜可以是不限于焦距的任意的透镜，例如也可以是一般的透镜、包括鱼眼透镜的广角透镜或焦距可变的变焦透镜。拍摄光学系统使被摄体像在拍摄元件的受光面上成像。拍摄元件例如包括ccd(charge coupled device：电荷耦合元件)图像传感器或cmos(complementary metal-oxide semiconductor：互补金属氧化物半导体)图像传感器等。拍摄元件拍摄在受光面上成像的被摄体像来生成拍摄图像。拍摄部11可
以以任意的帧率连续地拍摄静止图像。连续地拍摄静止图像也能够称为拍摄动态图像。
[0037]
获取部12从拍摄部11拍摄的第一图像中提取用于确定拍摄对象的类型的识别信息。获取部12通过提取识别信息来获取识别信息。
[0038]
识别信息既可以是例如包括jan(japan article number：日本商品编号)代码的一维条码，也可以是包括qr代码(注册商标)的二维条码。通常，通过使用识别信息来确定拍摄对象的品名或金额，能够进行结算处理、销售管理以及库存进货管理等。
[0039]
获取部12例如也可以使用基于模式匹配或机器学习的物体识别方法以提取识别信息。作为用于提取识别信息的物体识别方法，获取部12可以使用例如检测网络(detection network)或滑窗检测(sliding window detection)等这样的公知的方法。
[0040]
获取部12可以通过例如以包括识别信息的方式由第一图像执行修剪处理从而生成新的图像，以使获取部12提取识别信息。
[0041]
获取部12构成为包括处理器以及存储器。处理器可以包括cpu(central processing unit：中央处理器)、gpu(graphics processing unit：图形处理器)或fpga(field-programmable gate array：现场可编程门阵列)等。存储器可以包括半导体存储器、磁存储器或光存储器等。半导体存储器可以包括易失性存储器或非易失性存储器等。磁存储器例如可以包括硬盘或磁带等。光存储器例如可以包括cd(compact disc：光盘)、dvd(digital versatile disc：数字通用光盘)或bd(blu-ray(注册商标)disc)等。
[0042]
获取部12具有的存储器可以存储与拍摄装置1的动作有关的各种信息或参数。存储器可以存储由获取部12执行的程序。存储器可以作为获取部12的工作存储器发挥作用。存储器可以存储第一图像或识别信息等。
[0043]
输出部13向显示装置2具有的输入部21输出获取部12获取的识别信息。
[0044]
在图2中，示出了在输出部13与输入部21之间有线连接从而进行有线通信的例子，如段落[0014]所记载那样，也可以在输出部13与输入部21之间进行无线通信。
[0045]
图3是结算处理系统的第一实施方式中包括的显示装置2的功能框图。
[0046]
显示装置2构成为包括输入部21、运算部22以及输出部23。
[0047]
输入部21接受拍摄装置1具有的输出部13输出的识别信息的输入。
[0048]
如图3所示，运算部22构成为包括判定部221以及校正处理部222。
[0049]
运算部22构成为包括处理器以及存储器。处理器可以包括cpu(central processing unit：中央处理器)、gpu(graphics processing unit：图形处理器)或fpga(field-programmable gate array：现场可编程门阵列)等。存储器可以包括半导体存储器、磁存储器或光存储器等。半导体存储器可以包括易失性存储器或非易失性存储器等。磁存储器可以包括例如硬盘或磁带等。光存储器可以包括例如cd(compact disc)、dvd(digital versatile disc)或bd(blu-ray(注册商标)disc)等。
[0050]
运算部22具有的存储器可以存储与显示装置2的动作有关的各种信息或参数。存储器可以存储由运算部22执行的程序。存储器可以作为运算部22的工作存储器发挥作用。存储器可以存储第一图像或识别信息等。
[0051]
判定部221对输入部21接受的识别信息判定是否满足规定的条件。
[0052]
规定的条件可以是指例如后述的收银机3具有的输入部31检测识别信息并能够确定拍摄对象。换言之，也可以是指是否需要由校正处理部222对识别信息进行校正处理。即，
当判定部221判定为不能通过输入部31检测到的识别信息来确定拍摄对象时，识别信息不满足规定的条件。
[0053]
当判定部221判定识别信息满足规定的条件时，判定部221将识别信息作为第二图像输出。判定部221可以对识别信息执行例如修剪处理或识别信息的重配这样的校正处理，接着输出第二图像，以使输入部31容易读取。即，只要识别信息描绘或存在于第二图像中即可。
[0054]
当判定部221未判定为识别信息满足规定的条件时，即当判定为需要由校正处理部222对识别信息进行校正处理时，校正处理部222对识别信息执行以满足规定的条件为目的的校正处理。
[0055]
校正处理部222例如对识别信息执行作为校正处理的旋转校正/失真校正/对比度校正/边缘校正/再生成校正中的任意一种，生成校正后识别信息。
[0056]
使用图4到图6，在假设识别信息为一维条码的基础上，对校正处理部222执行的校正处理进行说明。
[0057]
图4是用于说明识别信息的构成的图像示意图。
[0058]
如图4所示，通常，一维条码构成为包括条码符号bs以及数据字符dc。但是，也存在二维条码等不包括数据字符dc的情况。
[0059]
条码符号bs由光学反射率较高的部分和较低的部分以及宽度不同的平行且长方形的条或空间的排列而构成，并且以能够机械读取的方式被编码。条码符号bs通过例如基于像jan代码那样的任意的标准将作为细条的窄条、作为粗条的宽条、作为细空间的窄空间、作为粗空间的宽空间四种组合而构成。收银机具有的条码读取器通过作为条码读取器的扫描区域的扫描区sz读取条码符号bs，从而能够确定对象物。需要说明的是，除二维条码等以外，条码符号bs的长度方向的两端与被称为空白区的空间相邻。如果在扫描区sz中包括与条码符号bs的长度方向的两端相邻的空白区，可以说在扫描区sz中适当地包括条码符号bs的长度方向的两端。
[0060]
数据字符dc为条码符号bs中被编码的字符/数字串。换言之，可以说基于任意的标准将数据字符dc所记载的字符/数字串编码而成为条码符号bs。
[0061]
图5a是识别信息倾斜的状态的图像示意图。
[0062]
如图5a所示，当识别信息例如以倾斜的状态被输入到判定部221中时，有时在扫描区sz内没有适当地包括条码符号bs。在该情况下，判定部221判定为不能说识别信息满足规定的条件，并判定为需要校正处理部222对识别信息执行旋转校正处理。
[0063]
判定部221例如可以基于条码符号bs的两端是否包括在扫描区sz中来判定是否需要校正处理部222对识别信息执行旋转校正处理。即，当判定部221判定为条码符号bs的两端未包括在扫描区sz中时，校正处理部222可以对识别信息执行旋转校正处理。
[0064]
图5b是对倾斜的识别信息进行的旋转校正处理的图像示意图。
[0065]
当判定部221判定为需要校正处理部222对识别信息执行旋转校正处理时，如图5b所示，校正处理部222对识别信息执行旋转校正处理。举出图5b的例子，从图正面观察时使透明地示出的倾斜的识别信息左转，执行旋转校正处理以使扫描区sz内包括条码符号bs。
[0066]
另外，作为用于判定为需要校正处理部222对识别信息执行旋转校正处理的方法，例如可以利用使用机器学习或最频角的旋转校正方法。作为使用机器学习的旋转校正方
法，例如，可以使用将包括旋转n度作为旋转角的识别信息的图像作为输入，以回归n度的形式使其学习cnn(convolutional neural network：卷积神经网络)从而应用深度学习的方法。作为使用最频角的旋转校正方法的内部处理，可以使用如下处理：着眼于包括一维条码或二维条码的识别信息构成为包括多根平行线，通过hough变换等检测直线并推断各直线的角度，求出推断的各直线的角度的最频值，从而推断识别信息在第一图像内的角度。
[0067]
另外，当识别信息例如以伴随失真的状态被输入到判定部221时，有时在扫描区sz内没有适当地包括条码符号bs。在该情况下，判定部221判定为不能说识别信息满足规定的条件，并判定为需要校正处理部222对识别信息执行失真校正处理。
[0068]
判定部221可以根据例如识别信息中包括的窄条或宽条的各起点和终点求出形状信息，根据其是否均匀来判定是否需要校正处理部222对识别信息执行失真校正处理。即，当判定部221判定为识别信息的形状信息不均匀时，校正处理部222可以对识别信息执行失真校正处理。
[0069]
失真校正处理可以包括例如进行矩阵变换以使形状信息变得均匀。
[0070]
另外，当识别信息例如以不清晰的状态被输入到判定部221时，有时在扫描区sz内没有适当地包括条码符号bs。在该情况下，判定部221判定为不能说识别信息满足规定的条件，并判定为需要校正处理部222对识别信息执行对比度校正处理。
[0071]
判定部221例如可以基于条部分与空间部分的亮度的比或差来判定是否需要校正处理部222对识别信息执行对比度校正处理。即，当判定部221判定为亮度的比或差为规定的阈值以下时，校正处理部222可以对识别信息执行对比度校正处理。
[0072]
对比度校正处理例如可以包括伽马值的改变或图像的二值转换处理中的任意一种。
[0073]
另外，当识别信息例如以伴随被摄体抖动的状态被输入到判定部221中时，有时在扫描区sz内没有适当地包括条码符号bs。在该情况下，判定部221判定为不能说识别信息满足规定的条件，并判定为需要校正处理部222对识别信息执行边缘校正处理。
[0074]
判定部221例如可以基于窄条/宽条和窄空间/宽空间之间的条部分与空间部分的边界部的空间频率来判定是否需要校正处理部222对识别信息执行边缘校正处理。即，当判定部221判定为空间数为规定的阈值以下时，校正处理部222可以对识别信息执行边缘校正处理。
[0075]
边缘校正处理例如可以包括边缘增强或图像的二值转换处理中的任意一种。另外，在边缘校正处理中，可以进行高分辨率处理。
[0076]
图6a是识别信息部分缺失的图像示意图。
[0077]
如图6a所示，当识别信息例如以部分缺失的状态被输入到判定部221时，有时在扫描区sz内没有适当地包括条码符号bs。在该情况下，判定部221判定为不能说识别信息满足规定的条件，并判定为需要校正处理部222对识别信息执行再生成校正处理。
[0078]
判定部221可以基于例如不适合旋转校正、失真校正、对比度校正或边缘校正中的校正的判定来判定是否需要校正处理部222对识别信息执行再生成校正处理。即，当判定部221判定为识别信息不满足规定的条件并且不满足旋转校正、失真校正、对比度校正或边缘校正的条件时，校正处理部222可以对识别信息执行再生成校正处理。
[0079]
图6b是对部分缺失的识别信息进行的再生成校正处理的图像示意图。
[0080]
当判定部221判定为需要校正处理部222对识别信息执行再生成校正处理时，如图6b所示，校正处理部222对识别信息执行再生成校正处理。举出图6b的例子时，校正处理部222执行如下的再生成校正处理，即根据部分缺失的识别信息来检测避免了缺失的条码符号bs的可读取区sbz或数据字符dc，并基于检测到的可读取区sbz或数据字符dc来重新生成识别信息。
[0081]
校正处理部222可以将包括到目前为止能够说明的旋转校正/失真校正/对比度校正/边缘校正/再生成校正的校正处理方法中的任意两个以上组合来执行校正处理。需要说明的是，校正处理方法可以使用到目前为止说明的方法以外的公知的方法。
[0082]
判定部221可以对校正处理部222生成的校正后识别信息判定是否满足规定的条件。当判定部221判定为校正后识别信息满足规定的条件时，判定部221基于校正后识别信息生成第二图像。
[0083]
如图2所示，输出部23向后述的收银机3具有的输入部31显示第二图像。
[0084]
输出部23构成为包括例如液晶显示器、有机el(emitting diode)显示器或无机el显示器等显示设备。
[0085]
收银机3构成为包括输入部31、确定部32以及结算处理部33。
[0086]
输入部31对显示装置2具有的输出部23显示的第二图像进行分析，获取用于确定拍摄对象的类型的确定用信息。
[0087]
输入部31例如也可以为光学式读取器。光学式读取器例如也可以是笔读取器、ccd触摸读取器、激光扫描仪、二维条码读取器或固定式条码读取器中的任意一种。
[0088]
确定部32基于输入部31获取的确定用信息来确定拍摄对象。确定拍摄对象包括确定拍摄对象的品名或金额。
[0089]
结算处理部33基于确定部32确定的拍摄对象的品名或金额等进行结算处理。结算处理也可以为算出例如确定部32确定的1个以上的拍摄对象的合计金额。
[0090]
接着，参照图7说明结算处理系统的第一实施方式中的拍摄对象的确定处理流程。
[0091]
＜s001＞拍摄装置1中具有的拍摄部11拍摄拍摄对象来获取第一图像。接着，处理进入＜s002＞。
[0092]
＜s002＞拍摄部11获取第一图像后，获取部12从第一图像中提取识别信息。接着，处理进入＜s003＞。
[0093]
＜s003＞获取部12提取识别信息后，输出部13向显示装置2中具有的输入部21输出识别信息。接着，处理进入＜s004＞。
[0094]
＜s004＞输出部13输出识别信息后，输入部21接受识别信息的输入。接着，处理进入＜s005＞。
[0095]
＜s005＞输入部21接受识别信息的输入后，运算部22中具有的判定部221判定识别信息是否满足规定的条件。当判定部221判定为识别信息满足规定的条件时，处理进入＜s009＞。当判定部221未判定为识别信息满足规定的条件时，处理进入＜s006＞。
[0096]
＜s006＞当判定部221未判定为识别信息满足规定的条件时，校正处理部222执行校正处理并生成校正后识别信息。接着，处理进入＜s007＞。
[0097]
＜s007＞校正处理部222执行校正处理并生成校正后识别信息后，判定部221判定校正后识别信息是否满足规定的条件。当判定部221判定为校正后识别信息满足规定的条
件时，处理进入＜s009＞。当判定部221判定为校正后识别信息不满足规定的条件时，处理进入＜s008＞。
[0098]
＜s008＞当判定部221判定为校正后识别信息不满足规定的条件时，判定部221执行错误处理。接着，该确定处理流程结束。
[0099]
错误处理例如也可以是向用户或工作人员的通知。向用户或工作人员的通知例如可以为显示器上的错误通知、通过声音的错误通知或向另行设置的管理系统等通知与错误发生有关的通知。在该情况下，显示装置2可以具有显示器、扬声器或通信模块以执行错误处理。
[0100]
＜s009＞当判定部221判定为识别信息或校正后识别信息满足规定的条件时，判定部221基于识别信息或校正后识别信息生成第二图像。接着，处理进入＜s010＞。
[0101]
＜s010＞判定部221生成第二图像后，输出部23显示第二图像。接着，处理进入＜s011＞。
[0102]
＜s011＞输出部23显示第二图像后，收银机3具有的输入部31对输出部23中显示的第二图像进行分析，并获取用于确定拍摄对象的类型的确定用信息。接着，处理进入＜s012＞。
[0103]
＜s012＞输入部31获取用于确定拍摄对象的类型的确定用信息后，确定部32基于确定用信息来确定拍摄对象的类型。接着，该确定处理流程结束。
[0104]
[第二实施方式]
[0105]
在第一实施方式中，拍摄装置1具有的获取部12以及显示装置2具有的运算部22分别执行运算处理。另一方面，也能够通过例如像中央服务器那样的外部计算资源执行运算处理。即，在结算处理系统的第二实施方式中，运算处理通过外部计算资源执行。
[0106]
需要说明的是，关于第二实施方式以后的实施方式的说明，重点将放在与第一实施方式的不同点来进行说明。即，有时省略与到目前为止说明的实施方式重复的说明。
[0107]
图8和图9是结算处理系统的第二实施方式的各功能框图和外观图。
[0108]
如图8和图9所示，本发明的第二实施方式的结算处理系统构成为包括拍摄装置4、运算装置5、显示装置6以及收银机7。
[0109]
拍摄装置4构成为包括拍摄部41以及输出部42。
[0110]
图10是结算处理系统的第二实施方式中包括的运算装置5的功能框图。
[0111]
运算装置5构成为包括输入部51、运算部52以及输出部53。
[0112]
输入部51接受拍摄装置4具有的输出部42输出的第一图像的输入。
[0113]
如图10所示，运算部52构成为包括获取部521以及显示处理部522。进一步，显示处理部522构成为包括判定部5221以及校正处理部5222。
[0114]
获取部521从输入部51接受了输入的第一图像中提取用于确定拍摄对象的类型的识别信息。获取部521通过提取识别信息来获取识别信息。
[0115]
判定部5221对获取部521获取的识别信息判定是否满足规定的条件。
[0116]
当判定部5221未判定为满足规定的条件时，即，当判定为需要由校正处理部5222进行校正处理时，校正处理部5222对识别信息执行校正处理以满足规定的条件。
[0117]
校正处理部5222对识别信息执行校正处理，并生成校正后识别信息。
[0118]
输出部53将运算部52生成的识别信息或校正后识别信息作为第二图像向显示装
置6中具有的输入部61输出。
[0119]
显示装置6构成为包括输入部61以及输出部62。
[0120]
输入部61从运算装置5具有的输出部53接受第二图像的输入。
[0121]
如图9所示，输出部62向收银机7具有的输入部71显示输入部61接受输入的第二图像。
[0122]
收银机7构成为包括输入部71、确定部72以及结算处理部73。
[0123]
收银机7可以与第一实施方式记载的收银机3相同，因此，省略说明。
[0124]
接着，参照图11说明结算处理系统的第二实施方式中的拍摄对象的确定处理流程。
[0125]
＜s101＞拍摄装置4中具有的拍摄部41拍摄拍摄对象来获取第一图像。接着，处理进入＜s102＞。
[0126]
＜s102＞拍摄部41获取第一图像后，输出部42向运算装置5中具有的输入部51输出第一图像。接着，处理进入＜s103＞。
[0127]
＜s103＞输出部42输出第一图像后，输入部51接受第一图像的输入。接着，处理进入＜s104＞。
[0128]
＜s104＞输入部51接受第一图像的输入后，获取部521从第一图像中提取识别信息。接着，处理进入＜s105＞。
[0129]
＜s105＞获取部521提取识别信息后，显示处理部522中具有的判定部5221判定识别信息是否满足规定的条件。当判定部5221判定为识别信息满足规定的条件时，处理进入＜s109＞。当判定部5221未判定为识别信息满足规定的条件时，处理进入＜s106＞。
[0130]
＜s106＞当判定部5221判定为识别信息不满足规定的条件时，校正处理部5222执行校正处理并生成校正后识别信息。接着，处理进入＜s107＞。
[0131]
＜s107＞校正处理部5222执行校正处理并生成校正后识别信息后，判定部5221判定校正后识别信息是否满足规定的条件。当判定部5221判定为校正后识别信息满足规定的条件时，处理进入＜s109＞。当判定部5221判定为校正后识别信息不满足规定的条件时，处理进入＜s108＞。
[0132]
＜s108＞当判定部5221判定为校正后识别信息不满足规定的条件时，判定部5221执行错误处理。接着，该确定处理流程结束。
[0133]
＜s109＞当判定部5221判定为识别信息或校正后识别信息满足规定的条件时，判定部5221基于识别信息或校正后识别信息生成第二图像。接着，处理进入＜s110＞。
[0134]
＜s110＞判定部5221生成第二图像后，输出部53向显示装置6具有的输入部61输出第二图像。接着，处理进入＜s111＞。
[0135]
＜s111＞输出部53输出第二图像后，输入部61接受第二图像的输入。接着，处理进入＜s112＞。
[0136]
＜s112＞输入部61接受第二图像的输入后，输出部62显示第二图像。接着，处理进入＜s113＞。
[0137]
＜s113＞输出部62显示第二图像后，收银机7具有的输入部71对输出部62中显示的第二图像进行分析，并获取用于确定拍摄对象的类型的确定用信息。接着，处理进入＜s114＞。
[0138]
＜s114＞输入部71获取用于确定拍摄对象的类型的确定用信息后，确定部72基于确定用信息来确定拍摄对象的类型。接着，该确定处理流程结束。
[0139]
[第三实施方式]
[0140]
在第一实施方式和第二实施方式中，在拍摄装置1、4、运算装置5以及显示装置2、6中的运算处理中未进行对拍摄对象的类型的确定。另一方面，例如通过使用以dnn(deep neural network：深度神经网络)以及模式匹配为代表的公知的物体识别技术，也能够在向收银机3输入信息前对确定摄对象。即，在结算处理系统的第三实施方式中，在向收银机输入信息之前确定拍摄对象。
[0141]
图12是结算处理系统的第三实施方式的功能框图。
[0142]
如图12所示，本发明的第三实施方式的结算处理系统构成为包括物体识别装置8、显示装置9以及收银机10。
[0143]
物体识别装置8构成为包括拍摄部81、识别部82以及输出部83。
[0144]
识别部82基于拍摄部81生成的第一图像执行物体识别处理，确定第一图像中拍摄到的拍摄对象的类型。而且，识别部82生成作为拍摄对象的类型涉及的信息的识别结果。需要说明的是，可以说识别结果相当于第一实施方式以及第二实施方式中的识别信息。
[0145]
识别结果例如也可以为以拍摄对象的类型作为密钥的id。换言之，只要识别结果是后述的显示装置9中为了生成收银机10具有的输入部101能够分析的第二图像所需要的信息即可。
[0146]
识别部82构成为包括处理器以及存储器，以与第一实施方式中的拍摄装置1具有的获取部12相同。
[0147]
输出部83向显示装置9具有的输入部91输出识别部82生成的识别结果。
[0148]
显示装置9构成为包括输入部91、运算部92以及输出部93。
[0149]
输入部91接受物体识别装置8具有的输出部83输出的识别结果的输入。
[0150]
运算部92基于输入部91接受的识别结果生成第二图像。
[0151]
运算部92例如也可以通过基于作为校正处理之一的再生成校正处理的方法来生成第二图像。即，运算部92也可以生成与识别结果对应的一维条码或二维条码作为第二图像。在该情况下，显示装置9也可以与另行设置的数据服务器进行通信。数据服务器也可以包括将拍摄对象的类型与识别信息建立了对应关系的数据库。即，运算部92可以在数据服务器中查询识别结果，获取与确定的拍摄对象的类型对应的一维条码或二维条码，接着生成第二图像。
[0152]
输出部93向收银机10具有的输入部101显示运算部92生成的第二图像。
[0153]
收银机10构成为包括输入部101、确定部102以及结算处理部103。
[0154]
收银机10可以与第一实施方式中记载的收银机10相同，因此，省略说明。
[0155]
接着，参考图13的流程图来说明结算处理系统的第三实施方式中的拍摄对象的确定处理流程。
[0156]
＜s201＞物体识别装置8中具有的拍摄部81拍摄拍摄对象并获取第一图像。接着，处理进入＜s202＞。
[0157]
＜s202＞拍摄部81获取第一图像后，识别部82确定第一图像中拍摄到的拍摄对象的类型并生成识别结果。接着，处理进入＜s203＞。
[0158]
＜s203＞识别部82生成识别结果后，输出部83向显示装置9中具有的输入部91输出识别结果。接着，处理进入＜s204＞。
[0159]
＜s204＞输出部83输出识别结果后，输入部91接受识别结果的输入。接着，处理进入＜s205＞。
[0160]
＜s205＞输入部91接受识别结果的输入后，运算部92基于识别结果生成第二图像。接着，处理进入＜s206＞。
[0161]
＜s206＞运算部92生成第二图像后，输出部93显示第二图像。接着，处理进入＜s207＞。
[0162]
＜s207＞输出部93显示第二图像后，收银机10具有的输入部101对输出部93中显示的第二图像进行分析，并获取用于确定拍摄对象的类型的确定用信息。接着，处理进入＜s208＞。
[0163]
＜s208＞输入部101获取用于确定拍摄对象的类型的确定用信息后，确定部102基于确定用信息来确定拍摄对象的类型。接着，该确定处理流程结束。
[0164]
到此为止，关于图像登记系统，基于各附图以及各实施例说明了本发明，但应该注意到，本领域技术人员容易基于本发明进行各种变形和修正。
[0165]
例如，各实施例中记载的功能、方法以及步骤等能够以逻辑上不矛盾的方式重配，并且能够将多个方法或步骤等组合为一个或者分割。
[0166]
另外，考虑拍摄部11、41、81中包括的拍摄光学系统为2个以上或者连续地拍摄静止图像等，从而获取2张以上的第一图像。在该情况下，获取部12、运算部52或识别部82可以对2张以上的第一图像执行取舍选择或合成等处理，并以此生成识别信息，也可以对执行取舍选择或合成等处理而生成的图像执行物体识别处理，以获取识别信息或识别结果。
[0167]
另外，考虑获取部12、运算部52或识别部82提取或获取识别信息或识别结果失败。在该情况下，获取部12、运算部52或识别部82也可以执行错误处理。错误处理也可以执行例如段落[0081]等中记载的处理。
[0168]
另外，当校正处理部222、5222执行校正处理并生成校正后识别信息，接着判定部221、5221对校正后识别信息判定为不满足规定的条件时，判定部221、5221可以对校正后识别信息执行再校正处理。即，作为例子参照图7的流程图说明时，当在＜s007＞的处理中为“否”时，也可以返回至＜s006＞来代替处理进入＜s008＞。
[0169]
另外，判定部221、5221对校正后识别信息执行再校正处理时，可以重新判定要执行哪个校正处理。
[0170]
另外，判定部221、5221对校正后识别信息执行再校正处理时，也可以对校正处理的执行次数设置规定的阈值。例如，当判定部221、5221对校正后识别信息判断为不满足规定的条件时校正处理的执行次数超出规定的阈值的情况下，判定部221、5221也可以执行错误处理而不执行再校正处理。
[0171]
另外，在第三实施方式中，在段落[0131]中说明了运算部92可以生成包括与识别结果对应的一维条码或二维条码的识别信息作为第二图像，但也可以由物体识别装置8具有的识别部82执行该处理。即，识别部82可以生成与识别结果对应的一维条码或二维条码作为第二图像，此时，可以和与物体识别装置8另行设置的数据服务器进行通信。因此，识别部82可以向数据服务器查询识别结果，获取对应的一维条码或二维条码，接着生成第二图
像。
[0172]
另外，在第三实施方式中，在段落[0131]中说明了运算部92可以向数据服务器查询识别结果，获取与确定的拍摄对象的类型对应的一维条码或二维条码，接着生成第二图像，也可以使用以下描述的方法作为代替方法。运算部92可以向数据服务器查询识别结果，获取与确定的拍摄对象的类型对应的数据字符dc，并像段落[0062]等中记载的方法那样基于数据字符dc生成包括一维条码或二维条码的第二图像。
[0173]
进一步，如上所述，将本发明的解决方法作为显示装置、显示方法以及结算处理系统进行了说明，但应当理解，本发明也能够作为包括它们的方式来实现，另外，也能够作为实质上与它们相当的程序、存储程序的存储介质来实现，这些也包括在本发明的范围内。
[0174]
拍摄装置1以及拍摄装置4中的至少任意一个可以具有检测商品投入的测距传感器。测距传感器包括红外线传感器以及超声波传感器中的至少任意一个。
[0175]
通过测距传感器检测商品投入，能够使结算处理系统仅在必要的时机运行。通过这种结构，能够实现结算处理系统的节省电力。
[0176]
输入部31也可以具有照射条码读取器的扫描区域等条码读取部的光源。光源可以为ld(laser diode：激光二极管)，但不限于此。
[0177]
通过用光源照射条码读取部，即使在低亮度环境下也能够获取优质的图像。另外，输入部31的曝光时间被缩短。
[0178]
附图标记说明
[0179]
1、4 拍摄装置
[0180]
2、6 显示装置
[0181]
3、7、10收银机
[0182]
5 运算装置
[0183]
8 物体识别装置
[0184]
11、41、81拍摄部
[0185]
12、521获取部
[0186]
13、23、42、53、62、83、93输出部
[0187]
21、31、51、61、71、91输入部
[0188]
22、52、92运算部
[0189]
221、5221 判定部
[0190]
222、5222 校正处理部
[0191]
522 显示处理部
[0192]
32、72、102确定部
[0193]
33、73、103结算处理部

技术特征：
1.一种结算处理系统，其中，具有拍摄装置、显示装置以及收银机，所述拍摄装置拍摄拍有拍摄对象的第一图像，所述显示装置获取所述第一图像，并对所述收银机的输入部显示包括所述拍摄对象的识别信息的第二图像，所述收银机基于所述识别信息来确定所述拍摄对象的类型，所述第二图像是对所述第一图像执行物体识别处理或校正处理而生成的。2.如权利要求1所述的结算处理系统，其中，所述识别信息是一维条码和二维条码中的任意一种。3.如权利要求1或2所述的结算处理系统，其中，所述显示装置具有运算部，所述运算部基于所述第一图像执行物体识别处理或校正处理而生成所述第二图像。4.如权利要求3所述的结算处理系统，其中，所述运算部判定所述第一图像是否满足规定的条件，在判定为不满足所述规定的条件时，对所述第一图像执行校正处理。5.如权利要求4所述的结算处理系统，其中，所述校正处理包括旋转校正、失真校正、对比度校正、边缘校正或再生成校正中的任意一种。6.一种显示装置，其中，具有输入部以及输出部，所述输入部获取拍有拍摄对象的第一图像，所述输出部执行对收银机的输入部显示包括所述拍摄对象的识别信息的第二图像的显示处理，所述第二图像是对所述第一图像执行物体识别处理或校正处理而生成的。7.一种显示方法，其中，获取拍有拍摄对象的第一图像，对所述第一图像执行物体识别处理或校正处理，生成包括所述拍摄对象的识别信息的第二图像，对收银机的输入部显示所述第二图像。8.一种结算处理系统，其中，具有物体识别装置、显示装置以及收银机，所述物体识别装置基于拍有拍摄对象的第一图像来确定所述拍摄对象，所述显示装置对所述收银机的输入部显示包括所述拍摄对象的识别信息的第二图像，所述收银机基于所述识别信息来确定所述拍摄对象的类型。

技术总结
结算处理系统具有拍摄装置、显示装置以及收银机。所述拍摄装置拍摄拍有拍摄对象的第一图像。所述显示装置获取所述第一图像，并对所述收银机的输入部显示包括所述拍摄对象的识别信息的第二图像。所述收银机基于所述识别信息来确定所述拍摄对象的类型。所述第二图像是对所述第一图像执行物体识别处理或校正处理而生成的。而生成的。而生成的。


技术研发人员：菅原俊
受保护的技术使用者：京瓷株式会社
技术研发日：2021.10.28
技术公布日：2023/7/20