远程操作系统、信息提供方法以及远程操作员终端与流程

light enhancement withou t paired supervision",arxiv:1906.06972v1[cs.cv],june 17,2019(https://arxiv.org/pdf/1906.06972.pdf)
[0016]
非专利文献5：dongdong chen,mingming he,qingnan fan,jing liao,liheng zhang,dongdong hou,lu yuan,and gang hua,"gated context aggregation network for image dehazing and deraining",arxiv:1811.08747v2[cs.cv],december 15,2018(https://arxiv.org/abs/1811.08747)


技术实现要素：

[0017]
发明要解决的问题
[0018]
考虑远程操作员对移动体(例：车辆、机器人)的远程操作。在移动体的远程操作中，使用由搭载于移动体的摄像机拍摄的图像。由摄像机拍摄的图像的可视性受到气候、时间等环境条件的影响。因此，为了提高远程操作的精度，考虑进行改善图像的可视性的图像处理。然而，在该情况下，可视性被改善，但作为代价，其他有用的信息有可能会从图像中丢失。例如，在雨天/降雪时，虽说图像的可视性被改善，但实际的路面状态(路面μ)可能不会正确地传达给远程操作员，这对制动判断等造成影响。
[0019]
本公开的1个目的在于提供一种能够向进行移动体的远程操作的远程操作员提供有用的信息的技术。
[0020]
用于解决问题的方案
[0021]
第1观点与向进行移动体的远程操作的远程操作员提供信息的远程操作系统相关联。
[0022]
远程操作系统具备1个或者多个处理器。
[0023]
1个或者多个处理器被构成为执行：
[0024]
获取由搭载于移动体的摄像机拍摄的图像的处理；
[0025]
基于图像，判别拍摄图像时的环境条件的处理；
[0026]
可视性改善处理，根据环境条件改善图像的可视性；
[0027]
向远程操作员提示被改善了可视性的改善图像的处理；以及
[0028]
在进行了与环境条件中的气候条件相应的可视性改善处理的情况下，向远程操作员通知包含移动体的位置处的气候的辅助信息的处理。
[0029]
第2观点与向进行移动体的远程操作的远程操作员提供信息的信息提供方法相关联。
[0030]
信息提供方法包括：
[0031]
获取由搭载于移动体的摄像机拍摄的图像的处理；
[0032]
基于图像，判别拍摄图像时的环境条件的处理；
[0033]
可视性改善处理，根据环境条件改善图像的可视性；
[0034]
向远程操作员提示被改善了可视性的改善图像的处理；以及
[0035]
在进行了与环境条件中的气候条件相应的可视性改善处理的情况下，向远程操作员通知包含移动体的位置处的气候的辅助信息的处理。
[0036]
第3观点与向进行移动体的远程操作的远程操作员提供信息的远程操作员终端相关联。
[0037]
远程操作员终端具备1个或者多个处理器。
[0038]
1个或者多个处理器被构成为执行：
[0039]
获取由搭载于移动体的摄像机拍摄的图像的处理；
[0040]
基于图像，判别拍摄图像时的环境条件的处理；
[0041]
可视性改善处理，根据环境条件改善图像的可视性；
[0042]
向远程操作员提示被改善了可视性的改善图像的处理；以及
[0043]
在进行了与环境条件中的气候条件相应的可视性改善处理的情况下，向远程操作员通知包含移动体的位置处的气候的辅助信息的处理。
[0044]
发明的效果
[0045]
根据本公开，根据由摄像机拍摄图像时的环境条件进行可视性改善处理。在进行了与环境条件中的气候条件相应的可视性改善处理的情况下，向远程操作员改善图像，并且向远程操作员通知包括移动体的位置处的气候的辅助信息。由此，远程操作员能够不仅考虑可视性高的改善图像，还考虑移动体的周围的实际气候来恰当地进行远程操作。例如，远程操作员能够一边准确地掌握车辆的周围的实际路面状态，一边恰当地进行远程操作。因而，远程操作员的远程操作的精度进一步提高。
附图说明
[0046]
图1是表示本公开的实施方式的远程操作系统的结构例的概略图。
[0047]
图2是用于说明本公开的实施方式的图像改善部的概要的示意图。
[0048]
图3是表示本公开的实施方式的图像改善部的功能结构例的框图。
[0049]
图4是表示本公开的实施方式的图像改善部的处理的流程图。
[0050]
图5是用于说明本公开的实施方式的环境条件判别处理(步骤s20)的示意图。
[0051]
图6是表示本公开的实施方式的可视性改善处理(步骤s30)的一例的流程图。
[0052]
图7是用于说明本公开的实施方式的辅助信息通知处理的概要的示意图。
[0053]
图8是表示与本公开的实施方式的辅助信息通知处理相关联的功能结构例的框图。
[0054]
图9是表示与本公开的实施方式的辅助信息通知处理相关联的处理的流程图。
[0055]
图10是表示本公开的实施方式的气候信息与辅助信息的对应关系的一例的图。
[0056]
图11是表示本公开的实施方式的车辆的结构例的框图。
[0057]
图12是表示本公开的实施方式的远程操作员终端的结构例的框图。
[0058]
图13是表示本公开的实施方式的管理装置的结构例的框图。
[0059]
附图标记说明
[0060]
1、远程操作系统；10、图像改善部；20、环境条件判别部；21、天气判别部；22、时间段判别部；23、眩光判别部；24、雾判别部；30、可视性改善处理部；31、抖动校正部；33、除雾处理部；35、亮度校正处理部；37、除雨处理部；39、对比度调整部；40、显示部；50、辅助信息通知部；51、判定部；52、辅助信息决定部；53、通知部；100、车辆；200、远程操作员终端；300、管理装置；c、摄像机；ast、辅助信息；img、图像；img_s、改善图像；ope、远程操作信息；vcl、车辆信息；wx、气候信息。
具体实施方式
[0061]
参照所附附图，说明本公开的实施方式。
[0062]
1.远程操作系统的概要
[0063]
考虑移动体的远程操作(远程驾驶)。作为远程操作的对象即移动体，可例示出车辆、机器人、飞行物体等。车辆既可以是自动驾驶车辆，也可以是驾驶员驾驶的车辆。作为机器人，可例示出物流机器人、作业机器人等。作为飞行物体，可例示出飞机、无人机等。
[0064]
作为一例，在以下的说明中，考虑作为远程操作的对象的移动体为车辆的情况。在广泛化的情况下，将以下的说明中的“车辆”替换为“移动体”。
[0065]
图1是表示本实施方式的远程操作系统1的结构例的概略图。远程操作系统1包括车辆100、远程操作员终端200以及管理装置300。车辆100是远程操作的对象。远程操作员终端200是远程操作员o对车辆100进行远程操作时使用的终端装置。也能够将远程操作员终端200称为远程操作hmi(human machine interface，人机界面)。管理装置300进行远程操作系统1的管理。远程操作系统1的管理例如包括对需要远程操作的车辆100分配远程操作员o。管理装置300能够经由通信网络与车辆100和远程操作员终端200进行通信。典型地，管理装置300是云上的管理服务器。管理服务器也可以由进行分散处理的多个服务器构成。
[0066]
在车辆100中搭载有包括摄像机c的各种传感器。摄像机c拍摄车辆100的周围状况，获取表示车辆100的周围状况的图像img。车辆信息vcl是由各种传感器得到的信息，包括由摄像机c得到的图像img。车辆100经由管理装置300将车辆信息vcl发送给远程操作员终端200。也就是说，车辆100将车辆信息vcl发送给管理装置300，管理装置300将接收到的车辆信息vcl转发给远程操作员终端200。
[0067]
远程操作员终端200接收从车辆100发送的车辆信息vcl。远程操作员终端200向远程操作员o提示车辆信息vcl。具体而言，远程操作员终端200具备显示装置，将图像img等显示在显示装置上。远程操作员o观察所显示的信息，识别车辆100的周围状况，进行车辆100的远程操作。远程操作信息ope是与远程操作员o的远程操作相关的信息。例如，远程操作信息ope包括远程操作员o的操作量。远程操作员终端200经由管理装置300将远程操作信息ope发送到车辆100。也就是说，远程操作员终端200将远程操作信息ope发送给管理装置300，管理装置300将接收到的远程操作信息ope转发给车辆100。
[0068]
车辆100接收从远程操作员终端200发送的远程操作信息ope。车辆100按照所接收的远程操作信息ope进行车辆行驶控制。这样，实现车辆100的远程操作。
[0069]
2.图像改善部
[0070]
2-1.概要
[0071]
图2是用于说明本实施方式的远程操作系统1所包含的图像改善部10的概要的示意图。图像改善部10获取由摄像机c拍摄到的图像img，并改善该图像img。特别是，图像改善部10改善图像img的“可视性”。以下，将改善图像img的可视性的处理称为“可视性改善处理”。另外，以下将改善了可视性的图像称为“改善图像img_s”。向远程操作员o提示改善了可视性的改善图像img_s。其结果是，远程操作员o的识别精度提高，由此远程操作的精度也提高。
[0072]
作为使由摄像机c拍摄的图像img的可视性降低的主要原因，考虑各种因素。在本实施方式中，特别考虑拍摄图像img时的“环境条件(场景)”对可视性造成的影响。环境条件
(场景)是指天气、时间段、是否逆光、有无雾等。例如，雨天时拍摄到的图像img的可视性低。作为另一例，在夜间等较暗的状况下拍摄到的图像img的可视性较低。作为又一例，在逆光条件下拍摄到的图像img的可视性低。作为又一例，在起雾时拍摄到的图像img的可视性低。这样，作为使由摄像机c拍摄的图像img的可视性降低的主要原因，可举出雨、黑暗、逆光、雾等。
[0073]
期望考虑这样的环境条件来改善图像img的可视性，获取清晰的改善图像img_s。但是，远程操作员o判断为了改善图像img的可视性而应该以怎样的顺序进行怎样的处理是困难且繁琐的。因此，本实施方式的图像改善部10构成为能够自动地判别使由摄像机c拍摄到的图像img的可视性降低的主要原因，并以恰当的顺序执行与该主要原因对应的恰当的可视性改善处理。
[0074]
以下，进一步详细地说明本实施方式的图像改善部10的处理。
[0075]
2-2.功能结构例和处理例
[0076]
图3是表示本实施方式的图像改善部10的功能结构例的框图。图像改善部10包括环境条件判别部20和可视性改善处理部30。
[0077]
图4是表示本实施方式的图像改善部10的处理的流程图。以下，参照图3和图4，说明本实施方式的图像改善部10的处理例。
[0078]
2-2-1.图像获取处理(步骤s10)
[0079]
图像改善部10获取由摄像机c拍摄到的图像img。图像改善部10将所获取的图像img发送到环境条件判别部20和可视性改善处理部30。
[0080]
2-2-2.环境条件判别处理(步骤s20)
[0081]
环境条件判别部20基于获取到的图像img，自动地判别拍摄到该图像img时的环境条件(场景)。作为用于基于图像img判别环境条件的技术，可列举出上述非专利文献1、非专利文献2所记载的技术。
[0082]
图5是用于说明环境条件判别处理(步骤s20)的示意图。环境条件判别部20包括天气判别部21、时间段判别部22、眩光判别部23以及雾判别部24。
[0083]
天气判别部21基于图像img，判别拍摄到该图像img时的天气。作为天气，可列举出晴(sunny)、阴(cloudy)、雨(rainy)和雪(snowy)。天气判别部21输出相应的天气。
[0084]
时间段判别部22基于图像img，判别拍摄到该图像img时的时间段。作为时间段，可列举出白天(day)、早晚(dawn/dusk)以及夜间(night)。“夜间”相当于“黑暗”。时间段判别部22输出相应的时间段。
[0085]
眩光判别部23基于图像img，判别该图像img是否在逆光条件下被拍摄的。眩光判别部23输出是否为逆光条件。
[0086]
雾判别部24基于图像img判别拍摄该图像img时有无雾。雾判别部24输出有无雾。
[0087]
拍摄图像img时的环境条件是分别来自天气判别部21、时间段判别部22、眩光判别部23以及雾判别部24的输出的组合。在图5所示的例子中，环境条件是“雨&夜间(黑暗)&无逆光&雾”。环境条件判别部20将得到的环境条件的信息输出到可视性改善处理部30。
[0088]
2-2-3.可视性改善处理(步骤s30)
[0089]
可视性改善处理部30接收图像img和拍摄该图像img时的环境条件的信息。然后，可视性改善处理部30根据环境条件，确定为了改善图像img的可视性而所需的可视性改善
处理。
[0090]
在环境条件包含“雾”的情况下所需的可视性改善处理是“除雾处理(defogging)”。除雾处理去除由图像img内的雾引起的模糊，改善可视性。该除雾处理例如通过上述非专利文献3所记载的技术来实现。
[0091]
在环境条件包含“黑暗”或“逆光”的情况下所需的可视性改善处理是“亮度校正处理”。亮度校正处理将在夜间、逆光这样的场景中拍摄到的图像img校正为适当的亮度，改善可视性。该亮度校正处理例如通过上述非专利文献4所记载的技术来实现。
[0092]
在环境条件包含“雨”的情况下所需的可视性改善处理是“除雨处理(deraining)”。除雨处理去除由图像img内的雨引起的模糊，改善可视性。该除雨处理例如通过上述非专利文献5所记载的技术来实现。
[0093]
这样，作为与环境条件相关联的可视性改善处理的候补，可列举出除雾处理、亮度校正处理以及除雨处理这三种。对按照怎样的顺序进行这些多种可视性改善处理使可视性改善效果最高进行了研究。而且，作为研究努力的结果是，判明了在按照“1.除雾处理”、“2.亮度校正处理”、“3.除雨处理”的顺序进行的情况下可视性改善效果最高。在本实施方式中，采用该顺序。即，将处理顺序预先设定成在亮度校正处理之前执行除雾处理，在除雨处理之前执行亮度校正处理。
[0094]
可视性改善处理部30根据由环境条件判别部20判别出的环境条件，从多种处理候补(除雾处理、亮度校正处理以及除雨处理)中确定所需的可视性改善处理。多个处理候补的处理顺序是预先决定的。可视性改善处理部30通过将所确定的所需的可视性改善处理按照预定的顺序应用于图像img，生成改善了可视性的改善图像img_s。也就是说，可视性改善处理部30不是盲目地进行所需的可视性改善处理，而是按照预定的顺序进行。由此，能够得到优异的可视性改善效果，能够得到尽可能清晰的改善图像img_s。
[0095]
需要说明的是，与环境条件相关联的多种处理候补也可以是除雾处理、亮度校正处理以及除雨处理中的两种。该情况下的前后关系也相同。
[0096]
可视性改善处理部30也可以还进行与环境条件无关的可视性改善处理。例如，可视性改善处理部30也可以进行公知的抖动改善、对比度调整(平均化)这样的图像处理。
[0097]
以下，对由可视性改善处理部30进行的可视性改善处理的一例进行说明。如图3所示，可视性改善处理部30包括抖动校正部31、除雾处理部33、亮度校正处理部35、除雨处理部37以及对比度调整部39。图6是表示可视性改善处理(步骤s30)的一例的流程图。
[0098]
在步骤s31中，抖动校正部31对图像img进行公知的抖动校正处理。抖动校正部31将抖动校正处理后的图像img输出到除雾处理部33。
[0099]
在接下来的步骤s32中，除雾处理部33判定由环境条件判别部20判别出的环境条件是否包含“雾”。在环境条件包含“雾”的情况下(步骤s32：yes)，除雾处理部33判断为需要除雾处理，进行除雾处理(步骤s33)。然后，除雾处理部33将除雾处理后的图像img输出到亮度校正处理部35。另一方面，在环境条件不包含“雾”的情况下(步骤s32：no)，除雾处理部33不进行除雾处理，将图像img输出到亮度校正处理部35。
[0100]
在接下来的步骤s34中，亮度校正处理部35判定由环境条件判别部20判别出的环境条件是否包含“黑暗”或“逆光”。在环境条件包含“黑暗”或“逆光”的情况下(步骤s34：yes)，亮度校正处理部35判断为需要亮度校正处理，进行亮度校正处理(步骤s35)。然后，亮
度校正处理部35将亮度校正处理后的图像img输出到除雨处理部37。另一方面，在环境条件既不包含“黑暗”也不包含“逆光”的情况下(步骤s34：no)，亮度校正处理部35不进行亮度校正处理而将图像img输出到除雨处理部37。
[0101]
在接下来的步骤s36中，除雨处理部37判定由环境条件判别部20判别出的环境条件是否包含“雨”。在环境条件包含“雨”的情况下(步骤s36：yes)，除雨处理部37判断为需要除雨处理，进行除雨处理(步骤s37)。然后，除雨处理部37将除雨处理后的图像img输出到对比度调整部39。另一方面，在环境条件不包含“雨”的情况下(步骤s36：no)，除雨处理部37不进行除雨处理，将图像img输出到对比度调整部39。
[0102]
在接下来的步骤s39中，对比度调整部39对图像img进行公知的对比度调整处理。
[0103]
这样阶段性地经过可视性改善处理后的图像img是改善图像img_s。
[0104]
2-2-4.图像输出处理(步骤s40)
[0105]
图像改善部10将这样生成的改善图像img_s输出到外部。改善图像img_s例如由远程操作员终端200向远程操作员o提示。
[0106]
2-3.效果
[0107]
如以上说明的那样，本实施方式的图像改善部10基于由摄像机c拍摄到的图像img，判别该图像img拍摄时的环境条件。进而，图像改善部10根据环境条件确定所需的可视性改善处理，将所需的可视性改善处理按照预定的顺序应用于图像img，由此生成改善图像img_s。按照恰当的顺序执行与使可视性降低的主要原因相应的恰当的可视性改善处理，因此，能够得到优异的可视性改善效果。此外，由于不需要远程操作员o进行单独判断，因此远程操作员o的负荷被减轻。远程操作员o能够容易地获取改善了可视性的改善图像img s。
[0108]
远程操作员o能够基于改善图像img_s进行远程操作。根据车辆100所处的环境条件，也存在图像img的可视性降低的情况，但即使在该情况下，也能够使用减轻了环境条件的影响的清晰的改善图像img_s。其结果是，远程操作员o的识别精度提高，由此远程操作的精度也提高。另外，由于环境条件的影响被减轻，因此能够扩大运行设计区域(odd：operational design domain)。这从提高服务的观点出发是优选的。
[0109]
需要说明的是，本实施方式的图像改善部10也可以包含在车辆100、远程操作员终端200以及管理装置300中的任意中。即，车辆100、远程操作员终端200以及管理装置300中的至少任一者具备图像改善部10的功能。例如，图像改善部10组装于管理装置300。在该情况下，管理装置300改善从车辆100接收的图像img的可视性，生成改善图像img_s，将改善图像img_s发送给远程操作员终端200。作为另一例，图像改善部10也可以组装到远程操作员终端200中。在该情况下，远程操作员终端200改善经由管理装置300从车辆100接收的图像img的可视性，生成改善图像img_s。无论在哪种情况下，远程操作员终端200都能够向远程操作员o提示改善了可视性的改善图像img_s。
[0110]
3.辅助信息通知处理
[0111]
3-1.概要
[0112]
通过上述可视性改善处理，远程操作员o能够基于改善了可视性的改善图像img_s进行远程操作，由此远程操作的精度也提高。然而，在该情况下，可视性得到改善，但作为代价，其他有用的信息有可能从图像img中丢失。
[0113]
例如，在雨天/降雪时，路面摩擦系数(路面μ)降低，制动时的制动距离变长，因此
远程操作员o也许考虑提前开始制动操作。然而，通过可视性改善处理来改善图像img的可视性的结果是实际路面状态有可能不会正确地传达给远程操作员o。这有可能对远程操作员o的制动判断等造成影响。
[0114]
因此，本实施方式的远程操作员终端200构成为根据需要向远程操作员o通知(提供、传递)“辅助信息ast”。辅助信息ast是对远程操作员o而言有用的信息，特别是用于辅助远程操作员o的远程操作的信息。以下，将向远程操作员o通知辅助信息ast的处理称为“辅助信息通知处理”。
[0115]
图7是用于说明辅助信息通知处理的概要的示意图。由摄像机c拍摄图像img时的“环境条件”被分类为“气候条件”和除此之外的条件。作为气候条件，可列举出晴、阴、雨、雪、雾等。作为除气候条件之外的环境条件，可列举出黑暗、逆光等。作为与环境条件中的气候条件相应的可视性改善处理，例示出除雾处理(图6：步骤s33)、除雨处理(图6：步骤s37)等。
[0116]
考虑进行与环境条件中的气候条件相应的可视性改善处理的情况。在该情况下，远程操作员终端200向远程操作员o提示改善了可视性的改善图像img_s。同时，远程操作员终端200向远程操作员o通知包含车辆100的位置处的气候(例：雨、雪、雾)的辅助信息ast。也就是说，将进行了与气候条件相应的可视性改善处理作为触发，远程操作员终端200向远程操作员o通知包含气候的辅助信息ast。进而换言之，与相应于气候条件的可视性改善处理联动地，远程操作员终端200向远程操作员o通知包含气候的辅助信息ast。由此，远程操作员o能够不仅考虑可视性高的改善图像img_s，还考虑车辆100的周围的实际气候来恰当地进行远程操作。例如，远程操作员o能够一边准确地掌握车辆100的周围的实际路面状态，一边恰当地进行远程操作。因此，远程操作员o的远程操作的精度进一步提高。
[0117]
辅助信息ast也可以包括远程操作员o进行车辆100的远程操作的方面的建议(例：“制动提前！”)。在暴风雨时，辅助信息ast也可以包括对远程操作员o的警告(例：“注意大雨！”、“注意大雪！”)。这样的辅助信息ast对于远程操作员o而言也是有用的。通过向远程操作员o通知这样的辅助信息ast，远程操作员o的远程操作的安全性进一步提高。
[0118]
在未进行与气候条件相应的可视性改善处理的情况下，不需要将辅助信息ast通知给远程操作员o。例如，在不进行与气候条件相应的可视性改善处理而仅进行了针对黑暗
·
逆光的可视性改善处理(亮度校正处理)的情况下，向远程操作员o提示改善图像img_s，但不向远程操作员o通知辅助信息ast。作为另一例，在原本就未进行可视性改善处理的情况下，向远程操作员o提示原来的图像img，不向远程操作员o通知辅助信息ast。由于不过度地通知辅助信息ast，因此能够防止远程操作员感到厌烦。
[0119]
以下，进一步详细地说明本实施方式的辅助信息通知处理。
[0120]
3-2.功能结构例和处理例
[0121]
图8是表示与辅助信息通知处理关联的功能结构例的框图。远程操作系统1包括图像改善部10、显示部40以及辅助信息通知部50。
[0122]
图像改善部10包含在车辆100、远程操作员终端200以及管理装置300中的任意者中。图像改善部10根据需要对图像img进行可视性改善处理，输出改善图像img_s。另外，图像改善部10输出表示可视性改善处理的内容的标志信息flg。例如，标志信息flg表示除雾处理(图6：步骤s33)、亮度校正处理(图6：步骤s35)以及除雨处理(图6：步骤s37)中被执行
的处理。
[0123]
显示部40包含于远程操作员终端200中。显示部40将原来的图像img或者改善图像img_s显示于显示装置。
[0124]
辅助信息通知部50包含于远程操作员终端200中。辅助信息通知部50根据需要执行向远程操作员o通知辅助信息ast的辅助信息通知处理。辅助信息通知部50包括判定部51、辅助信息决定部52以及通知部53。
[0125]
图9是表示与辅助信息通知处理相关联的处理的流程图。以下，参照图8和图9，说明与辅助信息通知处理相关联的处理。
[0126]
3-2-1.判定处理(步骤s51)
[0127]
在步骤s51中，判定部51判定是否进行了与环境条件中的气候条件相应的可视性改善处理。具体而言，判定部51接收从图像改善部10输出的标志信息flg。标志信息flg表示由图像改善部10进行的可视性改善处理的内容。基于该标志信息flg，判定部51能够判定是否进行了与气候条件相应的可视性改善处理。
[0128]
在进行了与气候条件相应的可视性改善处理的情况下(步骤s51：yes(是))，处理进入步骤s52。另一方面，在未进行与气候条件相应的可视性改善处理的情况下(步骤s51：no(否))，跳过以后的步骤s52、s53，本次的循环的处理结束。
[0129]
3-2-2.辅助信息决定处理(步骤s52)
[0130]
在步骤s52中，辅助信息决定部52决定向远程操作员o通知的辅助信息ast的内容。
[0131]
辅助信息ast至少包括车辆100的位置处的气候(例：雨、雪、雾)。车辆100的位置被包含在从车辆100发送的车辆信息vcl中。例如，辅助信息决定部52与分发气候信息wx的气象信息服务中心进行通信，获取车辆100的位置处的气候信息wx。
[0132]
辅助信息ast也可以包括远程操作员o进行车辆100的远程操作的方面的建议(例：“制动提前！”)。通过向远程操作员o通知这样的辅助信息ast，远程操作员o的远程操作的安全性进一步提高。
[0133]
辅助信息决定部52也可以基于车辆100的位置处的气候信息wx，识别车辆100的位置处的“暴风雨程度”。并且，辅助信息决定部52也可以根据暴风雨程度而改变辅助信息ast的内容。例如，在暴风雨程度为阈值以上的情况下，辅助信息决定部52以包含针对远程操作员o的警告的方式决定辅助信息ast的内容。
[0134]
图10表示气候信息wx与辅助信息ast的对应关系的一例。例如，在每1小时的雨量为阈值(50mm/h)以上的情况下，辅助信息ast包括警告(例：“注意大雨！”)。作为另一例，在每1小时的降雪量为阈值(3cm/h)以上的情况下，辅助信息ast包括警告(例：“注意大雪！”)。通过向远程操作员o通知这样的辅助信息ast，远程操作员o的远程操作的安全性进一步提高。
[0135]
3-2-3.通知处理(步骤s53)
[0136]
通知部53向远程操作员o通知在步骤s52中决定的辅助信息ast。通知既可以通过视觉进行，也可以通过听觉进行。例如，通知部53在显示装置显示辅助信息ast。作为另一例，通知部53经由扬声器以声音输出辅助信息ast。
[0137]
3-3.效果
[0138]
如以上说明的那样，根据本实施方式，根据由摄像机c拍摄图像img时的环境条件
进行可视性改善处理。在进行了与环境条件中的气候条件相应的可视性改善处理的情况下，向远程操作员o提示改善图像img_s，并且向远程操作员o通知包含车辆100的位置处的气候的辅助信息ast。由此，远程操作员o能够不仅考虑可视性高的改善图像img_s，还考虑车辆100的周围的实际气候来恰当地进行远程操作。例如，远程操作员o能够一边准确地掌握车辆100的周围的实际路面状态，一边恰当地进行远程操作。因而，远程操作员o的远程操作的精度进一步提高。
[0139]
在未进行与气候条件相应的可视性改善处理的情况下，不向远程操作员o通知辅助信息ast。由于不过度地通知辅助信息ast，因此防止远程操作员感到厌烦。
[0140]
4.车辆的例子
[0141]
4-1.结构例
[0142]
图11是表示车辆100的结构例的框图。车辆100具备通信装置110、传感器组120、行驶装置130以及控制装置150。
[0143]
通信装置110与车辆100的外部进行通信。例如，通信装置110与远程操作员终端200、管理装置300进行通信。
[0144]
传感器组120包括识别传感器、车辆状态传感器、位置传感器等。识别传感器识别(检测)车辆100的周边的状况。作为识别传感器，例示出摄像机c、lidar(laser imaging detection and ranging，激光成像探测与测距)、雷达等。车辆状态传感器检测车辆100的状态。车辆状态传感器包括速度传感器、加速度传感器、横摆率传感器、转向角传感器等。位置传感器检测车辆100的位置和方位。例如，位置传感器包括gnss(global navigation satellite system，全球导航卫星系统)。
[0145]
行驶装置130包括转向操纵装置、驱动装置以及制动装置。转向操纵装置使车轮转向。例如，转向操纵装置包括动力转向(eps：electric power steering)装置。驱动装置是产生驱动力的动力源。作为驱动装置，可例示出发动机、电动机、轮毂马达等。制动装置产生制动力。
[0146]
控制装置150是控制车辆100的计算机。控制装置150包括1个或者多个处理器160(以下，简称为处理器160)和1个或者多个存储装置170(以下，简称为存储装置170)。处理器160执行各种处理。例如，处理器160包括cpu(central processing unit，中央处理器)。存储装置170储存处理器160的处理所需的各种信息。作为存储装置170，例示出易失性存储器、非易失性存储器、hdd(hard disk drive，硬盘驱动器)、ssd(solid state drive，固态硬盘)等。控制装置150也可以包括1个或者多个ecu(electronic control unit，电子控制单元)。
[0147]
车辆控制程序prog1是由处理器160执行的计算机程序。通过处理器160执行车辆控制程序prog1来实现控制装置150的功能。车辆控制程序prog1储存于存储装置170。或者，车辆控制程序prog1也可以记录于计算机可读取的记录介质。
[0148]
4-2.驾驶环境信息
[0149]
控制装置150使用传感器组120，获取表示车辆100的驾驶环境的驾驶环境信息env。驾驶环境信息env储存于存储装置170。
[0150]
驾驶环境信息env包括表示识别传感器的识别结果的周边状况信息。例如，周边状况信息包括由摄像机c拍摄的图像img。周边状况信息也可以包括与车辆100的周边的物体
相关的物体信息。作为车辆100的周边的物体，可例示出行人、其他车辆(先行车辆、停车车辆等)、白线、信号、标识、路侧构造物等。物体信息表示物体相对于车辆100的相对位置以及相对速度。
[0151]
另外，驾驶环境信息env包括表示由车辆状态传感器检测的车辆状态的车辆状态信息。
[0152]
并且，驾驶环境信息env包括表示车辆100的位置以及方位的车辆位置信息。车辆位置信息由位置传感器得到。也可以通过使用了地图信息和周边状况信息(物体信息)的自身位置估计处理(localization)来获取高精度的车辆位置信息。
[0153]
4-3.车辆行驶控制
[0154]
控制装置150执行控制车辆100的行驶的车辆行驶控制。车辆行驶控制包括转向操纵控制、驱动控制以及制动控制。控制装置150通过控制行驶装置130(转向操纵装置、驱动装置以及制动装置)而执行车辆行驶控制。
[0155]
控制装置150也可以基于驾驶环境信息env来进行自动驾驶控制。更详细而言，控制装置150基于驾驶环境信息env来生成车辆100的行驶计划。而且，控制装置150基于驾驶环境信息env，生成车辆100按照行驶计划行驶所需的目标轨迹。目标轨迹包括目标位置以及目标速度。然后，控制装置150以使车辆100追随目标轨迹的方式进行车辆行驶控制。
[0156]
4-4.与远程操作相关联的处理
[0157]
以下，说明进行车辆100的远程操作的情况。控制装置150经由通信装置110，与远程操作员终端200进行通信。
[0158]
控制装置150将车辆信息vcl发送给远程操作员终端200。车辆信息vcl是远程操作员o进行远程操作所需的信息，包含上述驾驶环境信息env的至少一部分。例如，车辆信息vcl包含周边状况信息(特别是图像img)。车辆信息vcl也可以还包含车辆状态信息、车辆位置信息。
[0159]
另外，控制装置150从远程操作员终端200接收远程操作信息ope。远程操作信息ope是与远程操作员o的远程操作相关的信息。例如，远程操作信息ope包括远程操作员o的操作量。控制装置150按照接收到的远程操作信息ope进行车辆行驶控制。
[0160]
进而，控制装置150也可以具备上述图像改善部10的功能。图像改善部10根据需要对图像img进行可视性改善处理，输出改善图像img_s。另外，图像改善部10输出表示可视性改善处理的内容的标志信息flg。改善图像img_s和标志信息flg作为车辆信息vcl的一部分向管理装置300和远程操作员终端200发送。
[0161]
5.远程操作员终端的例子
[0162]
图12是表示远程操作员终端200的结构例的框图。远程操作员终端200包括通信装置210、输出装置220、输入装置230以及控制装置250。
[0163]
通信装置210与车辆100和管理装置300进行通信。
[0164]
输出装置220输出各种信息。例如，输出装置220包括显示装置。显示装置通过显示各种信息，向远程操作员o提示各种信息。作为另一例，输出装置220也可以包括扬声器。
[0165]
输入装置230受理来自远程操作员o的输入。例如，输入装置230包括远程操作员o在对车辆100进行远程操作时操作的远程操作构件。远程操作构件包括方向盘、加速踏板、制动踏板、方向指示器等。
[0166]
控制装置250控制远程操作员终端200。控制装置250包括1个或者多个处理器260(以下，简称为处理器260)和1个或者多个存储装置270(以下，简称为存储装置270)。处理器260执行各种处理。例如，处理器260包括cpu。存储装置270储存处理器260的处理所需的各种信息。作为存储装置270，例示出易失性存储器、非易失性存储器、hdd、ssd等。
[0167]
远程操作程序prog2是由处理器260执行的计算机程序。通过处理器260执行远程操作程序prog2，实现控制装置250的功能。远程操作程序prog2储存于存储装置270。或者，远程操作程序prog2也可以记录于计算机可读取的记录介质。远程操作程序prog2也可以经由网络提供。
[0168]
控制装置250经由通信装置210与车辆100进行通信。控制装置250接收从车辆100发送的车辆信息vcl。控制装置250通过将包含图像信息的车辆信息vcl显示于显示装置，而向远程操作员o提示车辆信息vcl。远程操作员o能够基于显示于显示装置的车辆信息vcl，识别车辆100的状态、周围状况。
[0169]
远程操作员o操作输入装置230的远程操作构件。远程操作构件的操作量由设于远程操作构件的传感器检测。控制装置250生成反映了远程操作员o对远程操作构件的操作量的远程操作信息ope。然后，控制装置250将该远程操作信息ope经由通信装置210向车辆100发送。
[0170]
进而，控制装置250也可以具备上述图像改善部10的功能。图像改善部10根据需要对图像img进行可视性改善处理，输出改善图像img_s。另外，图像改善部10输出表示可视性改善处理的内容的标志信息flg。
[0171]
控制装置250具备上述辅助信息通知部50的功能。辅助信息通知部50经由输出装置220向远程操作员o通知辅助信息ast。
[0172]
6.管理装置的例子
[0173]
图13是表示管理装置300的结构例的框图。管理装置300包括通信装置310和控制装置350。
[0174]
通信装置310与车辆100和远程操作员终端200进行通信。
[0175]
控制装置350控制管理装置300。控制装置350包括1个或者多个处理器360(以下，简称为处理器360)和1个或者多个存储装置370(以下，简称为存储装置370)。处理器360执行各种处理。例如，处理器360包括cpu。存储装置370储存处理器360的处理所需的各种信息。作为存储装置370，例示出易失性存储器、非易失性存储器、hdd、ssd等。
[0176]
管理程序prog3是由处理器360执行的计算机程序。通过处理器360执行管理程序prog3，实现控制装置350的功能。管理程序prog3储存于存储装置370。或者，管理程序prog3也可以记录于计算机可读取的记录介质。管理程序prog3也可以经由网络提供。
[0177]
控制装置350经由通信装置310，与车辆100和远程操作员终端200进行通信。控制装置350接收从车辆100发送的车辆信息vcl。然后，控制装置350将所接收的车辆信息vcl发送给远程操作员终端200。另外，控制装置350接收从远程操作员终端200发送的远程操作信息ope。然后，控制装置350将所接收的远程操作信息ope发送给车辆100。
[0178]
进而，控制装置350也可以具备上述图像改善部10的功能。当在从车辆100接收的车辆信息vcl中包含图像img的情况下，图像改善部10根据需要对图像img进行可视性改善处理，输出改善图像img_s。另外，图像改善部10输出表示可视性改善处理的内容的标志信
息flg。改善图像img_s和标志信息flg作为车辆信息vcl的一部分向远程操作员终端200发送。

技术特征：
1.一种远程操作系统，向进行移动体的远程操作的远程操作员提供信息，其中，该远程操作系统具备1个或者多个处理器，所述1个或者多个处理器被构成为执行：获取由搭载于所述移动体的摄像机拍摄的图像的处理；基于所述图像，判别拍摄所述图像时的环境条件的处理；可视性改善处理，根据所述环境条件改善所述图像的可视性；向所述远程操作员提示被改善了所述可视性的改善图像的处理；以及在进行了与所述环境条件中的气候条件相应的所述可视性改善处理的情况下，向所述远程操作员通知包含所述移动体的位置处的气候的辅助信息的处理。2.根据权利要求1所述的远程操作系统，其中，在未进行与所述气候条件相应的所述可视性改善处理的情况下，所述1个或者多个处理器不向所述远程操作员通知所述辅助信息。3.根据权利要求1或2所述的远程操作系统，其中，所述辅助信息除了所述气候之外，还包括所述远程操作员进行所述移动体的所述远程操作的方面的建议。4.根据权利要求1～3中任一项所述的远程操作系统，其中，所述1个或者多个处理器还基于所述移动体的所述位置处的气候信息，识别所述移动体的所述位置处的暴风雨程度，根据所述暴风雨程度改变所述辅助信息的内容。5.根据权利要求4所述的远程操作系统，其中，所述暴风雨程度为阈值以上的情况下的所述辅助信息包括对所述远程操作员的警告。6.一种信息提供方法，向进行移动体的远程操作的远程操作员提供信息，其中，该信息提供方法包括：获取由搭载于所述移动体的摄像机拍摄的图像的处理；基于所述图像，判别拍摄所述图像时的环境条件的处理；可视性改善处理，根据所述环境条件改善所述图像的可视性；向所述远程操作员提示被改善了所述可视性的改善图像的处理；以及在进行了与所述环境条件中的气候条件相应的所述可视性改善处理的情况下，向所述远程操作员通知包含所述移动体的位置处的气候的辅助信息的处理。7.一种远程操作员终端，向进行移动体的远程操作的远程操作员提供信息，其中，该远程操作员终端具备1个或者多个处理器，所述1个或者多个处理器被构成为执行：获取由搭载于所述移动体的摄像机拍摄的图像的处理；基于所述图像，判别拍摄所述图像时的环境条件的处理；可视性改善处理，根据所述环境条件改善所述图像的可视性；向所述远程操作员提示被改善了所述可视性的改善图像的处理；以及在进行了与所述环境条件中的气候条件相应的所述可视性改善处理的情况下，向所述远程操作员通知包含所述移动体的位置处的气候的辅助信息的处理。

技术总结
本公开涉及远程操作系统、信息提供方法以及远程操作员终端。向进行移动体的远程操作的远程操作员提供有用的信息。远程操作系统向进行移动体的远程操作的远程操作员提供信息。远程操作系统获取由搭载于移动体的摄像机拍摄的图像。远程操作系统基于所获取的图像，判别拍摄图像时的环境条件。远程操作系统进行根据环境条件改善图像的可视性的可视性改善处理。远程操作系统向远程操作员提示被改善了可视性的改善图像。进而，远程操作系统在进行了与环境条件中的气候条件相应的可视性改善处理的情况下，向远程操作员通知包含移动体的位置处的气候的辅助信息。处的气候的辅助信息。处的气候的辅助信息。


技术研发人员：末广优树
受保护的技术使用者：欧温星球控股股份有限公司
技术研发日：2022.12.08
技术公布日：2023/8/9