一种通用型作物三维自动成像系统

1.本发明涉及植物形态三维成像技术领域，特别涉及一种通用型作物三维自动成像系统。


背景技术：

2.三维数据采集技术是数字化感知植物形态结构的有效方法，利用该技术获取植株三维点云可为定量提取作物表型参数提供精确空间结构信息。基于立体视觉的三维重建为三维信息采集提供了一种低成本且高效、精确的方法。基于从运动恢复结构（structure from motion，sfm）与多视角立体视觉（multi-view stereo，mvs）算法生成高质量三维点云通常需要数百张不同视角的图像序列，但人工获取多视角图像费时费力；此外，人工获取的图像序列可能不完全满足三维重建要求，当相邻图像成像视角夹角过大或重叠度较低时，易导致三维重建失败。为实现高效、精确的植物三维重建及表型解析，已有研究学者开始针对不同研究对象设计植物多视角图像自动采集系统。图像自动采集系统的研发有效提高了多视角图像采集效率，显著降低了图像采集的时间成本和人力成本，使高通量作物表型信息系统性收集成为可能；同时，通过精确控制相机成像视角，很大程度上避免了三维重建失败的情况。
3.现有技术中，已有图像自动采集系统采用了不同的成像模式。模式1为环绕植株在多个不同视角布置多个相机，在成像时植物和相机保持不动；该种装置具有最高的成像效率，但布置数量极多的相机导致装备成本明显增加。模式2是采用相机和旋转台相结合的方式，即固定相机不动植株旋转，或者固定植株不动相机旋转；此种装置成像效率高，且通过使用旋转平台降低了相机数量和设备成本，是目前最受研究学者欢迎的成像模式。对于模式2中相机不动植株旋转的成像系统，在驱动植株旋转时，较轻、较薄的植株叶片会发生明显抖动，导致捕获的图像不清晰从而影响三维重建效果；相比而言，相机围绕植株旋转的成像模式更具稳定性；但现有的此类成像系统，其所述微单相机通过有线连接的方式与工控系统实现通讯，在自动成像时，操作和控制装置（如工控电脑）需跟随相机一起旋转，或较长的连接线会围绕旋转主机来回缠绕，影响了操作的便捷性，同时存在一定的安全隐患。此外，目前采用模式2的成像装置大多布置个数较少的相机（2-3个）以控制构建成本，然而，有限的成像视角仅适用于形态结构较为简单的植株，对于结构复杂、枝叶繁密的大型植株，则因难以捕获全面、丰富的信息而导致三维点云重建细节缺失；对于株高较高作物（如玉米），则需手动拼接两组图像序列重建的两个点云模型，以此形成完整的植株三维点云，影响了三维重建的效率和便捷性。此外，已有图像自动采集系统大多采用固定焦距，无法根据植株大小灵活调节焦距，在采集较小植株图像时，由于捕获的植株像素点较少，往往导致三维重建后细长叶尖点云缺失，影响点云重建精度。


技术实现要素：

4.本发明的主要目的在于提供一种通用型作物三维自动成像系统，可以有效解决背
景技术中的问题。
5.为实现上述目的，本发明采取的技术方案为：所述成像装置包括底座、旋转摄影单元以及载座；所述底座用于放置旋转摄影单元，底座为中空结构； 所述旋转摄影单元包括旋转底盘、背景板、成像臂和支撑架；所述旋转底盘为中空结构，底座以及旋转底盘的中空结构处用于嵌放载座，所述背景板和成像臂分别设置在旋转底盘两侧，且两者位置相对设置，所述成像臂从上至下设有若干个相机，所述支撑架用于固定支撑成像臂；所述载座上用于放置待测植株；所述控制系统包括驱动单元和成像单元；所述驱动单元用于驱动旋转摄影单元相对载座的轴心线至少旋转360
°
；所述成像单元用于控制旋转摄影单元对载座上的植株进行全方位、多视角成像。
6.作为本发明优选的，所述驱动单元包括旋转齿轮、回转轴承、伺服电机以及减速器；伺服电机通过减速器连接并带动旋转齿轮旋转，旋转齿轮与回转轴承啮合传动，所述回转轴承与旋转底盘的底部固定连接；作为本发明优选的，所述支撑架采用“门”字形支撑架。“门”字形设计更有利于避免旋转时成像臂和相机抖动，有利于拍摄出高清相片，以便于后续研究。
7.作为本发明优选的，所述成像臂为三段式结构，底部与旋转底盘垂直连接；顶部与旋转底盘水平设置，中段倾斜设置，其与底部、顶部的夹角均为钝角，成像臂的每一段上至少设置一个相机，成像臂上可根据待成像植株结构复杂程度设置四到十六个相机；作为本发明优选的，所述成像臂上设有均匀排布的上下两排条形连接槽，相邻连接槽上下平行交错排布；成像臂与相机通过连接件连接；所述连接件包括相机卡板和设有弧形槽的相机调节过渡板，成像臂、相机卡板、相机调节过渡板、相机依次连接；所述相机卡板分别与成像臂上相邻的两条条形连接槽连接，用于调整相机所在位置；所述相机调节过渡板呈l型，l型的横板挂接相机，l型的竖板连接相机卡板，弧形槽位于竖板上部；竖板下端与相机卡板轴连接，竖板上端与相机卡板通过弧形槽连接，弧形槽用于调节相机镜头朝向，便于根据待成像植株大小和高低调节镜头焦点。
8.作为本发明优选的，所述背景板弯折设置；作为本发明优选的，所述背景板弯折成伞状，有利于减少其占用空间；作为本发明优选的，所述成像装置还包括环形挡板和支撑脚，支撑脚固定在载座上部，用于叠放环形挡板，所述环形挡板位于旋转底盘上部，用于遮挡旋转底盘；所述环形挡板还设有可拆卸的活动板，活动板拆卸状态下用于运送待测植株，活动板安装状态下用于拍摄待测植株；植株嵌入载座，可降低植株高度，有效控制了设备高度；上述背景板与环形挡板均为单一颜色，可针对待拍摄的植株形成单一背景，以便在进行三维重建时基于rgb剔除背景冗余信息，有效减少三维重建过程中错误特征匹配以及传输到在线存储的数据量，提高重建效率和准确率。
9.作为本发明优选的，所述成像单元的前端由树莓派4b主板、工控机和千兆以太交换机组成，其中所述树莓派4b主板与所述相机通过wifi无线链路一一相连，所述树莓派4b主板与工控机之间通过网线连接到千兆以太交换机组成局域网；其中，所述工控机的软件模块包括高清图像下载、显示与保存模块、与树莓派4b主板的网络通信模块、相机参数配置模块、伺服电机控制模块、日志文件生成模块；所述树莓派4b主板安装raspbian系统，并安装网口、wifi、usb外设的驱动，三维成像软件multisony采用c++语言编写、gcc编译器编译；
树莓派4b主板软件采用camera remote api通过无线wifi网络实现对所述微单相机的远程控制；所述控制系统通过wifi无线网络完成对所述微单相机的远程控制，通过三维成像软件multisony控制所述微单相机对作物进行全方位、多视角成像。
10.与现有技术相比，本发明具有如下有益效果：不同作物形态结构差异明显，且植物的大小和结构的复杂性会在生命周期的营养阶段至生殖阶段有很大的不同。针对苗期结构简单的小型植株以及生长中后期结构复杂的大型植株，本发明可根据待成像植株大小和复杂程度，柔性调节相机个数、位置和镜头朝向，并可远程无线调节（焦距、光圈、iso等成像参数）和控制多路相机自动旋转成像系统，对捕获详细、全面、丰富的三维信息以实现结构复杂程度不同的植株三维点云高效、高细节重建具有重要意义。此外，本发明中，成像控制通过设置的地面控制系统实现，成像时操作人员可远离旋转主机安全半径之外，防止主机因为失控旋转造成伤害。
附图说明
11.图1为本发明一种通用型作物三维自动成像系统中成像装置的整体结构示意图；图2为本发明一种通用型作物三维自动成像系统中成像装置的侧视图；图3为本发明图2中a处的局部放大结构示意图；图4为本发明中的成像装置部分结构示意图；图5为本发明中的驱动单元结构示意图。
12.图中：1、底座；2、载座；3、旋转底盘；4、背景板；5、成像臂；6、支撑架；7、相机；8、植株；9、回转轴承；10、旋转齿轮；11、伺服电机；12、减速器；13、条形连接槽；14、相机卡板；15、弧形槽；16、相机调节过渡板；17、环形挡板；18、活动板；19、支撑脚。
实施方式
13.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
14.如图1所示，一种通用型作物三维自动成像系统，包括成像装置以及控制系统，所述成像装置包括底座1，以及设置在底座1上的载座2和旋转摄影单元；所述载座2用于放置待测植株8；所述旋转摄影单元包括旋转底盘3、背景板4、成像臂5和支撑架6；所述旋转底盘3为中空结构，中空处用于放置载座2，所述背景板4和成像臂5分别设置在旋转底盘3两侧，且两者位置相对设置，所述成像臂5从上至下设有若干个相机7，所述支撑架6用于固定支撑成像臂5；所述支撑架6采用“门”字形支撑架。“门”字形设计更有利于避免旋转时成像臂5和相机7抖动，有利于拍摄出高清相片，以便于后续研究。所述背景板4弯折成伞状，有利于减少其占用空间。
15.如图1和图4所示，所述成像装置还包括环形挡板17和支撑脚19，支撑脚19有四个，每个支撑脚19均呈倒l型，倒l型的横轴叠放环形挡板17，竖轴固定在载座2上，所述环形挡板17位于旋转底盘3上部，用于遮挡旋转底盘3；所述环形挡板17设有可拆卸的活动板18，活动板18拆卸状态下用于运送待测植株8，活动板18安装状态下用于拍摄待测植株8；上述背景板4与环形挡板17可以对待拍摄的植株8形成单一背景，以便在进行三维重建时基于rgb剔除背景冗余信息，有效减少三维重建过程中错误特征匹配以及传输到在线存储的数据
量，提高重建效率和准确率。
16.所述控制系统包括驱动单元和成像单元；所述驱动单元用于驱动旋转摄影单元相对载座2的轴心线至少旋转360
°
；所述成像单元用于控制旋转摄影单元对载座2上的植株8进行全方位、多视角成像。
17.如图1和图5所示，所述驱动单元包括旋转齿轮10、回转轴承9、伺服电机11以及减速器12；伺服电机11通过减速器12连接并带动旋转齿轮10旋转，旋转齿轮10与回转轴承9啮合传动，所述回转轴承9与旋转底盘3的底部固定连接。
18.如图1和图2所示，成像臂5为三段式结构，底部5-1与旋转底盘3垂直连接；顶部5-2与旋转底盘3水平设置；中部5-3倾斜设置，其与底部5-1、顶部5-2的夹角均为135
°
，中部5-3与支撑架6顶部连接；成像臂5的每一段上至少设置一个相机7，成像臂5上共设置十四个相机7；顶部5-2上设置一个相机7，中部5-3上设置六个相机7，底部5-1上设置七个相机7，成像臂5垂直高度三米，旋转半径一米五，对于株高较高的大型作物也适用，同时不会缺失顶部5-2视角的图片信息。
19.如图1和图3所示，所述成像臂5上设有均匀排布的上下两排条形连接槽13，相邻条形连接槽13上下平行交错排布；成像臂5与相机7通过连接件连接；所述连接件包括相机卡板14和设有弧形槽15的相机调节过渡板16，成像臂5、相机卡板14、相机调节过渡板16、相机7依次连接；所述相机卡板14分别与成像臂5上相邻的两排条形连接槽13连接，用于调整相机7所在位置；所述相机调节过渡板16呈l型，l型的横板16-1挂接相机7，l型的竖板16-2连接相机卡板14，弧形槽15位于竖板16-2上部；竖板16-2下端与相机卡板14轴连接，竖板16-2上端与相机卡板14通过弧形槽15连接，弧形槽15用于调节相机7镜头朝向，镜头朝向角度可从-60
°
至60
°
调节。
20.所述成像单元的前端由树莓派4b主板、工控机和千兆以太交换机组成，其中所述树莓派4b主板与所述相机7通过wifi无线链路一一相连，所述树莓派4b主板与工控机之间通过网线连接到千兆以太交换机组成局域网；其中，所述工控机的软件模块包括高清图像下载、显示与保存模块、与树莓派4b主板的网络通信模块、相机参数配置模块、伺服电机控制模块、日志文件生成模块；所述树莓派4b主板安装raspbian系统，并安装网口、wifi、usb外设的驱动，三维成像软件multisony采用c++语言编写、gcc编译器编译；树莓派4b主板软件采用camera remote api通过无线wifi网络实现对所述相机7的远程控制；所述控制系统通过wifi无线网络完成对所述微单相机的远程控制，通过三维成像软件multisony控制所述相机7对植株8进行全方位、多视角成像。
21.所述相机7的位置和镜头朝向可柔性调节，其中，位置可沿成像臂上下调节，具体采用双排条形双槽设计，镜头朝向可实现-60
°‑
60
°
调节，具体采用弧形槽设计；所述微单相机7的焦距可根据植株大小通过无线wifi进行调节，无需手动调节每个相机的焦距等参数，预览模式方便实时观察多个相机成像画面以进行调节，提高了操作的便捷性；成像控制通过设置的地面控制系统实现，成像时操作人员可远离旋转主机安全半径之外，防止主机因为失控旋转造成伤害。
22.实际使用中，为保证成像单元稳定可靠，在工控机上安装 ubuntu16.04操作系统，三维成像软件multisony采用qt 5.9集成开发环境开发，该软件包括：高清图像下载、显示与保存模块；与树莓派4b主板的网络通信模块；相机参数配置模块；伺服电机控制模块；日
志文件生成模块；此外，在ubuntu 16.04系统中安装了nfs server服务以及ssh服务。
23.本发明实际使用过程如下：1、首先打开环形挡板17上活动设有的可拆卸活动板18，将待测植株8放置于载座2上，然后根据植株8大小和结构，调整相机7的位置和镜头朝向，确保相机7镜头指向植株8中心；2、启动工控机，开机后双击multisony图标启动软件，软件主界面采用九宫格布局方式显示多路相机采集的图像缩略图；3、开启相机7，后开启树莓派4b主板，树莓派4b主板配置了wifi密码和自动连接功能，相机7开机后自动启动wifi热点并等待与之匹配树莓派与其相连；树莓派4b主板开机后自动运行mount命令，将工控机共享目录images挂载到树莓派主机，从而将图片保存在/mnt/images目录及工控机的硬盘上；4、在软件主界面右侧的相机参数配置区设置相机7参数，在“select raspberry pi”下拉列表选择需要配置的树莓派4b主板编号，可配置的相机7参数包括光圈值、快门速度、感光度，选择合适参数后单击“configure”；单击“zoom in”和“zoom out”调节焦距，单击“preview”预览该相机在该参数配置下的拍照效果；5、测试电机，单击“motor”按钮，软件主界面图像显示区下方显示电机测试区；单击“turn left”按钮启动旋转平台逆时针旋转，单击“turn right”按钮启动旋转平台顺时针旋转，单击“stop”按钮停止转动，单击“one-step left”或“one-step right”按钮旋转平台逆时针或顺时针转动固定角度；电机测试完成后，在“one-step angle”下拉列表中选择旋转角度步长，单击主界面右侧的“capture”启动自动旋转成像功能；6、系统运行时，首先驱动伺服电机11回归拍照原点，而后按照事先配置的旋转角度步长进行旋转；当旋转到指定角度位置稳定后，向所连接的所有树莓派4b主板下发拍照指令；树莓派4b主板通过调用camera remote api远程控制相机7进行自动成像，成像完成后通知树莓派4b主板；树莓派接收信息后立即将拍好的图像通过wget命令下载到工控机images目录中，并通过网络通知工控机显示该图像；当所有相机7图片均保存并显示后，工控机软件启动旋转底盘3转动到下一个固定位置进行下一方位成像，直至完成360
°
旋转成像任务。
24.本发明的有益效果是：1、成像控制系统通过设置的地面控制系统实现，成像时操作人员可远离旋转主机安全半径之外，防止主机因为失控旋转造成伤害。
25.2、载座2采用嵌入式设计，置于旋转底盘3中空区域，一方面，与旋转系统分离，避免旋转轴承引起植株抖动；另一方面，植株8嵌入载座2，可降低植株8高度，有效控制了设备高度。
26.3、背景板4采用伞型结构，减少其占用空间。
27.4、成像臂5采用三段式结构设计，可采集环绕植株8近似“蒙古包”型分布的不同视角的图像，由此可获取细节更丰富、视角更全面的图像序列。
28.5、成像臂5垂直高度3 m，旋转半径1.5 m，对于株高较高的大型作物也适用，不会缺失顶部视角图片信息。
29.6、“门”字形支撑架6增强成像臂5的稳定性，避免旋转时成像臂5和相机7抖动。
30.7、成像臂5上可按照不同间隔装载不同个数相机7，由此可针对不同大小、不同结构特征植株8进行柔性调节。
31.8、相机7的焦距等参数可根据植株8大小通过无线wifi进行设定，无需手动调节，预览模块方便实时观察多个相机7成像画面以进行调节，提高了操作的便捷性。
32.9、相机7的位置和镜头朝向可柔性调节，其中，位置可沿成像臂5设置的双排条形连接槽13上下调节，镜头朝向则通过弧形槽15实现-60
°
至60
°
调节。
33.10、环形挡板17叠放于载座2上方，用于遮挡旋转底盘3，确保成像时相机7采集的植株8和背景是相对静止的，由此避免图像中位置发生变动的关键特征点干扰三维重建。
34.11、环形挡板17设有可拆卸活动板18，方便将植株8平推放置于载座2之上。
35.12、背景板4和环形挡板17均设置为黑色，方便在进行三维重建时基于rgb信息剔除冗余背景，有效减少三维重建过程中错误特征匹配以及传输到在线存储的数据量，提高重建效率和准确率。

技术特征：
1.一种通用型作物三维自动成像系统，包括成像装置以及控制系统，其特征在于：所述成像装置包括底座、旋转摄影单元以及载座；所述底座用于放置旋转摄影单元，底座为中空结构；所述旋转摄影单元包括旋转底盘、背景板、成像臂和支撑架；所述旋转底盘为中空结构，底座以及旋转底盘的中空结构处用于嵌放载座，所述背景板和成像臂分别设置在旋转底盘两侧，且两者位置相对设置，所述成像臂从上至下设有若干个相机，所述支撑架用于固定支撑成像臂；所述载座用于放置待测植株；所述控制系统包括驱动单元和成像单元；所述驱动单元用于驱动旋转摄影单元相对载座的轴心线至少旋转360
°
；所述成像单元用于控制旋转摄影单元对载座上的植株进行全方位、多视角成像。2.根据权利要求1所述的一种通用型作物三维自动成像系统，其特征在于：所述驱动单元包括旋转齿轮、回转轴承、伺服电机以及减速器；伺服电机通过减速器连接并带动旋转齿轮旋转，旋转齿轮与回转轴承啮合传动，所述回转轴承与旋转底盘的底部固定连接。3.根据权利要求1或2所述的一种通用型作物三维自动成像系统，其特征在于：所述支撑架采用“门”字形支撑架。4.根据权利要求1或2所述的一种通用型作物三维自动成像系统，其特征在于：所述成像臂为三段式结构，底部与旋转底盘垂直连接；顶部与旋转底盘水平设置，中部倾斜设置，其与底部、顶部的夹角均为钝角，成像臂的每一段上至少设置一个以上的相机。5.根据权利要求4所述的一种通用型作物三维自动成像系统，其特征在于：所述成像臂上设有均匀排布的上下两排条形连接槽，相邻连接槽上下平行交错排布；成像臂与相机通过连接件连接；所述连接件包括相机卡板和设有弧形槽的相机调节过渡板，成像臂、相机卡板、相机调节过渡板、相机依次连接；所述相机卡板分别与成像臂上相邻的两条条形连接槽连接，用于调整相机所在位置；所述相机调节过渡板呈l型，l型的横板挂接相机，l型的竖板连接相机卡板，弧形槽位于竖板上部；竖板下端与相机卡板轴连接，竖板上端与相机卡板通过弧形槽连接，弧形槽用于调节相机镜头朝向。6.根据权利要求1或2所述的一种通用型作物三维自动成像系统，其特征在于：所述背景板弯折设置。7.根据权利要求6所述的一种通用型作物三维自动成像系统，其特征在于：所述背景板弯折成伞状。8.根据权利要求1所述的一种通用型作物三维自动成像系统，其特征在于：所述成像装置还包括环形挡板和支撑脚，支撑脚固定在载座上部，用于叠放环形挡板，所述环形挡板位于旋转底盘上部，用于遮挡旋转底盘；所述环形挡板还设有可拆卸的活动板，活动板拆卸状态下用于运送待测植株，活动板安装状态下用于拍摄待测植株。9.根据权利要求1所述的一种通用型作物三维自动成像系统，其特征在于：所述成像单元的前端由树莓派4b主板、工控机和千兆以太交换机组成，其中所述树莓派4b主板与所述相机通过wifi无线链路一一相连，所述树莓派4b主板与工控机之间通过网线连接到千兆以
太交换机组成局域网；其中，所述工控机的软件模块包括高清图像下载、显示与保存模块；与树莓派4b主板的网络通信模块；相机参数配置模块；伺服电机控制模块；日志文件生成模块；所述树莓派4b主板安装raspbian系统，并安装网口、wifi、usb外设的驱动，三维成像软件multisony采用c++语言编写、gcc编译器编译；树莓派4b主板软件采用 camera remote api通过无线wifi网络实现对所述相机的远程控制；所述控制系统通过wifi无线网络完成对所述相机的远程控制，通过所述三维成像软件multisony控制所述相机对作物进行全方位、多视角成像。

技术总结
本发明公开一种通用型作物三维自动成像系统，涉及植物形态三维成像技术领域，包括成像装置以及控制系统。成像装置包括底座、旋转摄影单元以及载座；底座用于放置旋转摄影单元，底座为中空结构；旋转摄影单元包括旋转底盘、背景板、成像臂和支撑架；旋转底盘为中空结构，底座以及旋转底盘的中空结构处用于嵌放载座，背景板和成像臂分别设置在旋转底盘两侧，且两者位置相对设置，成像臂从上至下设有若干个相机，支撑架用于固定支撑成像臂；载座用于放置待测植株。控制系统包括驱动单元和成像单元；驱动单元用于驱动旋转摄影单元相对载座的轴心线至少旋转360


技术研发人员：吴茜 张文宇 李华勇 于堃 汪鸿星 孙传亮 李百明
受保护的技术使用者：江苏省农业科学院
技术研发日：2023.03.15
技术公布日：2023/7/21