茄子采摘机器人目标识别与测距方法

采用基于亮度的阈值分割算法对G-B灰度图像进行分割,采用4连通像素标记法对果实目标进行标记,提取质心、面积、外接矩形、切断点等特征。采用平面标定方法,建立摄像机矫正数学模型,利用Matlab多次标定计算完成双目视觉系统进行自标定。根据图像分割结果,选取质心为匹配基元,采用极线约束、视差梯度约束的算法来实现果实目标的匹配。根据相似三角形原理,计算茄子果实深度信息。结果表明,测量距离300~600 mm范围内,茄子深度信息的误差基本上在±15mm以内,平均用时0.26 s。基于双目视觉的茄子采摘机器人识别与定位方法原理简单,智能性好,适应面广,能够满足采摘机器人目标识别和定位的要求。     

基于双目立体视觉的目标物定位研究

为了实现视觉获取目标物立体信息,以立体测量原理为基础,采用Matlab和Opencv相结合的方法,设计了基于双目立体视觉的目标物定位系统。该系统采用棋盘标定法,利用Matlab完成双目相机标定,采用BM（Block Matching）立体匹配算法在VS2010环境下配合Opencv3.0.0库,完成左右图像对的匹配,生成视差图。通过将二维空间点重投影至三维空间,便可求得目标点的空间三维坐标,最终实现通过鼠标点选后输出选定点的空间坐标。实验表明,该系统拥有较高的测量精度,尤其在150cm距离下可获得最佳的测量精度。     

边缘检测和证据理论在机器人目标识别中的应用

以NAO机器人为平台,在机器人视觉算法的基础上,研究了NAO机器人的有色目标识别方法。采用基于HSI颜色空间的离散小波变换方式,利用可自动适应阈值Canny算子边缘检测方法和双阈值法提高了图像边缘的准确性和容错性。通过NAO机器人双摄像头系统进行图像的颜色标定,提出的基于模糊系统下证据理论的双摄像机融合策略能够有效地减少颜色之间的标定冲突,将目标图像的识别性能提高约29%。     

管道巡检机器人视觉系统实验教学平台设计

为加强机器人专业实验教学,提高人才培养质量,设计了一套基于管道巡检机器人的视觉系统实验教学平台。该实验平台由目标物的检测识别和目标物的定位测距两部分组成,涉及视觉系统的相机标定技术、深度学习技术、YOLO检测算法、单目定位测距技术等。实验结果表明,该视觉系统具有较强的淤积物检测识别能力和较高的淤积物检测精度。学生通过该平台不仅学习了管道机器人视觉系统的设计思路和方法,而且创新实践能力大大提高。     

全局视觉足球机器人的动态目标识别方法改进

在全局视觉小型足球机器人比赛中,为保证控制的实时性和准确性,要求机器人的视觉系统能够快速处理图像信息,并对目标进行准确的识别和跟踪,但由于受外界环境的干扰和视觉系统自身的原因,全局视觉足球机器人经常出现目标丢失或识别错误等现象。文章通过分析影响目标识别效果的各种因素,提出了相应的改进方法,并以ROBOCUP小型组足球机器人系统为平台设计了目标识别方案。     

用于分拣机器人的改进标定方法

标定使相机的像素坐标关系能转化为有应用意义的实际坐标关系,针对传统张正友标定法在分拣机器人视觉系统应用场景中不能直接建立像素坐标系与机器人坐标系坐标关系的不足,提出一种基于直接线性标定法的改进型简便标定方法,该方法可快速建立机器人坐标系与图像坐标系之间的联系,完成机器人手眼标定。为了验证采用该标定方法的分拣机器人视觉系统所能到达的实际精度,采用重复定位精度0.02mm的SCARA机器人、300万像素相机在120×90mm的视野范围下进行抓取实验,从而验证分拣系统的实际效果。结果表明:所提的算法在实际生产任务环境下可实现0.3mm的定位抓取精度。     

工业机器人实验教学平台

针对工业机器人系统复杂、学习难度大等问题,设计了基于机器视觉的五子棋人机对弈实验教学平台。通过机器视觉实验,学生可以学习相机标定、棋子快速识别与定位的图像算法。通过对弈搜索算法实验,学生可以学习树状智能搜索算法的原理。最后进行机器人程序控制实验,了解机器人轨迹规划的基本原理,通过修改机器人程序可得到不同的机器人运动轨迹。利用开发的人机交互界面,可进行对弈实验测试。该实验达到了预期实验目的。     

双目立体视觉测量系统的理论研究

阐述了双目立体视觉测量系统的原理,基于MATLAB工具箱进行双目摄像机标定,求解平行双目摄像机内外参数;由此建立了双目测量的图像采集系统,为三维重建做好了准备。详解了立体匹配时常采用的极线方法及原理,为被测时象的三维重建提供简便的匹配约束方法。     

基于机器视觉的多目标跟踪技术的研究

机器视觉可以帮助机器识别物体并对物体进行作业.本文在工业机器人的设计基础上,增加一个机器视觉系统.系统由机器人、摄像机、图像采集卡、计算机及系统软件所构成.机器人凭着这个视觉系统,可以捕获目标物体的特征并且识别目标物体,然后对物体进行定位,最后控制工业机器人完成作业任务.     

面向机器人智能抓取任务的视觉定位实验

开发了面向机器人抓取任务的视觉定位实验平台。该实验平台基于5自由度关节式机器人实现物料抓取,采用运动控制器及伺服电机进行控制。基于机器视觉的抓取目标定位系统采用Matlab软件开发,包含图像预处理、图像分割、目标识别、坐标计算、运动路径规划等。视觉定位系统能够识别多个被抓取对象的位置、姿态,并生成抓取运动指令,通过网络与机器人运动控制器通信实现自动抓取。该实验融合了机器视觉、机器人控制、机电一体化等多方面课程知识,具有良好的开放性和广泛应用性,有利于培养学生的工程实践能力和创新能力。     

双目立体视觉定位的三维坐标提取与分析

双目定位跟踪系统涉及到的关键技术有摄像机标定、立体匹配和三维重建等.在三维重建阶段,利用匹配的结果采用最小二乘法计算定位标靶上标记的三维坐标.实验结果表明,在现有条件下,双目定位跟踪系统的定位精度比较高,相对误差在1%以内;基于此定位跟踪系统,能够初步准确完成对经络的三维定位和实时显示,为临床诊断治疗和基础教学提供直观的分析依据.     

基于BM算法的视觉匹配验证

双目立体匹配算法在非接触测量方面的优异表现,使其在机器人的图像识别领域得到了广泛的应用。文章采用局部立体匹配算法中的字符串搜索（BM）算法,将双目摄像头采集的图像对经过立体匹配、校正后得出深度图,由此得出被测物体与摄像头之间的距离,并与实际测量距离进行比较,以检验算法的准确性。在此基础上改变光照强度和测量距离来检测算法的适用性。实验结果表明,BM算法适用于距离小于1.5 m范围内的物体的测量,且该算法对光照强度要求不高,说明BM算法可以应用到双目视觉系统,用于对实际场景的识别。     

Vision based terrain reconstruction for planet rover using a special binocular bundle adjustment

This paper presents a pure vision based technique for 3D reconstruction of planet terrain. The reconstruction accuracy depends ultimately on an optimization technique known as ＇bundle adjustment＇. In vision techniques, the translation is only known up to a scale factor, and a single scale factor is assumed for the whole sequence of images if only one camera is used. If an extra camera is available, stereo vision based reconstruction can be obtained by binocular views. If the baseline of the stereo setup is known, the scale factor problem is solved. We found that direct application of classical bundle adjustment on the constraints inherent between the binocular views has not been tested. Our method incorporated this constraint into the conventional bundle adjustment method. This special binocular bundle adjustment has been performed on image sequences similar to planet terrain circumstances. Experimental results show that our special method enhances not only the localization accuracy, but also the terrain mapping quality.     

非确定环境下移动机器人多传感器系统及信息处理

PBJ- 01是一类移动机器人, 它的6个轮子和2个摆臂能够帮助机器人适应多种地形. 机器人上装有一个复杂的传感器系统, 包括超声波传感器、触觉传感器、视觉传感器等. PBJ-01采用基于行为的控制体系机构, 其关键部分是基于模糊神经网络的障碍识别系统. 仿真证明该系统能够从传感器的感知数据而识别出障碍类型, 从而帮助机器人在越障行为和避障行为之间进行抉择.     

空间微重力环境地面气动模拟系统设计

本论文提出了在地面采用气动方式模拟空间微重力环境下实验系统方案,该实验系统用于验证空间机器人的捕获性能。本验证系统由模拟目标星实验模型、气浮平台、双目视觉系统、通讯系统、电机系统,传感器系统、信号调理系统六个子系统组成。本论文首先阐述了系统各个子系统的设计方案,其次讨论了基于层次递减式控制系统结构,最后重点研究了模拟目标星在垂直地面方向上的漂浮运动控制算法,仿真和实验结果验证了该控制算法是有效的。     

融合超声传感与视觉图像的智能小车避障设计

基于MATLAB 软件及Arduino 开发板等硬件,提出并设计了一种融合超声传感和视觉图像技术并能实现主动避障的智能小车。建立单目相机的数学模型,并使用MATLAB 的相机标定工具箱进行参数标定,根据标定结果对图像畸变进行校正并实现了障碍物目标的跟踪测距。而后通过MATLAB软件及Arduino 开发板调用超声波模块实现对前方障碍物的测距。根据系统结构方案选用合适的硬件搭建智能小车,测试表明,该车能满足不同场景下实现主动避障,为智能驾驶系统设计提供参考。     

基于双目视觉的运动位姿误差检测方法研究

为了提高人体运动位姿误差检测能力,提出基于双目视觉的运动位姿误差检测方法。采用双目视觉跟踪融合识别方法对运动位姿的样本动态特征点进行采样,以全局人体姿态信息为候选样本,进行运动位姿双目视觉特征高分辨提取,采用模板匹配方法,构建人体部位姿态候选样本轮廓分布集,获取模板大小,根据模板大小计算运动位姿的误差概率分布,利用相邻图像帧之间的运动特征分布集,构建运动位姿图像的位置信息检测模型,在此基础上,采用自适应颜色覆盖方法对运动位姿的误差概率分布做极小化处理,完成对人体运动位姿误差检测。仿真结果表明,采用该方法进行运动位姿误差检测的特征分辨能力很好,降低了检测误差,提高了运动位姿双目视觉跟踪识别能力。     

基于视觉引导的机器人抓取分类系统设计

为了解决流水线的快速抓取及分类问题,采用六自由度串联工业机器人和SCARA 四轴机器人结合,配合3D 和2D 相机,搭建了一套智能分类抓取系统。基于Halcon 视觉处理平台,在Qt 软件框架下进行二次开发,构建了机器人视觉引导的自动抓取和分类软件框架。通过相机采集图像,并在上位机中经图像预处理、位姿估计、模板匹配等步骤后,得到三维位姿或中心坐标,并发送给机器人实行智能抓取,从而实现对多种堆叠物块的识别和抓取。实验结果表明,通过视觉定位得到的物块中心位置和机械手实际抓取测量之间的误差为0.05~1.22 mm,摆放角度在5°以内时,分拣效率比人工分拣提高了62%左右,可以更好地满足实际企业生产的需求。     

Depth estimation system suitable for hardware design

Depth estimation is an active research area with the developing of stereo vision in recent years. It is one of the key technologies to resolve the large data of stereo vision communication. Now depth estimation still has some problems, such as occlusion, fuzzy edge, real-time processing, etc. Many algorithms have been proposed base on software, however the performance of the computer configurations limits the software processing speed. The other resolution is hardware design and the great developments of the digital signal processor (DSP), and application specific integrated circuit (ASIC) and field programmable gate array (FPGA) provide the opportunity of flexible applications. In this work, by analyzing the procedures of depth estimation, the proper algorithms which can be used in hardware design to execute real-time depth estimation are proposed. The different methods of calibration, matching and post-processing are analyzed based on the hardware design requirements. At last some tests for the algorithm have been analyzed. The results show that the algorithms proposed for hardware design can provide credited depth map for further view synthesis and are suitable for hardware design.