1.机器⼈视觉
机器⼈研究的核⼼就是：导航定位、路径规划、避障、多传感器融合。定位技术有⼏种，不关⼼，只关⼼视觉的。视觉技术⽤到“眼睛”可以分为：单⽬，双⽬，多⽬、RGB-D，后三种可以使图像有深度，这些眼睛亦可称为VO（视觉⾥程计：单⽬or⽴体），给出的介绍：在机器⼈和计算机视觉问题中，视觉⾥程计就是⼀个通过分析处理相关图像序列来确定机器⼈的位置和姿态。wo318
当今，由于数字图像处理和计算机视觉技术的迅速发展，越来越多的研究者采⽤摄像机作为全⾃主⽤移动机器⼈的感知传感器。这主要是因为原来的超声或红外传感器感知信息量有限，鲁棒性差,⽽视觉系统则可以弥补这些缺点。⽽现实世界是三维的，⽽投射于摄像镜头
（CCD/CMOS）上的图像则是⼆维的，视觉处理的最终⽬的就是要从感知到的⼆维图像中提取有关的三维世界信息。
2.系统基本组成： CCD、PCI、PC及其外设等。
2.1 CCD/CMOS
⼀⾏硅成像元素，在⼀个衬底上配置光敏元件和电荷转移器件，通过电荷的依次转移，将多个象素的视频信号分时、顺序地取出来，如⾯阵CCD传感器采集的图像的分辨率可以从32×32到1024×1024像素等。
2.2视频数字信号处理器
图像信号⼀般是⼆维信号，⼀幅图像通常由512×512个像素组成(当然有时也有256×256，或者1024×1024个像素)，每个像素有256级灰度，或者是3×8bit，红黄兰16M种颜⾊，⼀幅图像就有256KB或者768KB(对于彩⾊)个数据。为了完成视觉处理的传感、预处理、分割、描述、识别和解释，上述前⼏项主要完成的数学运算可归纳为：
(1)点处理常⽤于对⽐度增强、密度⾮线性较正、阈值处理、伪彩⾊处理等。每个像素的输⼊数据经过⼀定关系映射成像素的输出数据，例如对数变换可实现暗区对⽐度扩张。
(2)⼆维卷积的运算常⽤于图像平滑、尖锐化、轮廓增强、空间滤波、标准模板匹配计算等。若⽤M×M卷积核矩阵对整幅图像进⾏卷积时，要得到每个像素的输出结果就需要作M2次乘法和(M2-1)次加法，由于图像像素⼀般很多，即使⽤较⼩的卷积和，也需要进⾏⼤量的乘加运算
和访问存储器。
(3)⼆维正交变换常⽤⼆维正交变换有FFT、Walsh、Haar和K-L变换等，常⽤于图像增强、复原、⼆维滤波、数据压缩等。
(4)坐标变换常⽤于图像的放⼤缩⼩、旋转、移动、配准、⼏何校正和由摄影值重建图像等。磷酸氧钛钾
(5)统计量计算如计算密度直⽅图分布、平均值和协⽅差矩阵等。在进⾏直⽅图均衡器化、⾯积计算、分类和K-L变换时，常常要进⾏这些统计量计算。
3.视觉导航定位系统的⼯作原理
简单说来就是对机器⼈周边的环境进⾏光学处理，先⽤摄像头进⾏图像信息采集，将采集的信息进⾏压缩，然后将它反馈到⼀个由神经⽹络和统计学⽅法构成的学习⼦系统，再由学习⼦系统将采集到的图像信息和机器⼈的实际位置联系起来，完成机器⼈的⾃主导航定位功能。
手提式割草机传统摄像机标定主要有 Faugeras 标定法、Tscai 两步法、直接线性变换⽅法、张正友平⾯标定法和 Weng迭代法。⾃标定包括基于 Kruppa ⽅程⾃标定法、分层逐步⾃标定法、基于绝对⼆次曲⾯的⾃标定法和 Pollefeys 的模约束法。视觉标定有马颂德的三正交平移法、李华的平⾯正交标定法和 Hartley 旋转求内参数标定法。
（2）机器视觉与图像处理：
a.预处理：灰化、降噪、滤波、⼆值化、边缘检测。。。
拟态计算机b.特征提取：特征空间到参数空间映射。算法有HOUGH、SIFT、SURF。
c.图像分割：RGB-HIS。
d.图像描述识别
（3）定位算法：基于滤波器的定位算法主要有KF、SEIF、PF、EKF、UKF等。
也可以使⽤单⽬视觉和⾥程计融合的⽅法。以⾥程计读数作为辅助信息，利⽤三⾓法计算特征点在当前机器⼈坐标系中的坐标位置，这⾥的三维坐标计算需要在延迟⼀个时间步的基础上进⾏。根据特征点在当前摄像头坐标系中的三维坐标以及它在地图中的世界坐标，来估计摄像头在世界坐标系中的位姿。这种降低了传感器成本，消除了⾥程计的累积误差，使得定位的结果更加精确。此外，相对于⽴体视觉中摄像机间的标定，这种⽅法只需对摄像机内参数进⾏标定，提⾼了系统的效率。
4.定位算法基本过程：
简单的算法过程，可基于OpenCV进⾏简单实现。
输⼊
通过摄像头获取的视频流（主要为灰度图像，stereo VO中图像既可以是彩⾊的，也可以是灰度的），记录摄像头在t和t+1时刻获得的图像为It和It+1，相机的内参，通过相机标定获得，可以通过matlab或者opencv计算为固定量。mcu解密
输出
计算每⼀帧相机的位置+姿态
基本过程
1. 获得图像It,It+1
2. 对获得图像进⾏畸变处理
3. 通过FAST算法对图像It进⾏特征检测，通过KLT算法跟踪这些特征到图像It+1中，如果跟踪特征有所丢失，特征数⼩于某个阈值，则重新进⾏特征检测
4. 通过带RANSAC的5点算法来估计两幅图像的本质矩阵军用单杠
5. 通过计算的本质矩阵进⾏估计R,t
6. 对尺度信息进⾏估计，最终确定旋转矩阵和平移向量
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议