ADAS摄像头图像环视拼接算法
输⼊输出接⼝
Input：
（1）4个摄像头采集的图像视频分辨率（整型int）
（2）4个摄像头采集的图像视频格式（RGB，YUV，MP4等）
（3）摄像头标定参数（中⼼位置（x,y）和5个畸变 系数（2径向，2切向，1棱向），浮点型float）
（4）摄像头初始化参数（摄像头初始位置和三个坐标⽅向
的旋转⾓度，车辆宽度⾼度车速等等，浮点型float） Output：
（1）图像融合和拼接的image/video的坐标位置（浮点型float）
（2）图像融合和拼接的图像视频分辨率（整型int）
（3）图像融合和拼接的图像视频格式（RGB，YUV，MP4等）
（4）车辆周围障碍物报警（字符型char）
22.1 功能定义
1）计算图像融合和拼接的image/video的坐标位置。lora通信
2）算出图像融合和拼接的图像视频分辨率。
3）确定图像融合和拼接的图像视频格式。
4）检测车辆周围障碍物并报警。
22.2 技术路线⽅案
在360°全景视图泊车辅助系统中，通过安装在车辆前、后、左、右 4 个⽅位的⼴⾓摄像头采集车辆四
周的视频影像，利⽤图像融合和拼接技术合成⼀幅车⾝周围的全景视图，最后在中控台的屏幕上显⽰，以扩⼤驾驶员视野。借助360°全景视图泊车辅助系统，驾驶员坐在车中即可直观地看到车辆周围是否存在障碍物以及障碍物的相对⽅位与距离，以便在狭窄拥堵的停车场从容操控车辆泊车⼊位或通过复杂的路⾯，可有效防⽌刮蹭、碰撞、陷落等事故的发⽣。同时，全景视图也可以为⾃动驾驶系统中识别、检测、跟踪等算法提供⽀持。防爆钟
斜导柱富⼠通(Fujitsu)开发的视频成像技术，可实时实现车辆的完整360°环绕视图。四个相机安装在车辆前后左右周边，车辆周围环境的视频图像通过富⼠通的3D虚拟投影/视点转换技术进⾏合成。先进的三维算法可以⽐较流畅地结合四个独⽴相机的图像，提供⼀个⽆缝和清晰的360°视图。具体来说，四个摄像头的图像被发送到视频处理LSI，包括视频捕捉和3D功能，然后相机图像合成为单个实时3D图像并投影到三维碗形⽹格，⽣成虚拟3D环绕视频，可以任意转换车辆周围环境视图视⾓。
图1. 富⼠通环视⽅案流程图
为了满⾜视频拼接的实时性要求，同时考虑到摄像头安装的位置、⾓度以及不同摄像头之间相互位置相对固定，在本项⽬中可以使⽤基于特定图像拼接与查表法相结合的多视点视频拼接⽅法。在初始化阶段，⾸先采集预先放置于车辆前、后、左、右 4个⽅位的带有棋盘格的标定图像，利⽤标定图像分别对4个摄像头进⾏参数标定，求出并保存每个摄像头图像畸变矫正参数，对标定图像进⾏畸变矫正，
消除摄像头成像失真；然后对畸变矫正后的标定图像进⾏射影变换，求出并保存射影变换参数；接着采集预先放置于车辆前、后、左、右4个⽅位的带有丰富特征点的特定图像，并通过查摄像头图像畸变矫正参数进⾏畸变矫正，通过查射影变换参数将矫正后的特定图像变换成俯瞰图；最后对4个俯瞰图提取 ORB( Oriented FAST and Rotated BRIEF) 特征并进⾏粗匹配，利⽤ RANSAC( Random Sample Consensus，随机抽样⼀致) 算法剔除误匹配点，并拟合出单应性矩阵的初始值，再使⽤ Levenberg-Marquardt ⾮线性迭代最⼩逼近法进⾏求精，经图像配准、融合和拼接后，⽣成360°俯瞰全景视图。在泊车辅助系统启⽤期间，通过查已保存的摄像头图像畸变矫正参数、射影变换参数以及单应性矩阵参数，将4个摄像头的视频图像进⾏拼接，⽣成虚拟的俯瞰全景视图。
由于摄像头内外参数校正准确性对图像投影效果影响⼤；需要结合摄像头安装具体情况进⾏算法的调整；为满⾜嵌⼊式系统实时性需求，需要不断优化算法；尽量进⾏流程简化或者流程⾃动化。
图2. 算法流程
图3. 摄像头成像及其坐标系
主要数学原理，世界坐标系中某点投影到图像平⾯上的像素点( u，v).该过程要经过齐次坐标转换：
其中，s为任意的⾮零⽐例因⼦；αu=f/dx，f是摄像头的焦距，dx代表x轴⽅向⼀个像素的宽度是图像在 u 轴上的尺度因⼦，或称为u轴上的归⼀化焦距；
，其中dy代表y轴⽅向⼀个像素的⾼度，αv是图像在v轴上的尺度因⼦，或称为v轴上的归⼀化焦距；，它们是摄像头坐标系相对于世界坐标系的旋转向量；是摄像头坐标系相对于世界坐标系的平移向量； M1 由决定，只与摄像头内部参数有关，称为摄像头内部参数矩阵； M2 由摄像头相对于世界坐标系的⽅位决定，称为摄像头外部参数矩阵； M 是⼀个3×4矩阵，称作投影矩阵，⽤于计算从世界坐标系到图像坐标系的转换。可见，若已知摄像头的内、外参数，就能够知道投影矩阵 M，对空间内任何⼀点，如果已知它的空间坐标，就可以求出对应的像素点坐标(u，v) 。
张正友标定法，采⽤棋盘格平⾯靶标作为标定物，可以把世界坐标系构造在 Zw = 0的平⾯上。
其中，和是径向畸变系数。将式（3）化成矩阵形式为
以上是畸变矫正公式。
以上是射影变换。
以上是畸变矫正及射影变换所对应的坐标像素计算公式。
以上是图像拼接单应性矩阵求解公式。
以上是平均值法对拼接重叠区域进⾏融合。
以上是3-D ship模型视⾓转换矩阵。
图4. alpha fusion
芯片处理22.3 关键技术参数和性能指标
电缆转接箱⼀种基于⾃适应特征点配准的环视系统拼接效果评估和⾃动微调⽅法，其特征在于：包括以下步骤：
步骤A、获得拼接前图像，并截取根据拼接参数算出的拍摄的相同位置的图像；疏水二氧化硅
步骤B、采⽤⾃适应特征点配准算法来获得拼接前相同位置的图像的旋转平移矩阵；
步骤C、将旋转平移矩阵或者对其进⾏计算得到的⾓度信息和位移信息作为环视系统拼接效果的评估指标，并⽤此矩阵对拼接效果进⾏微调。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议