哈尔滨工业大学工程硕士学位论文
摘要
虚拟现实已经走进人们的生活，给用户带来沉浸式的感受。对于房地产行业，传统的网上看房模式只能看到房源的局部平面信息。如果利用虚拟现实技术对房屋室内信息进行全景构图，用户可以全方位立体式地查看房源信息，并通过佩戴VR设备更加便捷地实现室内漫游，与室内物体进行智能交互。目前全景图像获取复杂，图像检测识别的研究主要集中在传统图像上。本文为了解决这些问题，设计了一套一键式的全景采集设备，并实现了全景图像中室内物体的检测与分类。 通过对全景拼接技术的深入研究，本文给出了一套全景图像采集系统的设计方案，并将整个系统分为图像获取、图像拼接和全景交互三个部分。设备通过三个鱼眼摄像机利用多线程同步技术获取环境实景图像，经过鱼眼校正、图像配准、图像拼接以及图像融合等过程实现全景图自动生成，通过网站服务器实现了全景图像的展示、分享以及数据的保存。最终在嵌入式平台上完成整个采集系统，实现一键式获取全景图像，具有价格低廉、操作简单、便携的特点，实际产品投入使用也验证了系统的稳定性和可靠性。
关于全景图像中物体的分类与检测问题，考虑到全景图像中物体会随拍摄角度和拍摄位置的变化产生随机变形而给识别带来很大的难度。本文采用深度学习的方法，利用卷积神经网络提取特征的优势，建立
了基于候选区域的物体分类检测系统，通过共享特征提取网络完成候选区域的生成与物体的分类检测两个任务。具体方法是以全景图像作为输入，深度卷积神经网络进行特征提取，候选区域网络利用提取的特征生成目标的候选区域，对每一个候选区域采用特征映射机制以及空间金字塔池化技术得到归一化的特征向量，经物体分类检测网络完成对每个候选目标框的类别判断以及位置精修，最终通过非极大值抑制算法输出检测到的物体类别与位置。大量实验结果验证了整套分类检测系统的可行性和算法的有效性，在我们搭建的全景图像测试集上，全景图像室内物体目标检测的平均准确率达到了68.7%。
关键词：全景拼接；图像识别；目标检测；深度学习
哈尔滨工业大学工程硕士学位论文
ABSTRACT
Virtual reality has come into people's lives, and it can bring people immersive feelings. For the real estate industry, the traditional online search mode can only see the local housing information. I use of virtual reality technology to generate panoramic view of the house, users can view the 3D information, roam in the room through wearing VR devices and realize the intelligent interaction with the objects in the room. At present, panoramic image acquisition is complex, and the research of ima
ge detection and recognition mainly stays on the traditional image. In order to solve these problems, this paper designs a one key panoramic acquisition equipment, and realizes the detection and classification of indoor objects in the panoramic image.
Through the deep research of the panorama stitching technology, this paper presents a design scheme of the whole system, and divides the whole system into three parts, which are image acquisition, image stitching and panoramic interaction. Three fisheye camera using multi thread synchronization technology to obtain the real image, after the fisheye correction and image registration, stitching, fusion process to achieve automatic panorama generation, build web server to achieve panoramic image display, save and share. The final completion of the entire system on the embedded platform, to achieve efficient access to the panoramic image, has the characteristics of low price, simple operation, easy portability. The actual product is put into use, also verified the stability and reliability of the system.
About the classification and detection of objects in the panoramic image, taking into account the random deformation of the object in the panoramic image to bring a lot of difficulty to identify. In this paper, the very deep convolution neural network is used to extract features, and establish an object classification detection system based on region proposals. The detial is based on the panoramic ima
ge as input, deep convolutional neural network for feature extraction, and target region proposals generated by the candidate region of the network. Each region proposal adopts the feature mapping mechanism and the spatial Pyramid pool technology to get the normalized eigenvector. Then classification and detection network complete the object classification and bounding box regression. Finally, the object categories and positions are precisely exported by non maximum suppression algorithm. A large number of experimental results verify the feasibility and effectiveness of the classification detection system. The average accuracy of the indoor object detection is 68.7%.接线排
Keywords: panorama stitching, image recognition, object detection, deep learning
哈尔滨工业大学工程硕士学位论文
目录
摘要 ............................................................................................................................... I ABSTRACT ..................................................................................................................... I I 第1章绪论 . (1)
1.1 本文研究的背景和意义 (1)
1.2 国内外研究现状 (2)
1.3 本文主要研究内容 (5)
第2章全景图像采集系统设计 (6)
2.1 全景采集系统的硬件结构设计 (6)
不锈钢镀锌2.1.1 系统组成 (6)水泥增强剂配方
2.1.2 硬件系统搭建 (6)
2.2 全景采集系统的软件系统设计 (7)
2.2.1 鱼眼图像的校正 (8)
2.2.2 特征提取与特征匹配 (11)
2.2.3 图像配准与图像融合 (14)
2.3 本章小结 (18)
第3章基于卷积神经网络的图像特征提取 (19)
3.1 前向传播算法 (19)
3.2 反向传播算法 (21)
3.3 卷积神经网络 (23)
3.4 基于卷积神经网络的特征提取 (26)
3.4.1 特征提取网络设计 (26)
音箱的制作3.4.2 卷积特征映射机制 (27)
3.5 本章小结 (29)
第4章基于深度学习的室内物体分类检测 (30)
4.1 室内物体分类检测网络的总体框架 (30)
双电源控制器4.2 目标候选区域算法 (30)
4.2.1 选择性搜索算法 (31)
4.2.2 候选区域网络 (33)
4.3 物体分类检测网络 (35)
4.3.1 空间金字塔池化 (35)
哈尔滨工业大学工程硕士学位论文
4.3.2 目标框位置回归网络 (37)
4.3.3 基于区域的分类检测网络 (38)
4.4 非极大值抑制算法选择最优目标框 (39)
4.5 本章小结 (40)
第5章综合实验及结果分析 (41)
5.1 全景图像数据集的搭建 (41)
5.2 分类检测网络的训练 (42)
单相整流桥
5.3 实验结果分析 (43)
5.3.1 候选区域网络参数对结果影响 (43)
5.3.2 深度学习方法对于形变物体的检测性能 (45)
5.4 本章小结 (47)
结论 (48)
参考文献 (49)
哈尔滨工业大学学位论文原创性声明和使用权限 (52)
致谢 (53)
哈尔滨工业大学工程硕士学位论文
第 1 章绪论
1.1本文研究的背景和意义
近年来随着虚拟现实技术的快速发展，对全景图像的快速生成和智能交互提出了更高的要求。虚拟现实技术被公认为21世纪重要的发展学科，涵盖了计算机图形学、多媒体技术、传感器技术、人机交互技术以及网络技术[1]等。虚拟现实已经被广泛地应用到很多领域，并且也逐渐表现出对各个行业发展趋势的影响。虚拟现实技术充分利用了计算机技术通过对多源信息进行融合给用户带来一种沉浸式的感受。
目前虚拟现实技术广泛地应用到城市规划、工业仿真、文物保护、桥梁轨道设计、房地产销售、水利电力、地质灾害、教育培训、医疗健康等众多领域。在医疗领域，借助虚拟现实技术，快速建立腔内虚拟的三维模型，进行病情分析以及模拟手术，更多的在康复医学[2]中也得到广泛应用。在教育中，设立虚拟实验室，学生通过操作虚拟的实验设备完成实验，避免一些危险实验带来的安全问题，同时能够更好的重复实验，深刻理解所学知识。虚拟现实在三维展示尤其是全景看房领域的应用是目前最为普遍的应用之一，如图1-1所示，和传统的平面图片看房，全景预览提供了交互式的、真实的、完整的看房模式，能让用户高效率、高质量的查看房源，做出选择。
图1-1 全景看房实例
从虚拟现实的发展来看，交互方式是其关注的重点。目前比较流行的交互方式包括手势识别、触觉反馈、语音交互、动作捕捉、传感器交互以及眼球跟踪。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议