多特征视觉定位方法

1.本发明涉及视觉定位领域，尤其涉及利用多个特征进行视觉定位的方法。

背景技术：

2.近些年已经出现了多种用了在室外、室内进行定位的方法。全球导航卫星系统(gnss)在通常情况下可以实现小于1米的定位精度。但在城市区域，由于gnss的定位信号被建筑、树木等阻挡，定位精度变差，尤其在像北京、香港这样的高楼密集的都市，定位信号被高楼阻挡或反射，使得定位精度严重变劣。
3.在室内定位领域，已经发展了利用射频(rf)信号进行定位的几种技术，包括利用wi-fi、蓝牙、蓝牙低功耗(ble)和超宽带(uwb)技术进行定位。但这些方法对硬件等基础设施的要求比价高，需要投入较多的硬件信号设备，或对现有的设备进行改造，并且需要这些设备以较高的频率进行信号扫描(例如1至4秒发射一次定位信号)，这种方法具有功耗大并且定位精度不高的缺点，例如，利用wi-fi进行定位的误差在5至15米。
4.现有定位技术除了以上所说的定位精度差、基础设备的成本高等缺点外，还具有用户量少、可靠性低、定位设备覆盖范围重叠等不足。

技术实现要素：

5.针对现有技术的上述缺陷，本发明的发明人提出了一种基于bim模型和移动设备拍摄的照片进行定位的多特征视觉定位方法。
6.本发明从用户在现场拍摄的图像中提取四种类型的特征，即，特征点(edge)、物件(object)、材料(material)、线条(line)，并将其与bim中存储的相应特征进行比较，从而提高用户在室内外的视觉定位精度。
7.根据本发明的一个方面，连接到网络的中心服务器(或处理装置)接收用户拍摄的原始图像和与之相关联的拍照参数以及定位请求，其中所述拍照参数包括用户拍摄装置的位姿，即初步位置以及姿态数据；以所述初步位置为中心确定一定范围内的若干候选位置；利用bim模型根据所述姿态数据为每个候选位置生成一幅图像，该图像类似于接收到的用户拍摄的原始图像；然后，中心服务器计算每个候选位置的生成图像与原始图像的相似度；将具有最大相似度的图像所在的候选位置确定为用户位置；最后将所确定的用户位置发送给所述用户。
8.上述计算每个候选位置的生成图像与原始图像的相似度的步骤包括：计算每个候选位置的生成图像的多个特征与原始图像中的对应的多个特征的相似度。
9.在另外的实施方式中，使用紧耦合特征(tightly coupled features)进行定位。
附图说明
10.下面参照附图对本发明的各个实施例做详细的描述，所述附图包括：
11.图1a是在本发明一个实施例中用来定位的用手机拍摄的照片的示例；
12.图1b是提取图1a的图像中的线特征后形成的线特征示图；
13.图1c是在图1a的基础上显示特征点的示图；
14.图1d是在本发明一个实施例中根据用户手机的拍照相关参数利用bim系统生成的一个候选图像的示例；
15.图2是示出定义拍摄器材在三维空间的姿态的角度坐标的示意图；
16.图3是图1a所示实施例中由bim生成的需要进行定位的用户所在城市局部俯视图，其中，呈网格状分布的多个圆点代表多个候选位置；
17.图4是根据本发明一个实施例的视觉定位方法的流程图。
具体实施方式
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例并结合附图，对本发明做进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.智能手机都具有拍照功能以及将照片发送到网络的功能。其他的便携设备，例如数码相机、ipad等，也都可以拍照并将照片上传到网上。在本发明中，这些在现场拍摄的并上传到网络的照片被用来对照片拍摄者(用户)进行精确定位。
20.图1a示出了一位用户在城市的街边用手机拍摄的图像(原始图像)的示例，在以下说明中，以手机拍摄的照片作为示例进行说明，但本领域普通技术人员知道，图像可以是手机边或其它任何合适的电子设备(如平板电脑等)拍摄的任何合适的图像(如视频、视频中的一帧图像等等)。在本发明中，这样的数码照片连通拍照时手机的拍照相关参数被发送到与互联网连通的中心服务器(或类似的数据处理装置)，用来对用户拍照片时所处的位置进行准确定位。拍照时手机的拍照相关参数包括，手机摄像头的焦距f、手机的位姿数据，包括姿态和粗略位置。这里，粗略位置(或者初步位置，包括经度、维度和海拔高度)可以由现有的定位方法获得，例如通过gnss获得。如上所述，在城市区域，现有的定位方法获得初步位置的误差较大。本发明可以在所述粗略位置的基础上进一步精确定位。另外，手机的姿态可由三维坐标系中的三个姿态角确定：俯仰角(ψ)、偏航角(θ)、滚转角图2示出了俯仰角、偏航角、滚转角的示意图。由上述三维坐标确定的手机的姿态，也就确定了手机镜头拍摄时的角度。手机中的惯性测量单元(imu，inertial measurement unit)能够实时地测量手机的俯仰角(ψ)、偏航角(θ)、滚转角在本发明中，用户拍摄的照片(原始图像)连通手机的上述拍照相关参数通过网络传送到中心服务器(或类似的处理装置)。
21.接下来，本发明的视觉定位方法根据接收到的手机的拍照相关参数并利用视觉定位技术来对确定用户所处的位置。本发明的一个实施例采用的视觉定位技术是建筑信息模型(bim,building information model)，本领域普通技术人员知道，还可以采用任何其它合适的视觉定位技术。具体而言，本发明的一个实施例利用建筑信息模型(bim,building information model)来提供多个相应的候选图像，然后将提供的多个候选图像与用户实际拍摄的图像比较，以到最接近用户实际拍摄图像的相应的候选图像。根据实际需要，可以通过实时计算来提供候选图像，也可以通过调取数据库中存储的图像来提供候选图像。
22.bim技术是一种应用于工程设计、建造、管理的数据化工具，通过对建筑的数据化、
信息化模型整合，在项目策划、运行和维护的全生命周期过程中进行共享和传递，使工程技术人员对各种建筑信息作出正确理解和高效应对。
23.bim的核心是通过建立虚拟的建筑工程三维模型，利用数字化技术，为这个模型提供完整的、与实际情况一致的建筑工程信息库。该信息库不仅包含描述建筑物构件的几何信息、专业属性及状态信息，还包含了非构件对象(如空间、运动行为)的状态信息。
24.例如，图1d是由bim生成的一张图像的示例，是一张从街道的某个位置仰视的图景。在确定了观察点的经纬度、高度，以及视角等参数后，bim能够生成相应的可视化图像，这个可视化图像对应于在实际的场景，在同样的经纬度、高度，以及视角用手机(或其他拍摄器材)拍摄的图像。图3是由bim生成的在和图1d的位置接近的位置处的俯视图。
25.bim技术不仅能够生成室外场景图像，还能生成室内场景图像。并且，bim的数据库是动态变化的，在应用过程中不断在更新、丰富和充实。
26.本发明用于进行定位处理的中心服务器(或类似的处理装置)连接到上述bim系统，或者，本发明的中心服务器(或类似的处理装置)安装有上述bim系统，能够调用bim系统中的程序和数据库中的数据来生成用于定位的数据，例如，为每个候选位姿生成一幅候选图像(或候选图像，如图1d所示)，每一幅候选图像类似于原始图像。
27.具体来说，如上所述，中心服务器接收到用户用手机发送的照片(例如，图1a所示照片)以及与该照片相关联的拍照相关参数，该拍照相关参数包括手机的粗略位置和由手机上的imu测量的手机姿态数据。接下来，中心服务器以手机的所述粗略位置为中心，以长度l为半径，在半径l范围内的设定若干候选位置。如上所述，手机的所述粗略位置可以是通过现有的定位手段(如gnss)获得。图3是根据用户的粗略位置由bim生成的所述位置附近的城市街道的俯视图，其中成网格状的圆点代表各个候选位置。具体来说，以用户的所述粗略位置为中心以l为半径的圆，由中心服务器确定各个候选位置。其中，由于图1a的示例中的照片是室外街道上的景象，中心服务器根据bim的数据库确定街道的位置和房屋的位置，并将各个候选位置设置在街道上而不是房屋里。并且其中，每个候选位置可以具有与接收到的用户手机的所述粗略位置不同的经纬度但相同的海拔高度。在另外的实施例中，每个候选位置的经纬度由中心服务器设定，然后从bim数据库中读取对应于每个候选位置经纬度的海拔高度。
28.上述半径l的大小可人为设定。l值可以是20米、50米、100米或任何其他距离。
29.接下来，中心服务器分别以每一个候选位置为用户的假定的位置，以接收到的所述手机姿态数据为拍摄角度，利用bim模型生成一张照片(或图像)，如图1d所示的图像。
30.中心服务器为图3所示的每个候选位置生成一幅如图1d所示的图像，由于这些图像模拟在相近的位置以相近的角度拍摄的图像，因而各个图像比较相似，但各有不同。然后逐一比较生成的每幅图像与原始图像(即接收到的用户拍摄的图像)的相似度，也就是计算生成的每幅图像与原始图像的相似度，将具有最大相似度的候选位置确定为用户的位置。
31.在计算生成的每幅图像与原始图像的相似度的过程中，可以采用现有的计算方法来获得两幅图像的相似度，也可以采用本发明优选实施例中改进的计算方法来计算生成的图像与原始图像之间的相似度，以提高计算速度和准确度。
32.在一个优选实施例中，中心服务器对图1a所示的用手机拍摄的图像进行解析，提取其中的线(line)特征，去除其他一些无关元素，如图1b所示。在进一步的优选实施例中，
提取图1b的线特征图中的特征点(edge)。其中的特征点包括，两条直线的交叉点，一条线转折处的点。图1c在图1a的基础上示出了该图像中的特征点，其中各个小的方框示代表特征点。线特征和特征点用来和由bim生成的相应图像比较，从而更快速地确定实际拍摄图像与bim生成的图像的相似度。
33.在又一优选实施例中，中心服务器采用图像语义分析方法对图1a所示的用手机拍摄的图像进行解读或解析或分割，以识别其中的每类物件，对每类(class)物件赋予一种颜，并且不同类物件赋予不同颜，从而生成分割图像(segmented image)。在生成的分割图像中，每个物件的像素具有相同颜，但不同物件具有不同颜。例如，上述图像中桌子是一类物件，建筑是一类物件，货架是另一类物件。在分割图像中，对不同类物件赋予不同颜。同样，对由bim生成的图像也可以进行分割而获得分割图像。采用分割图像便于将bim生成的图像与手机原始拍摄的图像之间进行比较。
34.此外，可以采用现有技术中的人工智能深度学习方法对物件分类，例如，参见以下网址所介绍的深度学习方法：
35.https://paperswithcode/sota/semantic-segmentation-on-nyu-depth-v2
36.下面介绍根据本发明优选实施例改进的视觉定位方法中计算两幅图像相似度的方案。图4示出了根据本发明一个实施例的视觉定位方法的流程图。
37.在步骤s110，中心服务器接收用户当场拍摄的原始图像以及与该原始图像关联的拍照相关参数，另外还接收用户的定位请求。用户的手机只要能够无线上网就能够将上述原始图像以及相关联的拍照相关参数和定位请求发送到中心服务器，而不一定需要类似wi-fi或蓝牙的通信接入点。
38.在步骤s120，中心服务器以该粗略位置为中心设定半径l的圆，并在该圆中设定若干候选位置。候选位置的多少可根据需要人为设定，例如，可使相邻候选位置的水平间距在0.1米至10米之间，或任何其他距离。
39.在步骤s130，针对每个候选位置，并且根据接收到的所述姿态数据，利用bim模型生成相应的图像数据(如图1d所示)。
40.在步骤s140，针对每个候选位置，计算为每个候选位置生成的图像数据与在步骤s110接收到的原始图像之间的相似度。关于计算相似度的具体方法，下文会详细介绍。
41.在步骤s150，比较所有候选位置的图像与原始图像的相似度，将具有最大相似度的候选位置确定为用户的准确位置。
42.在步骤s160，将所获得的用户的位置信息发送给客户，例如，发送到客户手机上。
43.上述步骤s140中计算所生成的图像数据与原始照的相似度的步骤计算量比较大。下面对计算相似度的方法做进一步介绍。
44.再次参照图1a所示的照片，该照片是以一定仰角拍摄的街景，图中具有几座楼房、门、天空、桌子、椅子、货架、具有网状图案的透明天花板，其中有的楼房的外立面是玻璃材质，有的建筑外墙是普通建筑材料，每座建筑具有特定的轮廓曲线。本发明利用图像语义分析方法对该照片进行解读或解析或分割，从照片中提取多种特征元素。所述多种特征元素包括：材料(material)、物件(object)、线条(line)和特征点(edge)。其中，材料可以包括例如，玻璃、砖、水泥等；物件特征包括，例如，楼房、门、天空、货架、椅子、桌子等；线特征包括楼房、门、天空、椅子、桌子的轮廓线；特征点包括表征照片中的物件的特征的点，如图1c所
示的线的交叉点、转折点。
45.然后，中心服务器使用bim数据库为每个候选位置生成对应的图像后，利用图像语义分析方法从各个图像提取中各个元素的相应特征，包括材料(material)、物件(object)、线条(line)和特征点(edge)(这一过程和上述对原始图像的处理类似)。本发明在计算为每个候选位置生成的候选图像与原始图像之间的相似度时，优选计算候选图像的每个特征与原始图像的每个对应特征之间的相似度。
46.在本发明一个实施例中采用如下公式计算所生成的候选图像与原始图像之间的总相似度。
47.prob(xj)＝prob
material
(xj)
·
prob
object
(xj)
·
prob
line
(xj)
·
prob
edge
(xj)
ꢀꢀꢀꢀ
(1)
48.其中，
[0049][0050]
其中，xj表示用户手机的候选位姿，即，位置及姿态，下标j表示各个候选位姿的编号，lat表示纬度，lon表示经度，alt表示海拔高度；ψ表示俯仰角、θ表示偏航角、表示滚转角；prob表示概率，也就是相似度，material表示特征材料，object表示特征物件，line表示特征线条，edge表示特征点。另外，全部的xj构成集合x，也就是说，xj是集合x的元素，xj∈x。
[0051]
公式(1)中，prob(xj)是候选位姿xj总相似度，即，为候选位姿xj生成的图像与原始图像的最终的总的相似度。该总相似度是四个单一元素相似度之积。在计算总相似度之前，本发明的一个实施例中，首先计算所生成的图像中的四种单一元素的相似度，即，生成的图像中的材料特征与原始图像中的材料的相似度，即，prob
material
(xj)；生成的图像中的物件与原始图像中的物件的相似度，即，prob
object
(xj)；所生成的图像中的线条与原始图像中的线条的相似度，即，prob
line
(xj)；生成的图像中的特征点与原始图像中的特征点的相似度，即，prob
edge
(xj)。总的相似度是这四种单一元素相似度之积。
[0052]
在另外的实施例中，可以只计算上述四个特征元素中的两个或三个特征元素的总相似度。
[0053]
利用如下公式确定所有候选位姿中相似度最高的候选位姿：
[0054][0055]
其中，arg max是求最大值函数；对应于相似度最大的候选位姿。
[0056]
下面介绍上述四种单一元素相似度的计算。各单一元素相似度的计算用到了各个单一元素的得分。因此，下面首先介绍各单一元素的得分的计算。
[0057]
材料特征元素得分
[0058]
在一个实施例中采用雅卡尔度量(jaccard metric)来比较材料的两个分割图像(segmented image)，计算每个材料类(class)的相似度：
[0059][0060]
其中，sim是相似度函数，是原始图像(即，手机或其他数码相机拍摄的图像)与对候选位姿xj生成的图像(候选图像)的在某一材料类
(class)的相似度指标；img
cam_seg
表示原始图像的分割图像，表示对候选位姿xj生成的候选图像的分割图像，其中，上标3dm_seg表示由bim生成的图像的分割图像。
[0061]
对每个材料类计算上述相似度指标，然后对每个类的相似度指标加权求和得到材料类(material class)的总得分：
[0062][0063]
表示对候选位姿xj生成的候选图像与原始图像中某一材料类的得分。上述公式(5)是根据候选图像中某一类材料所占据的像素的数量进行加权，其中，n
total
表示候选图像总像素数，表示某一类材料在图像中的像素数。
[0064]
最后，对通过公式(5)计算得到每个材料类求和，从而得到一个候选位姿xj的材料特征得分：
[0065][0066]
score
material
(xj)表示候选位姿xj的总的材料特征得分。
[0067]
物件特征元素得分
[0068]
物件特征元素得分的计算材料与特征得分的计算相同，只是将计算的对象由材料替换为物件，在下面的计算公式中，相应地将上标material替换为object。
[0069]
在一个实施例中，同样采用雅卡尔度量(jaccard metric)来比较物件的两个分割图像(segmented image)，计算每个物件类(class)的相似度：
[0070][0071]
其中，sim是相似度函数，是原始图像(即，手机或其他数码相机拍摄的图像)与对候选位姿xj生成的图像(候选图像)的在某一物件类(object class)的相似度指标；img
cam_seg
表示原始图像的分割图像，表示对候选位姿xj生成的候选图像的分割图像。
[0072]
对每个物件类计算上述相似度指标，然后对每个类的相似度指标加权求和得到物件特征得分：
[0073][0074]
表示对候选位姿xj生成的候选图像与原始图像中某一物件特征得分。上述公式(5)是根据候选图像中某一物件类所占据的像素的数量进行加权，其中，n
total
表示候选图像总像素数，表示某一类物件在图像中的像素数。
[0075]
最后，对通过公式(5)计算得到每个物件类求和，从而得到一个候选位姿xj的物件特征得分：
[0076][0077]
score
object
(xj)表示候选位姿xj的总的物件特征得分。
[0078]
线特征元素得分
[0079]
在一个实施例中，采用基于区域的度量(regional-based metric)，具体来说，使用边界f1度量(boundary f1 metric)，来比较线或边界特征。
[0080]
令b
cam_seg
(class)为某类class的图像img
cam_seg
(class)的边界，并且，令为某类class的图像的边界。图像中某一点(或某一像素)到图像img
cam_seg
(class)的边界或到图像的边界的距离以像素为单位表示。在本实施例中，设定5个像素的距离为阈值(本发明不限于此，也可以设定其他数量的像素作为阈值)，上述边界f1度量不考虑超过5个像素阈值的分割图像的内容。此外，某一类class的精度按照以下公式计算：
[0081][0082]
对类class的调用(recall)定义为：
[0083][0084]
其中，是艾佛森括号(iversons bracket notation)，这里，如果则否则并，d()表示以像素为单位的欧式距离。上述调用的计算结果表示对像素的丢失的正预测(positive prediction)。对某一类class的边界f1的数值计算表示如下：
[0085][0086]
其中，表示对候选位姿xj生成的图像的某一类的线特征元素得分。最后，将出现在生成的候选图像中的所有类的线特征得分求平均而得到该候选图像的总的线特征得分：
[0087][0088]
其中，n_class表示类的总数，score
line
(xj)表示xj处的候选图像的线特征的总得分。
[0089]
特征点(edge)元素得分
[0090]
在一个实施例中，使用快速近似最近邻搜索库(flann，fast library for approximate nearest neighbors)度量来比较两个图像的特征点，计算这一度量的方法包括，但不限于，采用函数flann来如下计算：
[0091][0092]
score
edge
(xj)为位姿xj的候选图像与原始图像的特征点得分。
[0093]
以上介绍了对每一位置处的候选图像的四个单一元素的得分的计算。接下来，使用各个得分，通过以下公式能够计算得到每个单一元素的相似度：
[0094][0095]
在上式中，*代表相应的元素，即，material、object、line、edge；σ为标准偏差，μ为上述累积分布函数(cdf)的平均值。
[0096]
在本发明的一个实施例中，将生成的图像与原始图像进行比较是对二维的生成的图像与二维的原始图像进行比较。
[0097]
在本发明的另一个实施例中，将生成的图像与原始图像进行比较包括，首先将二维的原始图像解构为三维数据，具体说，利用人工智能方法在二维的照片的基础上推算得到照片中每个特征元素(例如物件、线条、和特征点)的深度数据，然后，针对每个候选位姿，利用bim模型生成三维图像数据，该三维图像数据不仅包括平面上的像素(即二维的平面图像)，还包括平面图像上每个特征的深度，然后计算将原始图像解构得到的三维数据与利用bim模型生成三维图像数据之间的相似度。
[0098]
在前述将生成的二维图像与二维的原始图像进行比较的实施例中，由于不需要将二维原始图像解构为三维数据，其计算量相较计算生成的三维图像数据与三维原始图像之间的相似度的计算量更小，因而定位速度更快。
[0099]
在优选实施例中，采用紧耦合(tightly coupled)方法来进行定位。与紧耦合相对的是松耦合方法。松耦合方法使用单一的传感器数据进行定位，例如，只使用imu数据或gnss数据，或只使用照相机拍摄的图像进行定位。与此不同，紧耦合将两种或更多种传感器的原始数据相结合以及传感器的其他参数来进行定位，例如，将imu的原始数据、gnss数据与照相机拍摄的原始图像相结合来定位，因而定位精度更高。
[0100]
本发明还涉及一种数据处理装置(或中心服务器)，该数据处理装置安装有计算机可读软件，当该计算机可读软件被所述数据处理装置运行时，能够使该数据处理装置执行上述各实施例中所述的视觉定位方法。
[0101]
以上参照图1a所示的室外拍摄的照片介绍了室外定位的实施例。本发明也可应用于室内定位，例如在大型商场中的定位。
[0102]
本发明的方法是对现有定位方法的补充，尤其能够提高在城市区域的定位精度，而无需增加硬件设施的投入。
[0103]
虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明的范围的情况下，还可以对本发明进行各种变化及同等替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

技术特征：

1.一种视觉定位方法，包括：接收用户拍摄的原始图像和与之相关联的拍照参数以及定位请求，其中所述拍照参数包括用户拍摄装置的初步位置以及姿态数据；以所述初步位置为中心确定一定范围内的若干候选位姿；利用视觉定位技术以及所述拍照参数各个候选确定用户位置。2.根据权利要求1所述的视觉定位方法，其中，所述方法还包括：将所确定的用户位置发送给所述用户。3.根据权利要求1所述的视觉定位方法，其中，利用视觉定位技术以及所述拍照参数和候选位姿确定用户位置的步骤包括：利用bim模型根据所述姿态数据为每个候选位姿提供一幅图像；计算每个候选位姿的生成图像与原始图像的相似度；将具有最大相似度的图像所在的候选位姿中的位置确定为用户位置。4.根据权利要求3所述的视觉定位方法，其中，利用bim模型根据所述姿态数据为每个候选位姿提供一幅图像是：利用bim模型根据所述姿态数据为每个候选位姿生成一幅图像。5.根据权利要求3所述的视觉定位方法，其中，在接收用户拍摄的原始图像和与之相关联的拍照参数以及定位请求之后，还包括，提取所述原始图像中的多个特征，所述多个特征包括：材料、物件、线条和特征点中的至少两个；其中，所述计算每个候选位姿的生成图像与原始图像的相似度包括：计算所述生成图像中所述至少两个特征与原始图像中相应特征的相似度。6.根据权利要求3所述的视觉定位方法，其中，计算每个候选位姿的生成图像与原始图像的相似度包括采用如下公式计算相似度：prob(x
j
)＝prob
material
(x
j
)
·
prob
object
(x
j
)
·
prob
line
(x
j
)
·
prob
edge
(x
j
)
ꢀꢀꢀꢀ
(1)其中，其中，x标示用户手机的位置及姿态，下标j表示各个候选位姿的编号，lat表示纬度，lon表示经度，alt表示海拔高度；ψ表示俯仰角、θ表示偏航角、表示滚转角；prob表示相似度，material表示特征材料，object表示特征物件、line表示特征线条，edge表示特征点。7.根据权利要求3-5中任一项所述的视觉定位方法，其中，利用bim模型根据所述姿态数据为每个候选位姿生成的图像是二维图像。8.根据权利要求3-5中任一项所述的视觉定位方法，其中，接收用户拍摄的原始图像包括接收用户拍摄的一幅照片。9.根据权利要求3-5中任一项所述的视觉定位方法，其中，接收用户拍摄的原始图像包括接收用户拍摄的两幅或更多幅紧耦合的照片。10.根据权利要求3-5中任一项所述的视觉定位方法，其中，提取所述原始图像中的特征包括，提取所述原始图像中的紧耦合特征；并且其中，计算每个候选位姿的生成图像与原始图像的相似度包括，计算每个候选位姿的生成图像的紧耦合特征与所述原始图像的紧耦合特征的相似度。
11.一种数据处理装置，该数据处理装置安装有计算机可读软件，当该计算机可读软件被所述数据处理装置运行时，能够使该数据处理装置执行上述权利要求1-5中任一项所述的方法。

技术总结

提供了一种多特征视觉定位方法，包括：接收用户拍摄的原始照片和与之相关联的拍照参数以及定位请求，其中所述拍照参数包括用户拍摄装置的初步位置以及姿态数据；以所述初步位置为中心确定一定范围内的若干候选位姿；利用BIM模型根据所述姿态数据为每个候选位姿生成一幅图像；计算每个候选位姿的生成图像与原始照片的相似度；将具有最大相似度的图像所在的候选位姿中的位置确定为用户位置。本方法在不增加硬件设备的情况下，提高在城市区域，包括在室外和室内，的视觉定位精度。的视觉定位精度。的视觉定位精度。