一种昼夜全彩楼宇可视电话成像装置

本发明属于楼宇可视电话技术领域，特指一种昼夜全彩楼宇可视电话成像装置。

楼宇可视电话是通过在大楼门口、或房间门口安装成像设备和音频设备，将来访 人员影像和音频输出到住宅内，住宅主人即可在未开门的情况下，甄别来访人员，避免发生 入室抢劫等意外事件。

现有楼宇可视电话在光照充足时，可以拍摄高质量彩图像，在光照不足时，只能 通过补充近红外光拍摄黑白图像。彩图像对于来访人员甄别具有重要价值。可在光照不 足时，白光补光可获取彩图像。但是，这种补光方式，人眼可以感知，会对人眼造成光晕。 因此，迫切需要解决在光轴不足情况，不使用白光补光，如何使楼宇可视电话拍摄彩图 像。

为了克服现有楼宇可视电话成像装置，在光照不足、不使用白光补光情况下，无法 拍摄彩图像的问题，本发明公开一种昼夜全彩楼宇可视电话成像装置。

本发明解决上述问题的技术方案是：昼夜全彩楼宇可视电话成像装置由1个机壳 (1)、1个光电传感器(2)、1个近红外光源(3)、1个近红外增透镜头(4)、1个单图像传感器 (5)、1个可见光镜头(6)、1个IRCUT(7)、1个彩图像传感器(8)、1个处理电路(9)、1个供电 接口(10)、1组数据接口(11)构成。

机壳(1)前端设置两个镜头接口，用于固定近红外增透镜头(1)和可见光镜头(2)， 在机壳前端设置光电传感器(2)。

光电传感器(2)选用可见光传感器，用于测量场景中可见光强度，以此判定是否开 启或关闭近红外光源(3)。

近红外光源(3)固定在机壳(1)前方，在低照度情况下，对场景进行补充照明，近红 外光源(3)波长范围为800nm～1000nm，照明视场角大于拍摄视场，近红外光源(3)具有控制 信号输入接口，并与处理电路(9)连接，由处理电路(9)控制近红外光源开启或关闭。

近红外增透镜头(4)后端设置单图像传感(5)用于拍摄灰度图像A。

可见光镜头(6)后端设置彩图像传感器(8)用于拍摄彩图像B，在彩图像传 感器(8)前端设置IRCUT(7)，用于近红外光源(3)开启照明情况下过滤近红外光。

所述彩图像传感器(8)为Bayer图像传感器，彩图像B是由Bayer图像传感器拍 摄的Bayer图像Q经图像去马赛克处理得到。

处理电路(9)是嵌入式硬件，可采用ARM、DSP、FPGA、ASIC、单片机等芯片实现；如图 2所示，采集电路(9)与光电传感器(2)、近红外光源(3)的控制电路接口、单图像传感器 (5)、彩图像传感器(8)、IRCUT(7)、供电接口(10)、数据接口(11)连接，为光电传感器(2)、 单图像传感器(5)、彩图像传感器(8)、IRCUT(7)、数据接口(11)供电，完成光电传感器 (2)测量信号采集与处理，单图像传感(5)、彩图像传感器(8)图像采集，完成ISP处理、 图像融合、图像传输等操作，进行IRCUT、近红外光源驱动控制。

供电接口(10)与近红外光源(3)、处理电路(9)连接，为近红外光源(3)和处理电路 (9)供电。

数据接口(11)用于摄像机控制、数据传输，相关接口包括：BNC、网络。

昼夜全彩楼宇可视电话成像装置工作流程是：处理电路(9)采集光电传感器(2)测 量结果v，取值范围为0～255，当测量结果v>t时，摄像机进入白天工作模式，当测量值v<t 时，摄像机进入夜间工作模式，其中t是判定阈值，取值范围为0～255。

在白天工作模式，处理电路(9)关闭近红外光源(3)、单图像传感器(5)，驱动 IRCUT移开彩图像传感器前端的IR滤光片，采集彩图像传感器(8)Bayer图像Q，执行标 准的ISP处理流程，获取白天彩图像C，对图像C进行压缩、存储、传输等操作。

在夜间工作模式下，处理电路(9)开启近红外光源(3)照明、单图像传感器(5)、 彩图像传感器(8)，驱动IRCUT移动IR滤光片到彩图像传感器前端，同步采集单图像 传感器(5)拍摄的灰度图像A和彩图像传感器(8)拍摄的Bayer图像Q，对Bayer图像Q进行 去马赛克处理得到彩图像B，对灰度图像A和彩图像B进行图像融合，得到夜间彩图像 C'，再对图像C'进行压缩、传输。

在夜间工作模式下，对Bayer图像Q进行去马赛克处理得到彩图像B的具体方法 是：以2*2像素为处理单元，根据Bayer成像模式，抽取2*2像素块内的r、b通道像素作为彩 图像B的r、b通道值，抽取2*2像素块内的g通道像素均值作为彩图像B的g通道值，得到的 彩图像B分辨率是Bayer图像Q的1/4。

在夜间工作模式下，对灰度图像A与彩图像B进行融合，得到夜间彩图像C'的 方法，包括方法a和方法b。

方法a操作步骤如下：

第a-1步：采用图像插值方法对彩图像B进行上采样得到彩图像B'，使彩图 像B'分辨率与灰度图像A相同；对近红外增透镜头(4)、可见光镜头(6)构成的双目立体成像 系统进行标定，获取灰度图像A与彩图像B'像素坐标映射关系P：(iA,jA)＝P(iB',jB')，其 中(iA,jA)、(iB',jB')是灰度图像A和彩图像B'的像素坐标；

所述图像插值方法，包括线性插值、双线性插值、高斯插值、B样条插值、RBF插值；

第a-2步：根据坐标映射关系P，对彩图像B'进行坐标变换得到彩图像B”，抽取 灰度图像A与彩图像B”的重叠区域，分别得到灰度图像E和彩图像D，此时，灰度图像E与 彩图像D视场重合；

第a-3步：以灰度图像E作为引导图像，对彩图像D的r、g、b颜通道D^r,D^g,D^b进行局部平滑滤波，得到去噪后彩图像

第a-4步，在颜与亮度分量颜空间λ，把去噪后彩图像转换为图像其中是亮度分量，是颜分量，使用灰度图像E替换得到图像将图像转换为rgb颜空间图像C'，图像C'中亮度信息来源于图像E，颜信息来源于图像

在第a-3步中，以图像E作为引导图像对彩图像D进行局部平滑滤波的具体操作 步骤如下：

第a-3-1步：

计算图像E的局部邻域均值：

μE＝fm(E) (1)

计算图像D的三个颜通道Dr,Dg,Db的局部邻域均值：

第a-3-2步：

计算图像E的局部邻域方差：

σE＝fm(E.*E)-μE.*μE (5)

计算图像E与图像D三个颜通道Dr,Dg,Db中对应像素的局部邻域协方差：

第a-3-3步：

计算线性变换系数：

其中，τr,τg,τb是一个罚分系数，取值范围为(0～10)；

第a-3-4步：

计算线性变换系数局部邻域均值：

第a-3-5步：

对图像D三个颜通道Dr,Dg,Db进行线性变换：

其中，fm(·)是图像均值滤波，窗口尺寸为s*s，s取值范围为3～111，.*是点乘操 作，表示矩阵中相同位置处元素相乘，./是点除操作，表示矩阵中相同位置处元素相除。

方法b是对方法a中第a-3步得到的彩图像和灰度图像E进行图像细节融合，获取更高质量低照度彩图像C”，具体操作如下：

第b-1步：在颜与亮度分量颜空间λ，把彩图像转换为图像其中是亮度分量，是颜分量；

所述，颜与亮度分离颜空间λ包括YUV、YCbCr、HSI、Lab、CIEXYZ颜空间；

第b-2步：对图像E进行图像保边缘多尺度分解，得到基图像和细节图像其中，(n+1)是图像分解的层数，取值范围为1～10；

所述基图像由图像保边缘平滑滤波得到：

所述图像保边缘平滑滤波fsmooth(·)包括加权最小二乘保边缘平滑滤波、基于局 部极值的保边缘平滑滤波、基于局部拉普拉斯金字塔的保边缘平滑滤波、中值滤波、加权中 值滤波方法；

多层细节图像由基图像与不同尺度平滑图像作差得到：

多层细节图像也可由两个不同尺度平滑图像作差得到：

其中，fsmooth(·)是图像保边缘平滑滤波，上标0、z、z1、z2是指滤波器尺度层标号， 标号越大尺度越小，标号为0表示最大滤波尺度；

第b-3步：将基图像细节图像与亮度分量加权融合后，得到新的亮度分量

其中，{ω0,ω1,…,ωn+1}是加权系数，取值范围0～1；

第b-4步：基于新的亮度分量将图像转化为rgb颜空间彩图像C”，图像C”中亮度信息来源于图像E和图像颜信息来源于图像

优选地，单图像传感器(5)和彩图像传感器(7)具有相同靶面尺寸、分辨率，成 像平面共面，近红外增透镜头(4)和可见光镜头(6)具有相同的焦距、光圈F数、适应靶面尺 寸，红外增透镜头(4)和可见光镜头(6)的光轴(12-1、12-2)平行、竖直放置、光轴间距g< 30mm。

优选地，第a-2步可通过查表操作加速实现，根据坐标映射关系P：(iA,jA)＝P(iB', jB')、以及重叠视场范围，计算灰度图像E到彩图像D的坐标对应关系(i′B',j′B')＝Q(iE, jE)，再以查表LUT预先存储；查表LUT的长度为w*h，存储元素为2维向量(i′B',j′B')，w,h 是灰度图像E的宽度和高度，取值范围为：1～10000，单位是像素，(iE,jE)是灰度图像E的像 素坐标，以L＝iE*w+jE作为输入，输出为(i′B',j′B')；具体操作流程是：先剪切灰度A中与彩 图像B'的重叠区域作为灰度图像E，建立与灰度图像E相同大小的空白彩图像D；接着， 取彩图像D的像素坐标(iD,jD)计算查表LUT的输入值L＝iD*w+jD，从查表LUT中，到 像素坐标(iD,jD)的对应值：(i′B',j′B')，取彩图像B'中(i′B',j′B')位置处图像填充到彩 图像D中(iD,jD)位置处；遍历彩图像D，完成彩图像D填充。

与现有技术相比，本发明有益效果是：与现有可视化楼宇电话成像装置在夜间近 红外补光情况下只能拍摄黑白图像不同，本发明成像装置，可实现彩成像，并且，近红外 补光不被人眼感知，不会使人眼感觉到炫光。

图1本发明昼夜全彩楼宇可视电话成像装置原理图；

图2昼夜全彩楼宇可视电话成像装各单元连接图；

图中，1-机壳，2-光电传感器，3-近红外光源，4-近红外增透镜头，5-单图像传感 器，6-可见光镜头，7-IRCUT，8-彩图像传感器，9-处理电路，10-供电接口，11-据接口 (11)，12-镜头光轴。

下面结合附图及实施例对本发明进行详细说明。

实施例1

如图2所示，昼夜全彩楼宇可视电话成像装置，包括机壳(1)、光电传感器(2)、近红 外光源(3)、近红外增透镜头(4)、单图像传感器(5)、可见光镜头(6)、IRCUT(7)、彩图像 传感器(8)、处理电路(9)、供电接口(10)、数据接口(11)。其中，近红外光源(3)的功率为5W， 波长为808nm；近红外增透镜头(4)、可见光镜头(6)为M12接口，光圈F＝1.4，适应靶面尺寸 为1/3英寸，焦距为f＝3mm；单图像传感器采用100万像素Mono CMOS星光级图像传感器， 帧率为30fps，彩图像传感器采用100万像素Bayer CMOS星光级图像传感器，帧率为 30fps，单图像传感器和彩图像传感器芯片面积为1/3英寸；处理电路采用基于FPGA实 现，数据接口为网络接口。近红外增透镜头(4)、可见光镜头(6)的光轴平行，水平安置在机 壳前端。近红外增透镜头(4)、可见光镜头(6)的光轴距离g＝25mm。

成像装置工作流程是：处理电路(9)采集光电传感器(2)测量结果v，当测量结果v> t时，t设定为10，摄像机进入白天工作模式，当测量值v<t时，摄像机进入夜间工作模式。

在白天工作模式，处理电路(9)关闭近红外光源(3)、单图像传感器(5)，驱动 IRCUT移开彩图像传感器前端的IR滤光片，采集彩图像传感器(8)Bayer图像Q，执行标 准的ISP处理流程，获取白天彩图像C，对图像C进行压缩、存储、传输等操作。

在夜间工作模式下，处理电路(9)开启近红外光源(3)照明、单图像传感器(5)、 彩图像传感器(8)，驱动IRCUT移动IR滤光片到彩图像传感器前端，同步采集单图像 传感器(5)拍摄的灰度图像A和彩图像传感器(8)拍摄的Bayer图像Q，对Bayer图像Q进行 去马赛克处理得到彩图像B，对灰度图像A和彩图像B进行图像融合，得到夜间彩图像 C'，再对图像C'进行压缩、传输。

在夜间工作模式下，以2*2像素为处理单元，根据Bayer成像模式，抽取2*2像素块 内的r、b通道像素作为彩图像B的r、b通道值，抽取2*2像素块内的g通道像素均值作为彩 图像B的g通道值，得到的彩图像B分辨率是Bayer图像Q的1/4。

在夜间工作模式下，采用方法a对灰度图像A与彩图像B进行融合，得到夜间彩 图像C'，其中，fm(·)图像均值滤波窗口尺寸为5，图像插值方法选择线性插值。

实施例2

与实施例1不同之处在于，在夜间工作模式下，采用方法b对灰度图像A与彩图像 B进行融合，得到高质量夜间彩图像C”，其中，fm(·)图像均值滤波窗口尺寸为5，颜空 间λ选择YUV颜空间，图像保边缘多尺度分解层数n＝4，图像保边缘平滑滤波fsmooth(·)选 择加权最小二乘保边缘平滑。

实施例3

与实施例2不同之处在于，颜空间λ选择Lab颜空间。

实施例4

与实施例2不同之处在于，颜空间λ选择HSV颜空间。

实施例5

与实施例2不同之处在于，图像保边缘平滑滤波fsmooth(·)选择基于局部极值的保 边缘平滑滤波。

实施例6

与实施例1不同之处在于，在方法a中第a-2步，采用查表方法对图像坐标变换进 行加速。