(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201710072511.8
(22)申请日 2017.02.10
(71)申请人 南昌前哨科技有限公司
地址 330000 江西省南昌市红谷滩新区红
谷天地商城1#，2#第一街区商业办公
综合楼A609室（第6层）
(72)发明人 熊智宇 凌云 邹立新 罗勇
(51)Int.Cl.
H04N 9/31(2006.01)
G06F 3/01(2006.01)
A63F 13/213(2014.01)
(54)发明名称
(57)摘要
本发明公开了一种沉浸式互动投影系统，包
括长方体状的投影机体，
所述投影机体的四个端面和顶面上都设有投影镜头组，投影镜头组连接
于一个主控制器，主控制器连接有投影处理单元
和数据通讯单元，数据通讯单元连接于投影源输
入端，的投影处理单元包括投影输出驱动模块、
投影输出外放模块、投影分割模块和互动动作捕
捉模块。本发明能够将投影源客户端输入的投影
图像分割成多块，并通过并将分割后的图像视频
投影投放在四周的多个面上，形成了环绕式的投
影，并且能够捕捉观影者的手势动作，方便了投
影投放和人之间的互动，
可运用于互动游戏中。权利要求书1页 说明书7页 附图1页CN 106713884 A 2017.05.24
C N 106713884
A
1.一种沉浸式互动投影系统，其特征在于：包括长方体状的投影机体，所述投影机体的四个端面和顶面上都设有投影镜头组，所述投影镜头组包括主镜头和副镜头，且投影镜头组连接于一个主控制器，所述主控制器连接有投影处理单元和数据通讯单元，所述数据通讯单元包括数据传输串口、GPRS通讯模块和无线路由模块，该数据通讯单元连接于投影源输入端，所述的投影处理单元包括投影输出驱动模块、投影输出外放模块、投影分割模块和互动动作捕捉模块，所述投影分割模块将所述投影源输入端的投影图像分割成多个投影面，进而通过端面上的投影镜头组投放，所述的互动动作捕捉模块通过捕捉观影者的动作控制投影源输入端输出的投影图像。
2.根据权利要求1所述的沉浸式互动投影系统，其特征在于：所述的投影源输入端包括手机应用APP和计算机应用。
权 利 要 求 书1/1页CN 106713884 A
一种沉浸式互动投影系统
技术领域
[0001]本发明涉及一种沉浸式互动投影系统。
[0002]目前，在现有投影技术中一般使用投影设备直接将投影投放到一个平面上，但这样的投影结构和方法只能完成一个平面的投放，无法做到将投影图像分割后再由多面的投放投影，无法实现环绕式的投影，随着人们对投影的效果需求增加，单面式的投影无法满足人们的需要。 发明内容
[0003]本发明为了解决现有技术的上述不足，提出了一种沉浸式互动投影系统。[0004]为了解决上述技术问题，本发明采用以下技术方案：一种沉浸式互动投影系统，包括长方体状的投影机体，所述投影机体的四个端面和顶面上都设有投影镜头组，所述投影镜头组包括主镜头和副镜头，且投影镜头组连接于一个主控制器，所述主控制器连接有投影处理单元和数据通讯单元，所述数据通讯单元包括数据传输串口、GPRS通讯模块和无线路由模块，该数据通讯单元连接于投影源输入端，所述的投影处理单元包括投影输出驱动模块、投影输出外放模块、投影分割模块和互动动作捕捉模块，所述投影分割模块将所述投影源输入端的投影图像分割成多个投影面，进而通过端面上的投影镜头组投放，所述的互动动作捕捉模块通过捕捉观影者的动作控制投影源输入端输出的投影图像。
[0005]优选地，所述的投影源输入端包括手机应用APP和计算机应用。
[0006]其中，在投影分割是所使用到的投影分割方法，包括以下步骤：
[0007]1)启动投影分割模块的视频采集系统，采集投影视频的序列；
[0008]2)采集完成后，初始化背景为前N帧图像的平均值；
[0009]3)计算当前帧图像与背景图像的结构相似图； [0010]4)对于结构相似背景进行背景建模；
[0011]5)最后再通过多模态特征融合进行前景分割，进而完成投影分割。 [0012]上述的结构相似背景建模运动目标检测方法，它的特点在于视场中物体结构对光照变化具有很高的鲁棒性，利用结构相似图和环境变化系数动态反馈更新背景模型，在此基础上利用多模态特征融合策略从背景中检测出运动物体。
[0013]在步骤3)结构相似图的具体操作步骤如下：
[0014](1)计算灰度图像Y2对于灰度图像Y1的亮度失真Sm(Y1,Y2)和对比度失真Sv(Y1, Y2)：
[0015]
[0016]
[0017]其中μ1和μ2分别是Y1和Y2的区域均值，σ1和σ2分别是Y1和Y2的区域方差，σ1,2是Y1和Y2的区域协方差，c1和c2为常数。可根据以下方法获取这些矩阵：
[0018]
[0019]
[0020]
[0021]
[0022]
[0023]其中gaus表示窗口大小为w的高斯滤波器，表示卷积运算。
[0024](2)求出Y2和Y1的结构相似图SSIM(Y1,Y2)：
[0025]SSIM(Y1,Y2)＝S m(Y1,Y2)·S v(Y1,Y2)
[0026](3)为提高系统对结构失真的辨识能力，根据步骤3)所得的结构相似图，当前帧Yt 和当前背景YBt的结构相似系数ssmt(x,y)定义为：
[0027]ssm t(x,y)＝(SSIM(Y t,YB t))γ
[0028]其中γ为常数。
[0029]所述步骤4)结构相似背景建模具体操作步骤如下：
[0030](1)运动区域反馈系数：
[0031]d t＝(1-α)d t-1+α·(1-ssm t)
[0032]其中dt表示当前运动区域反馈系数，dt-1为上一时刻运动区域反馈系数，α表示学习率。
[0033](2)当前模糊反馈系数βt表示为：
[0034]
[0035](3)根据模糊背景更新原理，结构相似背景建模为：
[0036]B t(x,y)＝(1-βt·α)B t-1(x,y)+βt·α·I t(x,y)
[0037]其中It(x,y)表示当前帧，Bt(x,y)表示当前背景，Bt-1(x,y)为上一时刻背景。[0038]步骤5)多模态特征融合前景分割的具体操作步骤如下：
[0039](1)将当前帧It(x,y)和当前背景Bt(x,y)从RGB彩空间转换到YUV彩空间，计算当前帧亮度Yt(x,y)相对于当前背景亮度YBt(x,y)的变化
[0040]lf t(x,y)＝|Y t(x,y)-YB t(x,y)|
[0041]计算当前帧度Ut、Vt相对于当前背景度UBt、VBt的变化
[0042]cf t(x,y)＝|U t(x,y)-UB t(x,y)|+|V t(x,y)-VB t(x,y)|
[0043]计算当前帧相对于当前背景的结构的变化
[0044]tf t(x,y)＝ssm t(x,y)
[0045](2)亮度变化前景模板mlt(x,y)，
[0046]
[0047]其中Tlft(x,y)为当前亮度变化阈值估计，阈值调整参数lcs是一个常数。
[0048]
[0049]其中αT为阈值更新率。
[0050]度变化前景模板mct(x,y)的求解过程与亮度变化前景模板相同。
[0051](3)结构变化前景模板mtt(x,y)为
[0052]
[0053]μtft(x,y)为tft(x,y)的平均值。
[0054](4)多模态前景模板融合
[0055]cmask t(x,y)＝mt t(x,y)&(ml t(x,y)|mc t(x,y))
[0056](5)前景模板后处理
[0057]在cmaskt逻辑为1的像素周围窗口范围为w内的像素，如果其亮度变化和彩变化均大于阈值，则该像素被重新划分为前景像素，最终得到前景模板maskt(x,y)。
[0058]工作原理如下：
[0059]结构相似图鲁棒于光照变化，能有效减少单纯纹理差异形成的孔洞。利用结构相似图可以稳定的获取当前帧图像与背景模型之间的差异情况，其差异值为[0,1]区间范围内的连续数值，这使得利用结构相似图进行模糊反馈背景建模可行。根据这一原理，我们设计了背景更新模型：
[0060]B t(x,y)＝(1-βt·α)B t-1(x,y)+βt·α·I t(x,y)
[0061]其中，It(x,y)表示当前帧，Bt(x,y)表示当前背景，Bt-1(x,y)为上一时刻背景，α表示一级学习率，βt表示二级学习率。α由视频帧率、视场中物体运动速度等因素来决定，通常设定为一个固定的经验值。βt表示为：
[0062]
[0063]其中，d t(x,y)＝(1-α)d t-1(x,y)+α·(1-ssm t(x,y))
[0064]ssmt(x,y)表示当前帧和当前背景的结构相似图，其值落在[0,1]区间，ssmt(x,y)的值越大表示当前帧在(x,y)位置与背景模型相似度越高，即该位置为前景的概率越低，背景更新速度应被提高。dt(x,y)表示当前运动区域反馈系数，其值落在[0,1]区间，dt(x,y)的值越大，则表示对应位置(x,y)的存在波动或是新的背景物，此时，该位置的背景更新速度应加快。dt-1(x,y)为上一时刻运动区域反馈系数。
[0065]上述的投影分割方法通过引入模糊反馈背景建模方法，利用当前帧和背景模型的结构相似系数，构造双重学习率对背景模型进行更新，有效抑制了前景对背景模型的影响，解决了现有背景建模方法存在的在更新背景过程中快速引入前景特征的问题。融合亮度、彩、纹理特征对前景进行分割，有效解决了其他方法中存在的阴影误判为前景、伪装误判为背景、前景空洞等问题。本发明的方法简便、灵活、易实现。
[0066]与现有技术相比，本发明能够将投影源客户端输入的投影图像分割成多块，并通过并将分割后的图像视频投影投放在四周的多个面上，形成了环绕式的投影，并且能够捕捉观影者的手势动作，方便了投影投放和人之间的互动，可运用于互动游戏中。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议