第28卷 第1期2021年1月仪器仪表用户INSTRUMENTATION
Vol.28
摸鱼池2021 No.1
解决方案与应用
马玥竹，桑 玮
（上海核工程研究设计院有限公司，上海 200233）
摘 要：
在核电厂运维过程中，就地运维人员若可与远程专家进行实时音视频交互，使得远程专家可以以第一视角观察到就地实时情况，就可对就地设备的重要维修或验收活动提供远程指导。同时，将实时音视频技术与增强现实技术结合，远程专家不仅可以以第一视角观察到就地实际情况，同时可以观察到佩戴增强现实设备的就地运维人员所能通过增强现实设备看到的设备数据，这将大大提高核电厂运维效率。本文将介绍一种与增强现实技术融合较为稳定且跨平台的实时音视频解决方案与应用。 关键词：实时音视频通讯；网页实时通信；增强现实技术
中图分类号：TP391.9 文献标志码：A
Solution and Application of Augmented Reality Real-Time
Audio and Video Technology in Nuclear Power Plants
Ma Yuezhu ，Sang Wei
搜票网
（Shanghai Nuclear Engineering Research & Design Institute Co., Ltd., Shanghai, 200233,China）
Abstract：If local operators can interact with remote experts in real-time audio and video during maintenance in nuclear power plant, than remote experts could observe local real-time situation from the first perspective. In this way, remote experts could provide remote guidance on critical maintenance or acceptance activities for local equipment. At the same time, by combining real-time audio and video technology with augmented reality technology, remote experts can not only observe the local actual situ-ation from the first perspective, but also can observe the equipment data as seen by the augmented reality devices of local operators, which will greatly improve the operational efficiency of nuclear power plants.
Key words：real-time audio and video communication；web real-time commutation；augmented reality technology
DOI:10.3969/j.issn.1671-1041.2021.01.014
文章编号：1671-1041(2021)1-0056-04
0 引言
目前，核电厂的就地运维和检修工作因为缺乏可将电厂参数、房间信息、通道信息、设备信息等重要信息呈现给运维人员的集成平台，导致核电厂存在人员误入危险区
域、误入冗余通道的房间及误操作冗余通道设备等潜在风险。同时，就地运维人员通过一次侧表计的读数来对设备状态进行评估，其设备巡检及维修的效率也存在瓶颈。上述问题均可归结为就地维修人员对现场工作环境实时认知
收稿日期：2020-07-13
基金项目：CAP1400机电一体化关键技术研究（2018ZX06002003）。
作者简介：马玥竹（1991-），女，浙江海盐人，硕士，工程师，研究方向：核电厂人因工程。
罗口袜
马玥竹·核电厂增强现实技术应用中实时音视频解决方案与应用
第1期57
的缺失，为核电厂运维增加了一定的安全隐患。
增强现实技术（Augmented Reality，缩写AR）作为当前最先进的交互技术之一，可通过将虚拟和现实“无缝”集成的方式，一定程度上解决就地维修人员对现场工作环境的实时认知缺失问题[1]。AR结合了计算机图形图像技术、空间定位技术、可视化技术以及交互技术，可在展现真实物理环境信息的同时，将现实世界难以实现的辅助虚拟数据信息通过增强现实设备叠加显示在真实物理环境中，真实和虚拟两种信息相互补充、叠加，具有实时交互性。该技术可将运维人员所需的重要信息，通过增强现实设备叠加展现在数据相关设备周边的方式，支持运行人员对设备的监测、调试和检修活动，增强工作人员对电厂状态、设备状态、维修步骤及安保防护等方面的认知，提升核电厂安全、可靠及经济性，有必要将增强现实技术与电厂运维紧密结合。
实时音视频技术与增强现实技术融合，可使就地维修人员在现场看到的真实环境叠加参数信息实时传输给远程专家，远程专家即可实时辅助就地维修人员。在核电厂大修期间、事故工况下、遇到较为棘手的设备维修问题或需多人进入危险区域的情况下时，可通过就地人员佩戴的AR 设备远程连接专家或厂家维修人员等专业人员，辅助就地人员进行设备维修。专家可在不到达现场的情况下，通过就地
人员的第一视角身临其境地了解现场真实状况，并且同时可看出AR技术叠加在设备旁的设备参数等信息，在线提出维修建议，支持就地人员进行设备的检修，提高就地人员的检修效率。
1 实时音视频需求
将增强现实技术用于就地运维的过程中，若能实现增强现实端与远程专家的远程实时音视频功能，将大大提高就地运维人员的工作效率，并将各项活动数据存档，提升核电厂活动的可追溯性。
增强现实技术与实时音视频技术结合，需要注意以下几点：
1）实时音视频功能：在核电厂就地运维过程中，实时音视频应达到在网络条件允许的情况下就地操纵员可与远程专家进行实时音视频交互，视频应支持1Mb以下的视频码流。由远程专家辅助就地操纵员对设备进行检修，并且应允许多方进行实时音视频通信。
2）视频标记功能：远程专家应可对视频画面进行标记并传输给就地操纵员，标记包括文字标签、箭头、方框椭圆等。
3）跨平台性：考虑到市场上增强现实设备不同开发商其运行平台也有所不同，实时音视频技术需具有跨平台性，不依赖于特定的增强现实设备。
2 实时音视频解决方案
根据上述实时音视频技术的需求，解决方案采用了网页技术通信（Web Real-Time Commutation，缩写WebRTC）的方式进行实时音视频传输。
2.1 WebRTC背景
WebRTC是谷歌公司收购的Global IP Solution公司所研发的一项实时通信技术[2]，该技术于2010年发布以来，已成为实时通信技术的热点。WebRTC技术可支持网页浏览器进行实时音视频对话，同时还支持增强现实、远程协作及文件传输等实时性交互式应用，目前已被W3C纳入了HTML5标准。WebRTC提供了音频采集、视频采集、视频编解码、网络传输及显示等功能，主要是让开发者能够基于浏览器，在无需任何插件的情况下，轻量、便捷地开发出丰富的实时多媒体应用。在开发过程中，开发者也无需关注多媒体的数字信号处理过程，只需编译Javascript程序即可实现。
由于WebRTC基于浏览器的特性，WebRTC支持跨平台：Windows、Linux、Android等平台均能通过浏览器（几个主要浏览器如Firefox、Chrome、Opera等均推出了可支持WebRTC的版本）运行基于WebRTC开发的浏览器应用。
WebRTC技术的主要优点如下：
1）开放的标准：WebRTC已加入到由W3C和IETF 标准组织共同定义的开放的HTML5标准中。W3C
的WebRTC工作组为开发者定义了基于浏览器的Web API，用于帮助Web应用完成Web浏览器之间点对点或点对多点之间的实时通信。
2）灵活的应用：WebRTC提供简单的、可扩展性强的技术框架。开发者可以根据不同的业务场景及技术需求灵活选择音视频的路由方式、同用户间的交互方式、呼叫协议、身份认证及与其他网络的互联方式等。
3）技术的融合：WebRTC技术由于其跨平台性及轻量化的特性，可以轻松与其他先进技术相结合，如虚拟现实技术、增强现实技术、混合现实技术和人脸识别技术等。同时，也可以通过浏览器端的通信能力和HTML5技术灵活开发出在线的多人实时应用。
2.2 WebRTC系统架构
WebRTC系统架构如图1所示[3]，WebRTC系统架构根据面向用户的不同，分为3个部分：
1）面向浏览器应用开发者部分：浏览器应用开发者可调用W3C制定的Web API来开发WebRTC浏览器应用。
2）面向浏览器厂商部分：不同浏览器之间的双向媒体流可通过PeerConnection API来进行管理，可发送和接受媒体流。
松脂油3）面向浏览器厂商的自定义部分：使用JSEP[4]（JavaScript session establishment protocol，JavaScript会话建立协议）进行媒体自定义参数的协商。
第28卷58仪器仪表用户INSTRUMENTATION
图1 WebRTC系统架构Fig.1 WebRTC Architecture
图2 远程专家客户端页面Fig.2 Page of remote expert client
上述三部分内容同时共享WebRTC核心库，核心库包括音频模块、视频模块及传输模块。
2.3 WebRTC解决方案中实时音频处理流程
在增强现实技术与实时音视频技术结合的解决方案中，音频处理流程如下：
WebRTC将音频会话抽象为一个通道，如需进行多人会话则需建立多个通道。以一个通道为例，实时音频的处理流程包括3个活动线程：录音线程、音频接收线程和播放线程。
1）录音线程：负责音频的采集。首先，通过麦克风来采集音频，当采集到的音频缓存到固定长度后，统一进行音频处理；随后，将处理后的音频送到通道，经过音频编码解码器进行编码并封装成RTP包，通过Socket发送。
2）音频接收线程：负责接收通过Socket发送的RTP 包，将RTP包解封后解码音频数据，送入NetEQ音频模块缓存。
3）播放线程：负责声音的播放。播放线程首先依次获取通道中NetEQ音频模块存储的参与了会话的音频帧，然后对这些音频帧进行处理。将已处理过的音频帧进行多通道的混合得到一个混合音频，将该混合音频传递给AudioProcessing模块进行分析，分析后音频可通过播放设备播放出来。
2.4 WebRTC解决方案中实时音频处理流程
在增强现实技术与实时音视频技术结合的解决方案中，视频处理流程如下：
WebRTC可进行多路视频会话，以一路视频会话为例，实时视频的处理流程主要包括6个活动线程：视频产生线程、视频采集线程、视频接收线程、视频解码线程、投递线程和显示线程。
1）视频产生线程：由相机产生视频画面，该线程将产生的视频画面封装成视频帧后以一定帧率投递到Capturer。
2）视频采集线程：Capturer采集被投递的视频帧，并对视频帧进行画面处理。画面处理完成后，送入视频编码解码模块进行视频帧的编码及发送。
3）视频接收线程：接收并解析RTP/RTCP数据包。
4）解码线程：由于解码时间相对编码时间较长，因而设立单独解码线程完成视频帧的解码。
5）投递线程：接收并缓存解码后的视频帧投递给显示设备。
6）显示线程：在视频显示设备中输出视频画面。
3 实时音视频应用
实时音视频技术应用在增强现实平台上时，分为远程专家客户端和就地操纵员端，支持多用户实时音视频。
3.1 远程专家客户端
远程专家客户端为远程专家指导的操作平台，远程专家可通过该平台与就地操纵员进行即时消息通信、视音频通信，同时在音视频通信中提供数字白板功能。数字白板功能可在视频中进行简单批注，并通过图片方式发送给就地操纵员端。
远程专家客户端以专家与就地运维人员的远程视频页面为典型画面，如图2所示。左边部分为数字白板功能，可实现对远程视频的简单批注，并发送给就地运维人员的增强现实显示终端，如图3所示。右边部分为远程专家客
户端与就地运维人员增强现实显示终端的即时消息功能，
马玥竹·核电厂增强现实技术应用中实时音视频解决方案与应用
第1期59
图4 就地操纵员客户端远程专家实时音视频页面
Fig.4 Digital whiteboard of remote expert client蟛蜞菊种子
图3 远程专家客户端数字白板页面
Fig.3 Digital whiteboard of remote expert client
可实现双方简单的文字交流。
3.2 就地操纵员客户端
就地操纵员客户端远程协助。就地操纵员可通过增强现实显示终端中的就地操纵员客户端与远程专家进行音视频交互，远程专家端发出的即时信息、数字白板信息及远程专家视频画面均可通过增强现实显示终端增强显示于就地操纵员眼前。就地操纵员可同时看到上述内容及就地真实物理环境，提高沟
通效率与工作效率。
图4为就地操纵员客户端远程专家实时音视频页面。
4 结束语
WebRTC作为一种构建在Web浏览器基础上的实时音视频通信技术，可使用户在使用过程中避免安装插件或软件的复杂步骤，直接在支持WebRTC技术的浏览器上进行实时音视频通信，用户体验一致性高。对于开发者而言，开发者不需考虑操作系统及其不同版本，只需关注功能本身，而不必关注流媒体信息的处理过程。这种实时音视频技术对使用者和开发者而言都是轻量级的，利于应用的开发和使用。
基于WebRTC技术开发的实时音视频交互应用的跨平台性使得其应用范围更加广泛，在核电厂管理及运维的过程中还可以与除了增强现实技术以外的其他技术相融合，如：图像分割、人脸识别、基于SIP的VolP电话等技术。实时音视频技术与上述技术的融合对如何提高核电厂运维的安全性、高效性及经济性是日后还需研究的内容。
参考文献：
Parker C, Tomitsch M. Data visualization trends in mobile augmented reality applications[C].Proceed
ings of the 7th International Symposium on Visual Information Communication and Interaction. New York: ACM Press,2014:228.
Adam Bergkvist, Daniel C Burnett, Cullen Jenningsetal.WebRTC
1.0: Real-Time[Z]. 2013.
张志明，柯卫. 基于HTML5的视频通信云服务应用技术研究[J].
电信科学, 2012(10): 31-37.
Azuma R T. A survey of augmented reality [J].Presence Teleoperators & Virtual Environments,1997,6(4):355-385.
[1]自动充电电动车
[2]
[3]
[4]
《仪器仪表用户》
欢迎投稿，欢迎订阅，欢迎刊登广告。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议