HTTP自适应流媒体直播系统中的用户体验质量优化作者：宋靳锞 张远 王博来源：《中兴通讯技术》2021年第01期 文件共享 摘要：分析HTTP自适应流媒体直播系统中对终端用户体验质量（QoE）产生影响的各类因素及其相互之间的作用关系，对基于服务器端、网络传输以及客户端的QoE优化策略进行总结。认为HTTP自适应流媒体直播系统的QoE优化重点在于降低延时，提出结合网络层和应用层影响因素来降低时延并提升用户QoE的建议。 造型艺术的审美特征 关键词：流媒体直播；自适应流媒体；用户体验质量；优化策略
Abstract： The influence factors on the users’ quality of experience （QoE） in a hypertext transport protocol （HTTP） adaptive streaming system and the interaction between these factors are studied. Then the QoE optimization strategies from the aspects of the server， network transmission and client side are summarized. The QoE optimization of HTTP adaptive live streaming system focuses on reducing delay， and combination with network layer and application layer factors can reduce delay and improv
e user QoE.
Keywords： live streaming； adaptive streaming； QoE； optimization strategy
近年来，随着互联网与流媒体技术的飞速发展，游戏直播、在线教育等直播服务发展迅速。基于超文本传送协议（HTTP）的自适应流媒体技术（HAS）由于其高兼容性、高可扩展性在直播场景中得到了广泛应用。根据WOWZA发布的《2019 Streaming Video Latency Report》[1]，超过50%的直播服务提供商采用了基于HAS的流媒体直播系统架构。流媒体直播服务的低延时、高质量需求给用户体验质量的优化带来了新的挑战。
1 基于HAS的流媒体直播系统框架
在HAS技术中，媒体数据源被编码成不同码率的媒体切片文件以适应不同的网络状况和客户端设备类型，客户端根据带宽或缓冲区状态请求合适码率的媒体分片，以减少卡顿事件的发生，提升带宽利用率。 如图1所示，基于HAS的流媒体直播传输系统框架包括3部分：主播端、服务器端和客户端。主播端主要用来实现媒体采集、前处理、编码和封装的功能，并将封装好的媒体流
约会荷花推送至服务器。服务器需要对同一媒体内容准备多种码率的媒体文件，因此需要对主播端推送的媒体流进行实时转码，并将每种码率的媒体内容进行切片处理。服务器端存储的媒体分片的码率和时长等信息都被记录在一个随直播进行且实时更新的索引文件中。客户端在从服务器拉取媒体流时会首先拉取索引文件，再根据索引文件的信息以及当前的估计带宽或缓冲区状态对下一个向服务器请求的分片码率进行自适应决策，并对已下载的媒体分片进行解码播放。
经典的HAS协议包括Microsoft公司提出的微软平滑流协议（MSS）[2]、Apple公司提出的HTTP实时流协议（HLS）[3]，以及Adobe提出的HTTP動态流协议（HDS）[4]。虽然这些协议遵循的技术框架相同，但是彼此之间互不兼容；因此，动态图像专家组（MPEG）与第三代合作伙伴计划（3GPP）联合提出了开源的MPEG-动态自适应流媒体（DASH）[5]标准。目前业界广泛采用的标准是HLS和MPEGDASH，然而直播场景下两种标准的延时均在6 s以上。近两年来，针对用户日益增长的低延时需求，研究者提出了能够将延时控制在3 s以内的低延时HLS[6]以及基于用媒体应用格式（CMAF）的低延时DASH[7]解决方案。
2 HTTP自适应流媒体直播系统中的用户体验质量评估
国防科技信息中心
2.1 QoE影响因素
用户体验质量（QoE）通常用来评价流媒体直播系统中终端用户对服务的满意程度，其定义为：用户在一定客观环境中对使用的服务或者业务的整体认可程度。根据QoE的定义，HTTP自适应流媒体直播系统中的QoE影响因素可分为服务、环境、用户3个方面，如表1所示。
本文中我们仅考虑服务、环境和用户层面中与技术相关的因素。如图2所示，关键业务指标、用户层、环境层可对用户QoE产生直接影响。关键业务指标可从画面质量、稳定性、流畅性以及实时性4个方面来衡量。码率和分辨率直接影响直播画面的清晰度，直播全程的平均码率和分辨率共同决定了流媒体服务的画面质量水平；码率切换的频次和幅度反映了图像质量的波动状况，进而决定了视觉观感的平稳度；卡顿导致视频内容不连续、声音断续等问题，通常以卡顿次数、频率以及持续时间来反映流媒体服务的流畅性；延时是媒体流从主播端发出到客户端接收并观看所需要的时间，是反映流媒体服务实时性的业务指标，高延时极大地降低了用户对服务的满意度；音画不同步是由于网络状况较差（延时、抖动等）及设备处理能力不足造成的视音频不同步，降低了用户的服务体验质量。
由图2可知，网络层与主播端、服务器端、客户端应用层中的影响因素相互作用，共同影响HTTP自适应流媒体直播服务的关键业务指标，这也成为QoE的间接影响因素。例如，客户端的缓冲区状态和自适应策略直接影响了服务的关键业务指标，缓冲区状态示意如图3所示。由图3可知，客户端的网络状态与分片大小（即分片的数据量）共同决定了缓冲区数据的填充速率。通常，客户端按正常速率播放，但当缓冲区占用量即将耗尽时，可通过客户端的自适应策略调慢播放速率，以等待缓冲区数据充盈，降低卡顿事件发生的概
率。而当缓冲区占用量较大时，会带来较大的播放延时，那么则需要加快播放速率以降低播放延时。客户端还可以根据缓冲区状态或当前网络状态来进行码率自适应调节，决定下一请求分片的码率级别，以尽量避免卡顿事件的发生。
在HTTP自适应流媒体直播服务中，服务器主要实现对视频进行转码和切片。如图2所示，服务器根据主播端编码码率上限和客户端自适应模块决策的分片码率调整转码策略。分片码率与分片时长共同决定了传送到客户端的数据量（即分片大小），而分片大小又与客户端网络状态共同影响了缓冲区的填充速率。除限制服务器最高转码码率外，主播端的编码码率还决定了上行网络的传输数据量，与上行网络状态共同影响源视频推流到服务器的时间，即上行延时。上行延时与下行延时（即视频分片传输到客户端的时间）共同构成了直播系统的传输延时。需要注意的是，由于前处理、转码、切片、解码等阶段的处理延时难以控制，因此图2中并没有体现处理延时对整个系统延时的影响。
2.2 QoE建模
QoE建模的目标是分析影响QoE的各项因素，并建立模型描述这些影响因素与主观测试结果的关系，从而为流媒体直播系统的优化提供参考。现有的大多数针对直播服务的QoE建模流程如图4所示，首先根据直播业务需求确定主观测试的客观环境以及媒体流样本，再通过对样本进行主观测试和数据筛选来建立主观QoE数据库，数据库应包含媒体流
样本素材、样本对应的主观分数以及相应的卡顿、画面质量等客观测试数据。然后，分析直播业务需求并确定QoE的影響因素，再对各影响因素与预测QoE之间的映射关系建模，并不断调整模型结构、影响因素的选择、影响因素分配权重等，来最小化预测QoE分数与主观QoE得分之间的差距。在实际建模过程中，通常以均方根误差（RMSE）、斯皮尔曼相关系数（SROCC）以及皮尔逊相关系数（PLCC）来衡量主观QoE与预测QoE之间的相关程度。
大多数QoE建模采用了经典机器学习方法和深度学习方法。如C. G. BAMPIS等采用各种回归模型如岭回归（RR）、支持向量回归（SVR）以及随机森林（RF）等来对画面质量、码率下降等QoE影响因素与用户主观评分的映射关系建模[8]；N. ESWARA等利用级联的长短期记忆网络（LSTM）来捕获用户QoE在时间轴上复杂的依赖关系以及对流媒体服务的非线性反应[9]；D. GHADIVARAM等将QoE影响因素分为3类：与卡顿相关的因素、与视频内容相关的因素以及对客户端缓冲区状态的建模，并将这些影响因素分别输入到如图5所示的Hammerstein-Wiener[10]非线性模型中，以进一步提取影响QoE的深层特征，然后将提取的深层特征组合输入到SVR中以预测QoE，显著提升了主观QoE和预测QoE之间的相关性[11]。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议