作者：***
来源：《中国信息化》2021年第07期
一、引言
隨着我国互联网业务的迅速发展，互联网应用的规模和功能越来越多，用户对网络带宽的需求也越来越高。家用宽带接入技术也逐步由早期以x数字用户线（xdigital subscriber line，xDSL）为主发展到以光纤到户（fiber to the home，FTTH）为主，上网速率由2 Mbps提高到100 Mbps乃至1000 Mbps以上，光进铜退成为宽带网络接入的主流。2017年前后一段时间，由于家用宽带接入仍以铜线为主，接入速率大多停留在10 Mbps以下，一方面运营商对用户上网以Mbps为单位收取费用，另一方面用户的上网体验又不佳，纷纷质疑宽带速率货不对板，“假宽带”之声一时闹得沸沸扬扬。对于通信监管部门而言，如何让广大网民全面了解上网真实情况，准确掌握带宽上网速率等网络质量数据就成为一个不容忽视的问题。此外，国民上网速度、上网体验和资费水平等数据在一定程度上反映出一个地方宽带网络建设运行经营水平，全面了解这些数据有利于促进运营商提升当地的网络服务质量。综上所述，建设一个宽带测速综合平台是十分必要的。 二、解决方案
本方案以广东省为例提出建设一个“宽带测速综合平台”，通过采集家庭固定宽带测速
数据和移动宽带测速数据，从地市、运营企业、接入带宽等多维度展示广东省宽带发展的整体情况。同时通过深度分析测速数据和行业运营数据、网络运行用户动态数据，综合剖析宽带网络整体运行情况，为行业监管提供支撑。
总的来说，宽带测速平台主要有3个功能：用户测速数据的采集，对采集的数据的分析处理和数据的可视化展示。
如图1所示，广东省“宽带测速综合平台”包括自建测速平台数据源、互联网企业数据源、各运营商数据源、数据接入处理系统、数据分析模块、多维度展示界面、大屏展示系统等7大部分，其中自建测速平台数据源、各运营商数据源和互联网企业数据源这3大数据源提供网络质量的基础样本数据，数据接入处理系统提供数据接口处理接入数据，数据分析模块对多源数据进行采集、清洗及综合分析，多维度展示界面进行丰富的图表展示和分析结果展示，大屏展示系统则由8个屏幕组成，可选取关键数据进行大屏界面展示分析。
（一）自建测速平台
自建测速平台包括在全省各地市部署一定数量的测试探针，并开发移动端测速应用程
序（application，APP）、测速小程序和PC端网页版测速程序，实现对全省固定和移动宽带速率的全方位测试。移动客户端接入该平台，等同于测速路由器。移动端宽带测试工具将访问测速服务器实现宽带接入速率的测量，宽带接入速率的测量值至少包括宽带上/下行接入速率。同时，智能路由器向各类网站发起访问测试，实现用户上网体验的测量，用户体验的测量值至少包括TOP网站首屏呈现时间、视频下载速率、首次缓冲时延及卡顿率、常用文件下载速率等。
1. 测速APP
测速APP（应用商店APP名称：精准测速）通过在手机上模拟真实用户上网操作行为，比如浏览常用页面、播放常用主流网站视频等操作业务，采集获取终端业务数据包括移动宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等并将数据上传至后台数据分析模块进一步分析处理。
采集的数据包括终端业务数据、无线环境信息、坐标位置信息以及系统信息等，并按照规范要求进行解析、生成、合并处理，传送到后台数据分析模块。
2. 小程序
小程序通过主动向测速服务器发起测试访问，实现宽带接入速率的测量，采集获取终端业务数据，包括ping时延、下载平均速率，上传平均速率。
3. PC端网页版测速程序
测速网页通过主动向测速服务器发起测试访问，实现宽带接入速率的测量，采集获取终端业务数据，即固定宽带上/下行接入速率。
（二）互联网企业和运营商数据源
运营商与互联网企业测速结果数据接入通过内置的数据源监测系统实现，包括以下两种方式：
运营商和互联网企业主动上报。数据源监测系统提供一个数据批量上报接口，接口的数据格式为Json，运营商和互联网企业可以实时调用数据批量上报接口将测速数据上报到数据源监测系统，上报的测速数据指标有：宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等。
数据源监测系统主动获取。运营商与互联网企业提供测速结果数据接口，数据源监测系统定期去调用该接口以获取测速数据，获取到的测速数据指标包括：宽带上/下行接入速率、TOP网站首屏呈现时间、视频下载速率、常用文件下载速率等。
（三）数据接入处理系统
数据接入处理系统主要针对上述互联网企业和运营商已经具备的各具特的本网实时网络测速数据，开发相应系统接口，接入和上传各数据源系统的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。实时动态监控类数据包括热点区域网络质量，人流量，话务量状况等。报表类数据包括4G/固网用户发展情况，各热点地区数据量情况，热点地区用户体验情况，热点地区话务量，基础资源数量，运营商运营收入和投资，运营商业务发展情况数据等。
与此同时，提供运营商数据录入和审核的web界面，分别供运营商的数据报表录入人员和审核人员使用。运营商数据录入审核通过后，运营商数据可同步到测速平台后端系统，实现统计数据报送电子化功能。
为实现数据采集，需要在各电信运营企业侧部署采集接口机，实现数据的采集和传送。
数据接入子系统提供以下三种方式实现数据接入：通用接口。提供统一的数据批量上报接口，运营商通过调用此接口实时批量上传测速数据数据。
个性接口。针对性打造对接系统接口，接入和上传各运营商的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。
数据导入。提供批量导入数据的web界面和导入各类数据的Excel模板，运营商将需要导入的数据事先录入到Excel中，然后通过web界面上传Excel数据实现批量导入。
（四）数据处理分析模块
数据处理子系统对数据接入子系统收集的数据进行数据清洗和必要重组，通过大数据技术处理和分析，各基础数据经过分析处理后展示全省基础网络历史和实时动态数据，包括：全省漫游情况、4G/固网用户发展情况、各热点地区数据量情况、热点地区话务量、基础资源数量、运营商运营收入和投资、运营商业务发展情况等。
数据清洗处理采集过来的数据，实现数据的清洗、转换、加载功能，一方面保障采集的数据能正确、完整、规范地加载到目的地;另一方面，實现数据整合过程中的异常处理机制，如：处理传输异常、数据加载异常、数据结构与质量异常等。
数据处理是数据中心的核心内容，系统需提供基础数据服务，主要步骤包含数据抽取、数据清洗、数据转换和数据加载等功能。数据处理是数据比对整合系统的核心，作为一个面向服务的平台，数据清洗整合应用就是由多个数据服务组成的，其中包括一系列预定义的基础数据处理，这些基础数据处理包括以下几个功能：
数据抽取。数据抽取就是从数据中心的中心库中获取业务数据的过程。数据来源为业务系统和文件系统，抽取方式为根据具体业务进行全量抽取或增量抽取，根据具体业务制定抽取的时间和频度，这些参数都是可配置的。图2是数据抽取示意图。
数据清洗。数据清洗指对前端抽取过来的数据进行清洗处理，包括数据过滤、数据剔重、类型转换、编码映射、文件拆分与合并、维度转换等功能。数据清洗的任务主要是进行多源数据不一致的数据转换、数据颗粒度的转换、数据去脏和转换规则计算。其中多源数据不一致转换过程是数据整合的过程，侧重于将来源于不同业务系统的相同类型的数据
进行统一处理;数据颗粒度转换需要对数据进行统一归整;转换规则计算则按照预先设计的转换规则对数据进行重新计算。系统支持批量清洗和实时清洗，对批量离线数据进行分布式并行清洗转换，对实时数据则进行不落地清洗转换。图3是数据清洗示意图。
数据分析。系统利用大数据应用框架分布式存储平台的数据仓库作为传统数据仓库的补充，实现对非结构化数据的存储和管理，并对来自网络的海量数据查询提供支撑。基于开源计算框架，主要侧重于通过完善的内存计算和处理优化机制加快批处理工作负载的运行速度。图4是数据分析示意图。
（五）多维度展示界面
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议