摘要：公安信息分析业务中，传统的批量计算模式已经不能满足流鮭计算对于实时性的需求。在分析了公安信息分析业务中数据流的特点及相关技术的基础上，结合业务流和管理流，提出三流融合解决方案，并设计一套实时的多维城流信息分析管理系统，希望提高以数据流为代表的大数据技术在公安信息分析业务中的深度应用。 关叭她流赅流
引言
随着以数据挖掘、云计算为代表的万物互联大数据时代的到来，目前公安信息分析行业对数据的应用存在两大难题，一是已有大量现存各类数据如何存储使用，二是如何实时接收数据流数据，对其进行在线分析，发现数据流中蕴含的价值，并从大量的数据中实时在线获取有价值的信息，实现预测、预警、预防，使公安行业更好地与大数据技术进行融合。
随着现代社会的发展，数据在各行业中的重要性越来越高，如果能通过数据流获取最鲜活、最有价值的信息，无疑很大程度上促进公安信息分析工作的质量和效率。查看相关文献，目前在公安信息分析业务中，对实时数据流、业务流、管理流三流融合的相关研究内容较少。基于此，本文分析了以数据流为代表的大数据相关先进技术，
并基于公安信息分析业务流程，运用现代管理流的思想，
把大数据中的数据流、公安信息分析业务中的业务流、现
代管理中的管理流进行融合，提出一种基于公安信息分析
业务可行性较高、健壮性较强的三流融合方案。
_、主要研究内容
后藤美帆
(-)数据流
当相关的控制器、图片音视频获取技术工具、终端传
感器等数据采集应用出现之后，数据大都是连续的数据
流，而非有限存储的数据集合，并且相比过去单批次查
询，很多用户需要长期、持续不断的查询，这就对数据库
系统、相关技术以及数据的处理算法等提出了较大挑战。
目前很多科研机构和大学正在致力于数据流的研究，并开
Police Technology2019年第5期
13
发出一些面向新的应用的数据流管理系统，比如斯坦福大
学的Stream 系统，布朗大学、布兰代斯大学和麻省理工大
学联合开发的Aurora，美国加州大学伯克莱分校的
TelegraphCQ 数据流管理系统等阴。
通过数据流的形成可得出数据流的相关概念：数据流 是连续的、无限的、快速的、随时间变化的数据元素的
流，它是一个实时、连续、潜在无界、有序（通过数据接 收时间或者明确的时间戳）项的序列。如果用t 表示任一时 间戳，N 表示在该时间戳到达的数据，则数据流可表示为 {…,Nt_i, Nt ，N t+1, •••}o
（二）业务流
业务流其实是相关业务工作中每个环节流动的步骤，目的是对人和事进行进一步的明确，更是对业务工作的整
个操作流程进行梳理、规范的过程阴。在公安信息分析业
务管理过程中，与其他行业的业务相比有相似的部分，但
曲轴加工
也有自身特殊的部分。梳理公安信息分析业务流，主要有
以下流程：信息的收集获取、信息的存储、信息的预处理
、信息的分析、信息分析结果的输出、结果的反馈等形成 的一个循环闭环，其中每个流程都是相互依赖、相互衔
接、不可分割的。其具体流程如图1所示。
图〔公安信息分析业务流程图
（三）管理流
管理流，是以流程为主线的管理方法，以服务对象为
导向，以整体目标为出发点的"流动程序” o 其相关定义
如下：管理流指实施项目管理活动中一系列相互关联行为
的序列结构，反映了在某种活动目标的导向下这些活动的
承转关系、先后顺序，推进、制约、输入输出的客观规
律。在管理流程中，最重要的是PFCA 模型。PFCA 模型以 实现项目组织的特定功能为目标，以业务流程为核心，利 用先进的信息科技技术与现代化的管理措施，最大限度实
现组织在技术上和管理上的集成，建立流程型组织架构与
信息化沟通渠道，营造有利的组织氛围，使项目组织反应
快速化、生产敏捷化，从而使项目组织有序而高效地运
行。
本文研究的管理流，是基于公安数据流和公安信息分 析业务流为前提，更是基于未来功能定位来分析管理流程。
把现代管理流程思想融入到数据流中，不仅需要依靠自身的 质量管理体系，还需要各业务单位、各应用系统数据质 量的不断提高，才能够最终实现。以数据流和信息分析业务 流为前提管理，认识和把握其各部分、各环节之间的作用关
系与过程，使整个业务流程有序而高效地运行。
二、数据流、业务流、管理流的融合
大数据发展的趋势为融合、跨界、基础、突破，从中
我们可以看出融合的重要性。随着“互联网+"等概念的 出现，数据融合、信息融合、产业融合等多维度融合是时
代发展的要求，是顺应大数据社会发展的必然。通过"互
联网+”的互动融合，可实现行业的模式转变和效率提 升。融合不仅代表数据源的融合，也代表各行业的融合、
各业务流的融合，从中可以看出融合的合理性、必要性和
紧迫性。可以说，在大数据时代，融合成为一个重要的概
念，一个广泛渗透于各行业的现象。
基于上述分析，本文提出了一种三流融合方案，其融
合结果如图2所不。立磨衬板
图2 轴流、业务流和1ma 流的融合图
下面从方案的合理性、可行性、健壮性三个方面进行 分析：
（-）方案的合理性
数据流处理的流程和公安信息分析业务流程相似，数
据即信息，信息即数据，数据是信息的重要组成部分。数
据流处理的流程为：多源数据融合的获取、数据的批量和 流式存储、数据的抽取与清洗、数据的挖掘分析、数据分 析结果的输出和校正，这些都与公安信息分析业务流程相
吻合。而基于PFCA 模型的管理流，是以业务流为前提，这
些相似之处，都为三者之间融合的合理性提供了理论基础
和前提条件。
14懂察覘3 2019年第5
期
公安大数据建设与应用
（二）方案的可行性
该方案在公安信息分析业务执行过程中，只需将数据流融入业务流程中，并参考管理流内容，制定相关的管理措施，来保证整个业务流程的有序运行。该方案以数据为中心，整合构造各部门、不同源头的数据，实现数据的集中共享，业务联动的一体化，符合公安"放管服”改革与互联网科技相融合的工作方向。
（三）方案的健壮性
该方案在公安信息分析业务流程各个环节融入数据流和管理流的内容、方法和技术，三者可以实现整体融合和无缝对接。在执行过程中，该方案是一个循环闭环的流程，正如公安信息分析业务的流程一样，可以保证业务的正常运行。在数据流接收过程中，采用Spark、Kafka、消息队列、滑动窗口等大数据技术，保证数据流的实时正常接收与处理；在业务流程方面，循环闭环的业务流保证信息分析的可调控性和可验证性；管理流方面，流水线式的管理流程保证每个环节可回溯，出错时可以实时查错源，及时把控。在后续方案的落地中，增加了管理监控系统模块，对各项流程的运行情况、数据接收处理情况、月艮务响应时间等指标，数据服务总线和各项应用服务的具体日志信息都可及时进行监控。
三、基于公安业务的
多维数据流信息分析管理系统设计与实现（-）系统技术架构
基于公安业务的多维数据流信息分析管理系统的技术架构主要包括基础设施层、数据处理层、数据服务层、应用层等四个方面，下面介绍技术架构的实现，如图3所示。
图3系统技术架构图
1.应用层
应用层主要实现面向不同的业务应用，提供了不同的
信息分析展现和表示方式。应用层实现可视化的重要且有
价值的信息生成、信息搜索、分析研判及协作、信息管理
等不同业务功能。
android模拟器2.数据服务层
数据服务层提供了Random forest、Mlib等开源的机器
学习库、离线计算和实时计算服务，满足信息的离线和实
时查询检索服务。采用算子共享机制，设计系统的部署和
维护策略。为实现自适应的查询要求，动态设置各处理节
点的并行度数，从而解决了对数据流及查询算子需要进行
实时的动态路由决策及调度优化问题，并相应提升了系统
的处理性能。
3.数据处理层
数据处理层完成多数据源的传输和查询任务的执行。
数据处理层通常采用Z8keepe芒进行协调服务，利用能支
持消息持久化的Kafka技术读取和存储实时数据流，使其系
统具有很高的吞吐量，并且可扩展性较强。数据处理层负
责查询任务的核心功能，执行管理集和各处理单元及系
统底层的容错控制和负载均衡等重要任务。
4.基础设宓
基础设施层主要的功能是为上层的数据处理服务提供
需要的计算、网络资源、存储资源智能化分析服务。基础
设施层的数据存储采用开源的分布式文件系统HBase和HDFS进行数据存储。HBase是一个开源的非关系型数据
库，可在较低配置的硬件上搭建大规模结构化存储集；HDFS具有高容错性的特点，适合海量数据的存储。
5.全局管理模块
全局管理模块负责实现数据流处理的实时监控功能，
Police Technology2019年第5期
15
以及整个多维数据流信息分析管理系统的权限和日志管理
等昭
(二)系统的功能实现
基于上述多维数据流信息分析管理系统技术架构，本 文开发并实现了基于公安信息分析业务的多维数据流信息
分析管理系统。系统基于J2EE 的三层B/S 体系架构来实 现，具有轻客户端、重服务端、安全性高、跨平台、可操
作性较强等特点。同时，系统采用目前较为成熟的MVC 软
件架构模式，使系统具有良好的可扩展性及可维护性。
系统功能上提供了数据流管理、信息分析、信息管 理、权限管理等用户管理功能，以满足不同用户的需求。
同时提供了信息分析协作、信息检索等功能，实现不同的
查询检索功能。系统部分界面如图4所示。
图4信息分析管理系统界面(三) 实际应用效果
基于三流融合的多源数据流信息分析管理系统，在信 息分析研判实时性方面，实现了多种数据源实时获取，解
决了传统系统由于数据传输不及时，不能及时更新最新得 到的数据，生成不了最鲜活的信息，从而影响业务人员分
析研判的问题。在智能化分析应用方面，实现了从数据的
充气攀岩实时接入到基于特定算法的快速分析，有效提取数据内在
价值，从海量实时数据流中获取有业务意义的价值信息，
并将信息可视化推送给业务人员，供业务人员分析，从而 构建了以数据为核心的流程体系，推动公安信息分析业务
的智能化进程。在用户操作方面，实现了自助创新的业务 分析流程，以实现便捷式、自助式数据流研判分析体系使
用户更易操作系统。
研究表明，该系统能够提升实时数据流的处理效率和 公安信息分析业务的分析能力，通过数据流、业务流、管
理流的深度融合及流程化的操作和明确分工把业务人员从 大量的数据分析中解放出来，并辅助挖掘潜在业务信息。
(四) 下一步工作展望
下一步将继续完善和梳理公安信息分析及其它公安警
干衣柜1Q000
60000
<0000
同时对系统的稳定性、健壮性和可视化界面进行优化，为
公安信息分析业务人员提供更加稳定、流畅、界面友好的 系统。
四、结语
本文以公安信息分析业务为例提出了一种三流融合方 案，并以此方案设计和实现了相应的技术架构和系统，目
的在于加快以数据流为代表的大数据技术在公安行业中的
融合应用。数据流、业务流、管理流的融合建设有着十分 重要的意义，是公安信息分析业务工作中不可缺少的部
分。在大数据环境下，以数据流为基础，利用先进的管理
流理论，让业务流程实现规范化、科学化、智能化、高效 化，才能促进以公安信息分析为代表的公安工作的顺利高 效运行。拆
[1] 陈付梅，韩德志等.大数据环境下的分布式数据流处理关键
技术探析口计算机应用》2017,37⑶：620 -627.
[2] 孙大为，张广艳，郑纬氐大数据流式计算：关键技术及系统实
例[)]. Journal of Software, 2014^5(4):839-862.
[3] 李建辉，陈俊旭，单一唯.大数据对公安情报流程影响研究口
湖北警官学院学报,2015(3):20-23.
[4] 彭知辉.论大数据环境下公安情报流程的优化几情报杂志,
2016(4):15-20.
[5] 王春凯，孟小峰.分布式数据流关系查询技术研究[)].计算机
学报,2016(1):80-96.
16晝察阿2019年第5
期
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议