2021.08理论算法
王鹏辉，司冠南
(山东交通学院信息科学与电气工程学院，山东济南，250000)
摘要：在地震数据处理方面，对数据的实时性要求较高，而且随着地震检测台站的不断增多，地震数据的容量也在不断增加。针对这些特点结合大数据技术，提出一种基于Spark Streaming技术的地震数据流式处理算法。将原始地震数据经过清洗再由数据分发器Kafka传输至Spark大数据计算框架，使用Spark核心api-Spark Streaming进行流式计算，将计算结果实时存入数据库，最后在进行数据实时可视化。 关键词：大数据；spark；流式处理
Research on big data flow computing
Wang Penghui,Si Guannan
(School of information science and electrical engineering,Shandong Jiaotong University,Jinan
Shandong,250000)
Abstract；In the aspect of seismic data processing,the requirement of real-time data,is high,and with the increasing of seismic detection stations,the capacity of seismic data,is also increasing.
In view of these characteristics,combined with big data technology,a seismic data stream processing algorithm based on spark streaming technology is proposed.The original seismic data is cleaned,and t h en t r ansm i t ted to the spark big data compu t ing framework by the data dis tributor Kafka.The spark core API spark streaming is used for streaming calculation,and the calculation resuIts are stored in the database in real time.Finally,the data,is visualized in real time.
Keywords；big data;spark:st r eaming processing
o引言
地震数据的实时处理，可以更好对数据变化的检测，从而进行之后的决策。传统的地震数据处理算法大多数是由Matlab语言进行编程，为更好的适应大数据引擎的计算以及Spark框架支持的编程语言中选取语法简洁、易理解、科学计算功能强大的Python语言将原有算法进行重构。
1地震流式处理计算流程
根据地震数据特点结合大数据技术，流式计算流程如图1所示。接进行大数据计算，需将地震数据格式等进行转换，转换为适合大数据处理的数据格式，如SEED格式需将SEED转换为SAC数据文件再进行相关计算，这一步称为数据清洗。流式计算中数据分发器Kafka是必不可少的。在流式计算中，Kafka 用来缓存数据，SparkStreaming通过消费Kafka的数据进行计算。Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集有多个kafka实例组成，每个实例(server)称为broker…Kafka整体架构图如图2所示。
图1基于SparkStreaming的地震大数据流式处理流程
如图1所示：由于地震数据的格式特点往往不适合直
图2Kakfa整体架构图
在Kafka中无论是producer往topic中写数据，还是consumer从topic中读数据，都避免不了和offset打交道。offset即偏移量，若在流式计算中，若某个节点挂掉，可以通过设置偏移量保障容错性
。
理论算法2021.08
2SparkStreaming进行流式计算
SparkStreaming运行流程如图3所示。
Spark-Driver Executor W
o
rk
e
rl
Receiver
3实验结果和分析
3.1实验软硬件环境
Spark集釆用1个主节点2个从节点。
配置清单如表1所示。
SparkCore
Executor W
orker2
Receiver
图3SparkStreaming运行流程表1实验软硬件环境
配置值(每个节点) CPU核心数8
硬盘IT
内存32G
操作系统Centos7
Spark Spark-2.4(PySpark)
Hadoop Hadoop-2.6
Python Python-3.4
JDK JDK-8u201
SparkStreaming的任务是基于SparkCore，启动任务初始化的时候会有一个Driver的服务存在。driver段会发送Receivers到executor里面，Receiver就是一个接收器，接收数据。Receiver接收数据，并将数据生成Block，接着把这些Block存入executor的内存中；为保证数据丢失后仍能继续计算，一般会备份副本。Receiver把Block中元数据的信息发送Driver端。最后Driver端就会根据一定的时间间隔，把这些block封装为一个RDD，然后进行计算。
SparkStreaming的核心抽象是Dstreamo基于时间产生的地震数据通过地震台站源源不断的产生数据，也就是无界数据流。但其本质，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据。如图4所示。
RDD@time1RDD@time2RDD@time3
-Time0Time1Time2-地震Dstream]tT2-|tT3|-亠
图4Dstream示意图
对数据的进行的操作也是针对每一段RDD来进行操作的。由于使用的是Spark的Python的接口，在编写程序时需导入以下python第三方库:
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
Spark批处理和流处理使用的算子大部分相同，在地震数据处理方面我们主要使用的算子有map和transform，将地震算法封装为一个函数，使用这些算子可以作用在每一段RDD中进行计算。如在进行互相关系数(Cross-Correlation coefficient)计算时,result=RDD.map(互相关系数算法)即可，语法十分简洁，且易理解。
SparkStreaming程序编写步骤：
(1)使用Kafka进行数据源的获取(Dstream)；
(2)通过对Dstream使用转换算子进行数据流的计算；
(3)streamingContext.start()进行数据的获取和流式计算。3. 2实验结果
以地震互相关系数为例。地震互相关系数的计算主要分为两步：
(1)对地震原始数据进行清洗之后，按照实现设置的频率进行滤波；
(2)对滤波后的数据进行互相关计算。
3d缝纫机器人由于地震数据量庞大，而且这2步需要进行大量的迭代计算，可以使用两次转换操作。
计算结果如图5所示。
实时更新互相关系数
图5实时更新互相关系数结果图
如图5，数据随着时间不断变化，设置时间间隔为Is，即每隔Is数据更新一次。互相关系数的取值范围为[-1,1]，表示两段地震波形的相似程度。可以实时的观测结果。
本文提出基于Kafka、SparkStreaming的地震大数据流式计算方法，并通过Spark集计算地震互相关系数为例进行测试，实现了地震数据计算结果的实时可视化，为地震分析后续工作提供了基础，更好的服务于地震大数据分析。
参考文献
[1]成桂兰.基于大数据的地震多发区域破坏程度估计模型
设计[J]，地震工程学报,2018,40(03):604-611.)
[2]王卫东，朱万成，张鹏海，王雷鸣.基于微震参数的岩体
稳定性评价方法及其在Spark平台的实现[J].金属矿
(下转第12页)
甲耳测说
设计研发2021.08
交流低频电网被改变为直流，加上后级的兀型滤波(C6,C7 L1,L2)，完成了交流转直流的转换。
U1通过初启动电阻R14,R15和电容C9，建立初步供电系统，触发内部开关管启动，形成电感T1B储能和LED负载, U1内部开关开通和取样电阻回路(LED,TIB U1R20R21)。电源管理芯片U通过R20,R21取样，形成反馈电路，约束开关管开通时间，达到周期恒定电流的效果。当U内部开关管关闭时候，TIB D6LED形成新电路回路，根据能量守恒定律，T1B 的能量传送给LED负载。通过取样电阻的大小，设定了恒定电流的取值，系统通过取样电压和电感电流进行反馈，限制了开关的开通和关闭时间，从而完成完整周期性的一个振荡恒流系统工作。在开关的整个周期中，都有对CE1的充电状态，同时CE1放电给LED负载，达到滤波平滑电压和电流的效果。电感耦合绕组T1A为U持续供电绕组，其电压为负载电压通过匝比耦合而来，经过半波整流形成直流电压供电给芯片U。其他为辅助功能接入，比如PF的补偿，过零电压的检测以及过压保护的检测等。 在上述低频电路状态下，由于C4电容容量很小，其低频下容抗量级很大，回路呈现高阻抗状态，其漏电极弱，对Q1和Q2都不能给予支持工作的电流和电压。Q1和Q2处于断开状态，从而低频状态的电源振荡系统工作不会受其影响。
防粘贴
当高频整流器接入DN1,DN2,DN3,DN4时候，C1和C2在高频下呈现低容抗，模拟传统荧光灯的预热灯丝，从而提高整流器在驱动改型电路中的兼容性。同时C4在高频电路时候，出现合理漏电流，提供Q1的工作电流和Q2的工作电压(开关类电子器件都有类似功能，原理上同样)，Q1导通拉低TU1的供电电压，迫使其系统停止，防止在高频电路工作模式下该系统误触发。同时Q2导通，整个电路回路避开了低频的振荡系统，BD1,D4,LI,LED,Q2完成了整流器接入LED的工作回路(整流器设定为恒流源)。
综述如下：
该电路根据输入市电低频(47-63HZ)或者高频整流器的接入，进行漏电式判断。当接入低频线路时候，该漏电状态急剧弱化，不能够满足后续电路的操作，致使B1相关部分失效，不能对A3进行管制，其电路结构由Al,A2,A3,C1完成。当接入为高频整流器电路时，B1漏电有效，管制电路被触发，A3整个系统被管制，不能形成回路，同时B2也触发，主体电路为Al Bl B2C1.两个电路分别在自适应判断以后，完成对LED 负载的供电。
其相关主电源芯片和电感算法在相关文献里都可以到资料，不再这里赘述，附上芯片基本框图，已方便读者理解，如图7图8所示。
PIN DESCRIPTION
图8电感算法图
1SNP Primary current sense Pin.The pin is used for cycle-by-cycle peak current control and limit
2GND Power Ground.
3NC No Connection
截瘫支具
4DRAIN Drain of the Power MOSFET.
5vcc
冶金石灰
Power Supply Pin.This pin supplies current to the internal start-up circuit.This Din must be
bypassed with a capacitor nearby.采集重构
6EN Enable Pin to ON/OFF the output.
7FB
Voltage Loop Feedback Pin.VFB is used to detect open LED conditions by sampling the auxiliary
winding voltage.
8COMP
Compensation Pin for Internal Error Amplifier.Connect a capacttor between the pin and GND to
compensate the internal feedback loop.
4结束语
本方案在一个产品上能够实现2针、4针互变，来满足G24D、G24Q应用，同时内部的线路设计配合灯头的切换实现两种情形下的电路适应，终端客户根据需要进行切换灯头类型即可，不会出现买错装错的问题，减少中间商的库存种类，简化终端产品选择的难度。其低能耗损，高光效以及长寿命的特性也是环保节能的首先。
参考文献
[1]刘庆•开关电源的研究与设计[D].湖南大学,2018.
[2]赵修科.磁性元器件分册[M].沈阳：辽宁科学技术出版
社,2002.149-151.
⑶周云鹏，叶勇，石竹.基于数据库中间件开发烤烟质量评
价系统软件[J].计算机辅助工程，2005.06.
(上接第42页)
山,2019(08):147-156.
⑶刘坚，李盛乐，戴苗，陈晓琳，康凯，刘珠妹，郭啟倩.基
于Hbase的地震大数据存储研究[J]，大地测量与地球动力学,2015,35(05):890-893.
⑷郭凯，黄金刚，彭克银，庞丽娜.大数据技术在海量测震
数据中的研究应用[J]•地震研究,2017,40(02):317-323+334.)⑸马文娟，刘坚，蔡寅，陈会忠，刘现峰.大数据时代基于
物联网和云计算的地震信息化研究[J].地球物理学进展,2018,33(02):835-841.
通讯作者：司冠南，博士，副教授，硕导，研究方向：大数据与云计算，软件工程、软件测试。
甲耳测过
ELECTROINIC
屋脊棱镜TEST
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议