摘要：数据湖是快速兴起的融合多种新技术和混合架构的综合数据管理体系，它与传统的数据中心和数据仓库既有联系也有区别。近年来油田企业在数据总量、数据类型、业务智能化需求等方面呈现快速增长的趋势，数据作为企业的核心资产，越来越受到重视，大数据存储和处理技术日趋成熟，数字化和智能化已经成为油田企业转型的共识。本文在智能油气田建设的背景下，围绕数据湖的建设和相关技术的应用开展一系列探索和实践，为实现大数据体系下数据资源有效管理和高效应用，更好支撑油田效益开发、绿安全生产、高效施工，发挥更大作用和价值。 关键词：数据湖 智能油田aveee
1绪论
氧化锡
1.1数据湖的理解和认识
木材烘干炉数据湖是采用以原始格式存储数据的方式，汇聚了各种模式、结构化及二进制对象或文件等多种格式的数据。数据湖的概念是建立一个满足所有企业业务涉及的数据的存储，将原
车门铰链始数据转换并支撑多种维度应用，包括关系数据库的结构化、半结构化、非结构化以及二进制数据，从而建立一个容纳所有格式数据的集中数据存储。
数据湖的核心思想，是把不同结构和类型的数据统一存储，使不同数据有一致的存储方式，在使用时方便连接，真正解决数据集成问题。
1.2数据湖的主要特性研究
（1）按照大数据模式，对数据进行分门别类汇聚和存储，采用开放式混合架构。与传统的数据按照业务或者应用进行分类存储的方式不同，在数据湖中的数据可以按照数据的自身特性进行分类存储，即面向数据的存储。按照油田企业的业务数据特点，我们将业务数据划分为六大类型：勘探开发、经营管理等专业结构化数据，生产运行、工程施工、油气集输等实时数据，影像、高程、坐标等地理信息数据；监控类音视频数据，文档、报告、岩心照片等图形文档类数据，地震数据体、测井曲线等专业格式体数据。按照油田企业的业务需求，以上6大类数据需要全部在数据湖中实现汇集和存储。
（2）不仅满足结构化数据存储，而且满足半结构化和非结构化数据的存储。这是数据湖与
传统数据中心或数据仓库重要区别之一，数据湖更加适合面向大数据环境和多种数据类型的统一存储，不再局限于传统的结构化数据。
（3）注重保持数据的原始性，以原始格式存储，不强调数据质量、数据一致性。在大数据技术的支持下，传统的数据分析难以实现的面向海量数据的多维度分析成为现实，根据研究的需求，可以从地质、工艺、生产、管理、环保、安全、效益等多个维度对数据进行分析，因此保持数据的原始特性十分重要。
（4）不需要提前定义的数据模型，不必进行统一建模。传统的数据存储强调进行数据建模，要求设计出合理的逻辑结构，比如遵循三范式的数据结构，避免出现不必要的数据冗余。在数据湖里，不再强调明确定义的数据模型，也不要求进行统一建模，各类数据可以按照其原始的组织形式进行存储，但是为了避免数据湖成为数据沼泽，需要对入湖的数据建立统一的登记，形成面向数据湖的数据资源目录。
1.3数据湖与传统数据仓库的对比和区别研究
与数据仓库对比，数据湖在架构、建设目标、数据类型、设计出发点等方面都存在着明显的区别，请表1-1。
表1-1 数据湖与传统数据仓库对比表
| 数据湖 | 数据仓库 |
对比 与 区别 | 基于灵活的混合部署架构 发现新的业务洞察 垃圾分类器存储任何类型的数据 驱动创新和数字转型 速度与敏捷 | 基于关系型数据库 关于现有业务流程的报告 严格定义的数据 运行日常操作 基于效率的设计 |
| | |
数据湖的优势分析。从油田企业数据湖建设的需求可以发现，数据湖相比于传统的数据仓库和数据中心，在架构的开放性、数据包容性和共享性等方面，具有较为突出的优势。
架构的开放性：
既可以有集中式架构，也可以采用分布式架构
可采用开源技术或组件，也可采用企业级产品
数据包容性：
面向大数据体系，满足多类型数据汇集的需求
注重保留数据原始格式，对数据质量、数据一致性、规范性等要求不高
高可共享性：
可提供多种数据服务方式，既能满足传统应用，也能满足云上应用及大数据分析、机器学习等
医用洗手刷
可对数据服务内容、格式、结构等进行定制
1.4 智能油气田需要数据湖的支撑
国内石油企业先后开展了多项数据资源相关建设，在数据资源管理方面取得了一定成果。近年来油田企业在数据总量、数据类型呈现快速增长的趋势，数据作为企业的核心资产，越来越受到重视，大数据存储和处理技术日趋成熟，因此在智能油气田项目中，提出了数据湖建设。
图1-1 智能油气田及数据湖框架图
2数据湖技术研究与应用的目标和任务
2.1目标和主要任务
以智能油气田建设为背景，设计和建设油田企业数据湖，基于“石化智云”研发数据管控和服务功能，打造大数据体环境的智能化数据处理、分析和服务能力，支撑智能油气田试点应用。
汇数——与试点企业调研结合，制定数据入湖方案，完成数据汇集入湖；
成湖——设计油田企业数据湖架构体系，建设试点企业数据湖框架；
乘云——基于石化智云的技术架构，研发数据汇集、微服务管理、数据监控等12大类、67项功能；
启智——研发云上、智能化等类型数据服务，支撑智能油田“6+1”业务应用及智能化应用。
2.2油田企业数据湖的内涵
按照油田企业数据湖的设计，包括数据集成中心、数据管控中心、数据服务中心三大能力中心和数据服务引擎、大数据分析引擎两大引擎，支撑云应用、传统应用与AI智能应用的开展。
根据设计思路，充分继承前期已有数据资源建设成果，遵循国产化软件产品应用的原则，存储技术方案采用可配置的多方案兼容方式，优先应用国产化软件。在分公司建设过程中，基于企业级数据存储的现状，少做数据搬迁，以企业现有资源存储实现数据湖建设。
图2-1数据湖架构
数据集成中心面向上游企业六种数据类型，为实现数据汇集入湖、标准化处理、应用支撑及智能化分析，设计了汇集区、标准区、应用区和慧融智通区。
汇集区建设主要包含以下内容：
基于批量迁移、增量同步、服务解析、实时接入等数据汇集技术，满足不同数据类型的入湖需求。
搭建贴源格式数据存储，实现全量异构数据入湖存储。
标准区建设主要包含以下内容：
根据试点入湖数据的业务范围，扩展勘探开发模型标准；
根据音视频、实时数据、GIS数据等数据类型的存储需求，扩展油田企业元数据标准；
对结构化数据进行标准化转换，对其它类型数据进行属性信息提取。
应用区建设主要包含以下内容：
构建面向业务应用的存储环境，满足业务应用的基础数据、过程数据和成果数据的存储需求。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议