首页 > 专利技术

大数据简历模板

简历

个人信息

姓名：学历：本科

性别：男毕业院校：

：工作经验：2年

邮箱：

求职意向

职位：大数据开发工程师工作地点：北京

薪资：面议到岗时间：一周内

工作技能

熟悉Hadoop分布式集，掌握Hadoop集的搭建和配置

熟悉MapReduce，Hdfs处理问题的思想以及原理，熟悉Shuffle机制

熟悉Hbase工作机制及其集的搭建

熟悉Kafka的工作原理以及接收相关日志数据

能够使用Hive进行海量数据的查询分析，使用Sqoop将数据进行导入导出

熟悉使用Flume收集相关日志

熟悉Linux操作系统、常用命令及Shell脚本

熟悉Spark的Scala编程led支架

熟悉Spark Core，Spark Sql, Spark Streaming开发，了解Spark MLlib基本用法

熟悉Redis缓存数据库的工作原理及应用,了解Redis的主从复制、集搭建、Redis持久化方式，如RDB

熟悉MySQL日常DML/DDL/DQL操作，了解Innodb与Myisam存储引擎，熟悉MySQL的锁机制，熟悉explain、show profile等日常SQL诊断和性能分析策略

熟悉SSM等后台框架的基本应用，了解Javascript、Ajax、jQuery、Servlet、JSP、EL/JSTL等前台页面技术

熟练掌握javaSE、JUC等基础，熟悉JVM的内存结构，调优及GC算法

了解ElasticSearch存储数据及关键字搜索

了解Storm实时处理数据

了解Crontab、Azkaban、Ozzie工作流调度

工作经验开路电压

项目一：百利网商城产品推荐系统

开发环境：Intellij IDEA、JDK1.8、Scala2.11

集环境：MongDB + ElasticSearch + Redis + Flume + Kafka + Spark + Mysql

项目描述：

飞盘制作该项目主要是对电商网站的用户进行离线和实时的推荐，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。主要使用了Spark Core、Spark SQL、Spark Streaming和Spark MLlib，进行离线推荐和实时推荐业务模块的开发。

车辆定位

责任描述：

主要负责模块：离线推荐模块、实时推荐模块

离线推荐模块：主要从MongoDB中加载数据，通过ALS算法分别将用户推荐结果矩阵、商品相似度矩阵回写到MongoDB中。

实时推荐模块：用户对商品的每一次评分会触发一次实时推荐

技术描述：

采用广泛应用的文档数据库MongDB作为主数据库，主要负责平台业务逻辑数据的存储。

采用ElasticSearch作为模糊检索服务器，通过利用ES强大的匹配查询能力实现基于内容的推荐服务。

采用Redis作为缓存数据库，主要用来支撑实时推荐系统部分对于数据的高速获取需求。

离线推荐业务采用Spark Core + Spark MLlib进行实现，采用ALS算法进行实现。

对于离线推荐部分需要以一定的时间频率对算法进行调度，采用Azkaban进行任务的调度。

通过利用Flume-ng对业务平台中用户对于商品的一次评分行为进行采集，实时发送到Kafka集。

Kafka在收到这些日志之后，通过kafka Stream程序对获取的日志信息进行过滤处理，并将数据推送到项目的实时推荐系统部分。

采用Spark Streaming作为实时推荐系统，通过设计的推荐算法实现对实时推荐的数据处理，并将结构合并更新到MongoDB数据库。

项目二：百利网商城数据分析平台

开发环境：Intellij IDEA 、JDK1.7、Tomcat7.0、Maven

集环境：Nginx+Flume+Kafka+(蜂窝煤采暖炉Spark Core、Spark SQL、Spark Streaming)+Hive+MySQL

项目描述：

该项目主要是对电商网站的流量进行离线和实时的统计分析。该大数据分析平台对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。

项目主要使用了Spark技术生态栈中最常用的三个技术框架，Spark Core、Spark SQL和Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括用户访问session分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计4个业务模块。

责任描述：

主要负责模块：系统平台架构分析、集搭建、用户访问session分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计

用户访问session分析：包括session的聚合指标计算、按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session。主要使用Spark Core实现。

页面单跳转化率统计：计算关键页面之间的单步跳转转化率，涉及到页面切片算法以及页面流匹配算法。主要使用Spark Core实现。

热门商品离线统计：该模块主要实现每天统计出各个区域的top3热门商品。主要使用Spark SQL实现。

广告流量实时统计：该模块负责实时统计公司的广告流量，包括广告展现流量和广告点击流量。实现动态黑名单机制，以及黑名单过滤；实现滑动窗口内的各城市的广告展现流量和广告点击流量的统计；实现每个区域每个广告的点击流量实时统计；实现每个区域top3点击量的广告的统计。主要使用Spark Streaming实现。

技术描述：

日志生成：网站或App发送请求到后台服务器生成日志文件，

日志采集：离线：Flume监控日志文件目录，将每天的日志传输到HDFS上

实时：Flume将日志文件实时传输到Kafka中

日志清洗：使用MapReduce开发MR作业，使用Crontab定时的每天执行此作业一次，对原始日志数据进行清洗，存入HDFS另外一个文件

数据加载：把HDFS中清洗后的数据导入到Hive的动态分区表中，每个分区放一天的数据

肖秀丹离线数据计算：使用Spark的累加器来计算访问时长和访问步长在各个范围内的占比；

Spark中groupByKey,reduceByKey,join,sortByKey等算子的使用，广播变量的使用

自定义二次排序计算topN热门品类

使用开窗函数获取各个区域内点击次数排名前3的热门商品

用户自定义聚合函数实现字段的处理及拼接

使用updateStateByKey算子配合检查点实现广告点击次数的累加

使用reduceByKeyAndWindow算子实现计算1小时滑动窗口内的广告点击趋势

实时计算：Spark Streaming实时地从Kafka中拉取数据，然后对实时的数据进行计算

数据存储：计算完成的数据导入到Mysql

项目三：百利网商城

开发环境：Eclipse、JDK1.7、Tomcat7.0、Maven

集环境：SpringMVC+Spring+MyBatis+Zookeeper+Dubbo+Nginx+Mysql

项目描述：

该项目是基于b2c模式的电子商务网站，经营范围包括服饰、家具、数码、家电、母婴、酒饮等，涵盖生活的各方面，以低价策略闻名，以打造南京本土电商品牌。该项目开发四个子系统和一个支付服务系统，主要包括：后台管理系统、前台交易系统、用户认证系统、商品搜索服务升级、支付服务，采用SOA面向服务的分布式架构方式进行开发，并采用分布式和集的方式将业务系统进行部署

责任描述：

主要负责模块：商品发布模块、购物车模块

商品发布模块包括：商品分类的加载、图片上传

购物车模块包括：添加购物车功能、迷你购物车功能、操作购物车功能

技术描述：

使用cookie+session+db实现购物车，根据用户的登录状态分为6种情况：session作为登录状态下的购物车缓存，用户登录的时候，还要分情况进行cookie和db购物车的合并;

用CXF+WebService搭建服务接口，实现不同应用模块之间的相互调用;

前后台数据的传输与存储采用json格式。

本文发布于:2024-09-23 17:11:19，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/3/133940.html

上一篇：网格化营销系统构建多层次金融服务体系

下一篇：SQLServer全文索引的硬伤