昵称登录后显示

项目经历

2020.12-至今 分析平台数据引擎系统

一、项目介绍:
一.项目背景
为应对橙心各部门数据应用需求，收紧数据出口，研发统一数据出口。
二.职责
1).架构设计
2).数据研发
3).系统研发
4).系统优化
二.项目内容
1.需求评审
2.参与数据引擎架构设计
3.利用公司数据分析平台，清洗数据
4.数据ETL，数据从hive到clickhouse（后期更新为doris），mysql
5.实时数据构建(利用flink实现实施数据分析)
6.数据引擎服务研发

2020.12-至今 履约（实时）地图&作战地图

项目介绍:
一、项目背景
网格站作为社区电商履约的重要一环，健康稳定的运营是业务长期发展的基础。目前网格站合作模式不成熟，运营质量低，运营效率低，合作成本高，亏损严重。同时网格站指标复杂，和地理位置相关性极大。
二、职责
1).架构设计
2).数据研发
3).系统研发
4).系统优化
二、项目内容
1.需求评审
2.系统架构设计
3.数据分析工作
4.数据ETL，利用数据分析平台清洗数据到hive，导数据至clickhouse&mysql
5.实时数据构建(利用flink实现实施数据分析)
6.系统研发，调优

2020.12-至今 数据分析平台HomeApp

项目介绍:
一、项目背景
为实时关注平台数据及时感知，及时感知运营数据变化，构建研发端数据分析平台app，能及时感知关键数据变化及时作出决策。

项目经历

2019.3-2020.12 中台-优惠中心系统

一、项目介绍:
优惠中心2.0优惠系统重构。针对2.0系统不稳定常态,优惠精度不高,容灾及性能不能满足现有业务而进行系统重构。3.0采用springboot技术将2.0系统进行整体重构,丢弃2.0优惠时提前缓存机制,而采用3.0实时高效计算并返回出参。
二、项目角色:
1.利用springBoot技术,自研同步程序,完成将数据同步至Elasticsearch.
2.完成报名到优惠Elasticsearch实时同步程序研发,完成班科数据及学员信息数据落地.
3.参与并完成优惠系统自动优惠模块的研发.
4.完成优惠系统优惠券模块功能研发.
5.利用redis与springBoot本地缓存等技术,完成对自动优惠性能优化(优化前生产TPS单机峰值,1000并发持续10分钟将近3000,RT均值:800.优化后峰值将近7000.RT均值:150).
6.利用redis及springBoot本地缓存等技术,完成对优惠券模块的性能优化,达到单机轻松支持10000并发量无压力.
7.参与优惠系统技术改造.主要是链路治理,将班课数据对接到共享ES,订单对接到订单中心,用户信息对接到用户中心等.
8.完成优惠券程序升级,旧数据流:管理端->DB->CDC->KAFKA->Elasticsearch,期间DB,CDC之间发生任何问题都会导致数据无法到达Elasticsearch,会导致线上事故.
9.参与统一日志收集组件的构建与部署.
10.参与完成课程中心flink实时同步程序构建.
三、项目技术:Java,springBoot,redis,kafka,Elasticsearch,apollo,flink
四、项目内容:
1.项目运行环境部署
zookeeper,flink,redis,kafka,ElasticSearch部署
2.源数据准备
(1).利用flink技术,自定义source实时感知优惠自有DB数据以及报名班科数据,学员数据变化,写入到优惠自有ElasticSearch.
(2).对接共享ES,教务实时将改变数据推送至kafka队列,利用flink实时消费kafka数据,sink到共享ElasticSearch.
(3).自研同步程序,实时拉取优惠最优数据至优惠ElasticSearch.
(4).将优惠管理端,服务后端为kafka生产者,produce数据到Data queue,consumer消费Data queue写入到ElasticSearch.
(5).报名系统代金券数据中心化到优惠中心,此过程为一次性工作,后续数据生产到消费都在优惠ElasticSearch,同步程序为自研.
3.主程序构建
(1).最优优惠服务程序构建.
(2).优惠券服务程序构建.
4.服务优化
(1).最优服务端数据支持为sqlsever+ElasticSearch,在高续班期延时严重造成服务质量下降,后续优化:
a.第一次查询班级写入redis添加过期时间,后续相同班级查询会先查询redis,其次ElasticSearch或sqlsever.
b.因为规则数据体量不大,高续班期规则数据写入本地缓存,续班期后释放.
c.优惠券持久不变数据,类似学校、渠道等共享数据,采用本地缓存.
d.查询优化,将券规则、批次、券号、范围等数据第一次查询写入redis并添加过期时间.
e.代码规范优化.
(2).日志收集优化,通过springboot切片特点,自研通用日志收集框架,自动收集controller层日志,其他如查询ElasticSearch,redis,DB单独打标签记录日志.
(3).链路优化
5.后续版本迭代及系统维护

2018.8-2019.3 大数据用户画像

一、项目介绍:
对历史数据以及实时数据进清洗,多维度拟合。结合历史数据以及数据模型对新用户以及老用户进行在线实时智能推荐以及离线智能推荐。
二、项目角色:
1.负责数据ETL:
a.利用sqool将mysql及sqlsever数据导入到hive仓库,完成了数据的仓库落地.
b.结合flume+kafka技术,完成了对公司主要系统的日志收集,处理为原定格式后仓库落地.
c.结合阿里canal+kafka技术,实时拉取主要系统mysql数据库数据落地仓库.
d.完成商机系统与实时推荐系统的数据接入(商机数据流向推荐系统仓库,过程实现利用kafka技术).
e.利用sparkSql完成了推荐系统统计类数据的落库.
f.利用sparkSql完成了推荐系统算法模型训练集数据的清洗收集.
2.参与推荐系统推荐系统算法实现.
3.利用springBoot技术,完成了后端WEB服务,并完成与推荐系统间的数据互通.
4.完成后端与前端对接.
5.持续对实时推荐系统进行维护,数据清洗,接入第三方数据.
三、项目技术:hadoop,hive,saprk,canal,flume,kafka,mysql,scala,java,springBoot,python
四、项目内容:
1.环境部署及数据源准备
(1).Hadoop,spark,hive,mysql,kafka等运行环境搭建.
(2).通过kafka全量同步报名,网报,优惠等数据导入仓库,后续增量消费同步数据.
(3).通过canal实时同步北京学校数据至仓库.
(4).对接商机,利用kafka消费商机推送数据落地仓库.
(5).对接推荐系统各项业务,包含关联推荐,预期推荐业务,历史一览,忠诚度等业务.
(6).按照业务分类清洗,统计数据落地mysql数据库.
(7).涉及推荐算法模型训练数据利用spark技术清洗数据落地hdfs指定路径.
(8).协助测试完成对数据清洗程序对数据精度测试把控.
(9).利用springBoot技术完成后端系统构建及测试问题修复.
(10).完成推荐系统推荐算法模型构建.
2.数据收集及清洗
数据清洗阶段分为统计类数据,分析类数据.细分为已报模块,浏览资讯板块,意向板块,算法规则板块.
(1).日志数据收集,通过网页,app端埋点,日志数据实时收集至hdfs,通过spark任务实时统计原定格式数据同步至hive,通过清洗job清洗数据至mysql.
(2).通过kafka,自研同步程序,flume,canal等技术收集订单数据,班科数据,用户数据到hive.
(3).利用canal解析mysql-binlog日志(对接北京学校出国,k12,等app)数据落库hive.
(4).第三方数据落库hive.
(5).接收来之网报系统,微服务等系统的kafka推送消息.
3.数据清洗程序研发,后端程序对接,与各业务系统对接.
4.后续系统维护.
5.系统优化.