1.熟悉 Hadoop,Hbase,Hive,zookeeper,Spark,flink 等大数据相关技术;
2.熟练 java,jvm 调优,springboot/springcloud 等微服务架构;
3.熟悉 devops,docker,k8s相关的开发生态;
4,了解html,css,AngularJS,VueJS等前端技术;
5.了解机器学习相关原理,使用过Pandas,Scikit-learn,Spark MLlib等框架;
6,熟悉项目管理,尤其是敏捷开发相关;
7.善于带领团队开发,能高效组织团队各成员完成工作;
一.
1.望鹊数据中台是一个集成工具平台,该项目采用微服务架构。从数据的采集,加工处理,再到最后的使用。含有:数据集成,数据开发,调度运维,数据服务,数据地图等模块。
2. 我主要负责中台的前期调研,功能设计,技术架构设计以及整个项目的推动落地。
3. 我先设计好中台的功能,由产品经理负责绘制原型,然后我把架构设计好,由前端,后端,数据开发等编码实现,最后由测试验证上线。
二.
1.销售易 CRM 是客户关系系统,属于 PasS 平台产品,面向于企业的。他核心是提供一些分析模型,标签体系,细分群组等模
块等。
2. 从 sdk ,各方埋点获取数据,经过 idmapping ,进入 kafka ,然后 flink 消费,最终落地到 hbase,cickhouse 等存储介质;
3.之前的老项目的 hbase 的读写是个瓶颈,经常导致下游处理不畅;
三.
1. 糖豆数据平台是为公司决策层及相关人员提供的可视化工具:涵盖各种报表和各种即席查询
2. 我主要负责整个项目的设计,技术选型及核心模块的开发;
3.核心看板,留存分析(dau,新增,留存等指标):数仓脚本每天定时计算前一天数据,然后同步到mysql的表中,最终把其展示出来;
4. 多维报表:根据用户的配置过滤数据,数据来源于我们数仓脚本计算好的hive表,然后使用impala进行处理,最终呈现出来;
5. 活跃监控(app/播放用户,首页推荐曝光/播放PV,相关推荐曝光/播放PV):flink消费原始topic中的日志,对其解析处理,然后打到下游kafka中.以kafka为数据源,使用druid聚合数据,历史数据使用MySQL作为数据源;
6. 样本量评估器:根据基本转换率,提升后转化率,方差,显著性水平,统计功效等计算每组最小样本量.使用python相关模块开发,供其使用;
7. 线上AB实验概览:使用python解析目前的AB实验数据,然后实时展示;样本量评估器:根据基本转换率,提升后转化率,方差,显著性水平,统计功效等计算每组最小样本量;
四.
1,概况:
这个是我们的一个实时展示广告基本指标的计算平台,主要的指标是新增,活跃,点击观看,广告展示,观看完成,点击跳转等等.
2,责任描述:
1)、整个架构的设计;
2)、整个框架的搭建;
3)、kafka 接收到来自 Flume 的数据,使用 kafka stream 进行计算,然后把计算结果落地到 redis中,为了保证可靠性最后会把
其持久化到 MongoDB中,最后把他通过 RESTfull 接口展示到 dashboard;
可兼职时间
可兼职地点
0条评论 雇主评价