京喜相关数据云图产品离线与实时数据需求开发,根据产品要求实现数据统计,运用flink实时流计算框架(基于kafka消息队列,redis等组件)和使用京东大数据实时flinksql或flink java代码消费Kafka实时流数据,并将结果存入redis,编写php代码为前端提供数据接口,另外编写高性能python脚本封装hivesql进行离线统计,确保需求交付及时率, 在开发flinksql时也编写了udf来满足一些特殊场合的使用,比如时间打点函数,监控性能上报等。
1、完成了部门重要数据产品云图的实时数据开发,包括渠道、部门、入口、品牌、商家等维度,实现了秒级更新,为京东大促大屏幕提供实时秒变数据,在多次大促中接受了数据洪峰的考验。
2、在完成需求的同时,不断优化系统各模块,确保性能指标满足日益增长的业务需求。
3、工作中注重沟通,与产品、开发保持良好的沟通,确保项目稳步推进
可兼职时间
可兼职地点
0条评论 雇主评价