昵称登录后显示

2019.3-至今:主导”大数据工坊”2.0(2b 非 2c)的架构设计和研发
工作业绩(承担平台后端大部分的研发工作量):
1， 完成 2.0 版本的架构设计和新技术(kubeflow，openpai，alluxio 等)的调研工作
2， 基于开源分布式异步任务队列框架 machinery(golang 开发)进行升级改造，重点增加周期任务调度、 任务(spark，flink，kubeflow)解释器、worker 节点集群属性匹配、主从节点通信、任务监控等功能， 使得可以将数据从抽取、etl、分析、特征提取、模型训练和发布等不同阶段的异构任务(环境异构，语
言异构)纳入到一个 workflow 中进行链式调用，极大增强了 pipeline 和 workflow 的能力。
3， 调度系统集成谷歌 spark-on-k8s-operator,flink-on-k8s-operator
4，基于开源 kubewatch 项目完成 k8s 集群的事件监控，并在此基础上结合 kuboard 面板工具增加 pod 日志
收集功能。

2018.3-2018.12:协助架构师主导公司工业大数据产品“大数据工坊”1.0 的设计与研发
工作业绩(承担平台后端大部分的研发工作量):
1， 独立完成“算子逻辑设计->算子开发->pipeline(workflow)->任务打包发布->调度”完整的数据探索业务链 的开发。
2， 独立完成基于 embulk 数据加载器的输入输出类算子设计与研发(jdbc 输入输出，hdfs 输入输出算子)， 独立完成 join、groupby、选择字段等数据处理算子(spark 和 pyspark 版本)
3， 独立完成基于 azkaban 的任务调度系统以及对于旧数据的补数逻辑的设计与实现，完成任务执行 shell 脚本的编写
4， 独立完成通用算法算子化工具，与 ai 部门合作上线机器健康预测模型

2016.10-2017.3 百度外卖 php 工程师
工作业绩:
1，负责服务端异步消息(MQ)模块的开发，参与产品 3.6,3.7 版本的开发
2，主导产品通知消息模块的重构工作，包括模块的架构设计、数据库设计等，并使通知消息模块产品化， 使产品通知消息模块由原先代码层面的维护变成基于后端可视化界面的维护

2016.2-2016.9 北京圈内圈外信息科技有限公司 php 工程师
工作业绩:
1，跟随公司 cto 参与“那个免费”系统服务端的架构设计，独立完成用户系统和订单系统的开发
2，学习了用 php 开发一个服务端的 restful api 框架
3，开发了网络爬虫系统，爬取并处理京东等电商网站的商品 sku 信息并处理入库