就职精友公司,负责精准定件产品数据库结构设计、汽车零配件数据的采集及处理、数据自动化加工程序开发维护、内部数据维护平台开发、数据库和服务器维护及系统监控等工作
- 熟练使用Mysql、Oracle、MongoDB、Redis、Greenplum、DB2等数据库,熟悉存储过程、函数、触发器等,具有较好的SQL调优能力及数据库问题排查能力;
- 熟练使用 Python 多进程、多线程、异步进行数据加工处理,熟悉 flask、fastapi等框架;
- 熟练运用DataX、Canal、Informatica、DataStage工具对数据进行全量/增量抽取、清洗、转换等操作;
- 熟悉 Linux 系统的常用操作及程序、数据库的部署,问题排查等,熟悉 shell 语言;
- 熟悉 Nginx 部署及常用配置;
项目名称:精友汽车数据精准定件项目
● 项目周期:2018/09 - 2022/12
● 主要技术:Linux + MongoDB + Mysql + Python + DataX + Canal + Redis + Oracle
● 项目描述:该项目主要为汽车保险、汽车维修等行业提供精准的配件数据支撑,通过将各渠道获取到的海量数据分析规则、整合清洗,加工转化为规范精准的一车一件数据,为公司各产品线、各大保险汽车理赔、品牌汽修厂等提供稳定精准的VIN码、车型、配件、价格查询等数据支持服务。
● 责任描述:主要负责对已上线全部品牌各渠道源获取到的海量数据进行统一整合、规则分析,根据各品牌不同的清洗规则开发自动化清洗程序;随着数据量的增加逐步优化数据库结构设计以及清洗程序效率优化;把控数据收集、抽取、清洗加工以及增量数据更新、升级的流程;负责MongoDB数据库更换为Mysql的数据库结构设计及数据迁移工作;负责除生产外各环境数据库维护工作;负责项目非生产服务器的监控维护工作;负责mysql数据库之间的实时同步程序开发;参与部分EPC网站数据采集工作;负责外部购买数据的对接工作。
● 项目名称:精准定件快速上线平台
● 项目周期:2020/05 - 2022/12
● 主要技术:Linux + Python + Redis + Vue + Greenplum
● 项目描述:精准定件采用线下加工数据,打包升级方式进行数据更新,该项目主要解决精准定件升级周期长,客户反馈数据不能及时维护上线等问题开发的整车数据自动化加工推送程序。
● 责任描述:负责各品牌自动化清洗脚本的开发,统一任务调度平台的开发,任务数据库结构的设计;开发数仓VIN数据定时过滤、推送快速上线程序;参与任务平台前端页面的开发设计工作。
● 项目名称:精准定件数据维护平台
● 项目周期:2020/05 - 2022/12
● 主要技术:Linux + Python + Mysql + Vue
● 项目描述:该项目主要解决公司客服人员即时数据维护的需求以及数据指标实时统计展示。
● 责任描述:负责后台数据指标统计脚本的开发;负责上传数据校验逻辑的设计开发;参与部分页面的开发。
● 项目名称:PICC中国人保–新一代风险审计信息管理系统(一期)
● 项目周期:2017/05 - 2018/09
● 主要技术:Linux + Oracle + DataStage
● 项目描述:该项目主要针对中国人民保险股份有限公司健康险业务一些特别需要关注的风险点及某些特定业务需求需要展示的指标值及清单数据处理并进行相应的报表展现,实现对健康险业务的风险控制以及指标分级监控预警。
● 责任描述:主要针对保险公司业务部门所提出的业务需求进行数据探查、追踪分析,风险数据提取至疑点库以便审计人员进行业务相关的数据查询,开展相应的业务数据审计工作。后台应用ORACLE开发所需风险点、清单及指标值,运用shell脚本调用存储过程及DataStage将数据增量抽取推送疑点库,参与数据平台清单报表基础层指标开发,以及系统开发过程中客户需求的数据提取。
● 项目名称:PICC中国人保-数据集成平台项目
● 项目周期:2017/03 – 2018/03
● 主要技术:Linux + DB2 + Oracle + DataStage + oracle goldengate(OGG)
● 项目描述:基于OGG建立统一的ODS,实现对DB2数据库统计分析系统、统一客户视图系统往ORCACLE一体机的迁移。
● 责任描述:使用DataStage处理DB2 与ORACLE数据库的数据迁移及数据核对工作,以及OGG系统的监控处理工作,确保数据同步的准确性。
可兼职时间
可兼职地点
0条评论 雇主评价