昵称登录后显示

#市局公共安全信息数据处理系统
厦⻔市公安局基于 110警情,舆情,厦⻔百姓,阳光信访,数字城管,集美⽹格平台,任务协同等平台回传数据，进⾏⼀
系列数据的预处理、⼊库和⼀系列⼤数据算法分析（项⽬协同美亚柏科共同完成），项⽬⽬的在于公共事件的预测
以及快速定位关联企业、位置等信息。
负责部分：
1.原始数据初步清洗，过滤不正常字段；
2.历史数据批量加载到 oracle；
3.部署⾃动调度，增量加载新增数据；

广州交通投资公司 HDP 以及 ETL 系统部署
交投即将承接 5000台公交的数据接⼊，考虑到数据量的增⻓，旧的数据处理系统已经⽆法处理⼤量数据，所以引⼊ HDP 作为基础组件，配合调度系统实现基础表的历史及增量数据稳定接⼊数据库
负责部分：
1.前期 HDP 测试系统的搭建，组件测试，⽂档编写等；
2.负责 ETL 系统以及调度系统的搭建，测试，⽂档编写；
3.业务 SQL、Hive 脚本、Shell 脚本等编写；

汉纳森云总线 3.0平台改造计划
云总线平台为商⽤⻋提供⼤数据分析和解决⽅案，从⽽帮助企业提⾼效益。根据公司架构调整规划，将原有的
CDH 解决⽅案平滑过渡到 HDP，并启⽤ ES、Kafka 等新的组件增加平台数据处理效率。
负责部分：
1.改造初期 HDP 平台搭建、组件测试、⽂档编写等；
2.新旧平台的历史数据迁移，保证新平台数据的正确性；
3.ETL 系统以及调度系统搭建、测试以及元数据迁移；
4.新平台的 Hive 业务开发、ES 建表、Oracle 数据与 ES 之间的同步；
5.部分 Oracle 存储过程改造成 Spark 场景的测试开发；
6.基于 Ambari 对集群作⽇常监控等；