昵称登录后显示

专业技能
一、Hadoop生态体系
1、能够搭建Hadoop分布式集群，理解HDFS的存储原理，理解Yarn的资源调度管理
2、能使用API操作Hbase，理解Hbase的实现原理，会操作常用的shell脚本
3、能够编写Hql语句对数据进行离线分析，理解Hive的存储原理，能对Hive进行分区分桶能够编写自定义函数（UDF）进行数据离线分析，能使用Hive搭建数据仓库，包括数据清洗，数据分层，构建数据维度表，数据实时表以及数据聚合。
4、Zookeeper选举机制，理解Zookeeper架构，能利用其对集群提供协同服务。
二、计算框架
1、使用 Flink 熟练开发，并进行源码改造，有flink 实时计算的项目经验，包括上线调优等。Flink 个人的git地址：https://github.com/JSQF/flink10_learn
2、能够使用常用的Spark算子，理解Spark的运行流程，能够使用Spark Core和Spark SQL进行数据的处理，会使用Spark Streaming进行数据的流式处理，能进行错误排除和性能优化，研究过部分spark源码，对spark源码有一定的理解。自己CSDN的 链接 https://blog.csdn.net/u010374412
3、能够使用MapReduce进行业务开发，理解MapReduce的Shuffle过程，熟悉MR任务执行原理
4、能使用API进行应用程度开发，以及spark streaming+Kafka实时流处理架构
可以使用Flink，进行流批一体的程序开发，完成exactly-once消费，自定义sink与tableSink。
三、辅助工具
1、理解Kafka文件存储机制，能够搭建Kafka集群，利用Kafka + Spark进行数据的流式处理，保证数据读取安全性。
2、理解kylin的使用，并拥有项目开发经验，能使用kylin进行数据开发，以及kylin调优。
3、能够使用kettle对数据进行迁移
四、其他
1、熟练掌握sql语句，掌握Mysql、Oracle做数据处理，
2、能使用java进行业务开发，会用Scala进行Spark框架业务开发，Python进行数据分析。
3、能使用Linux常用的操作命令，熟悉Shell脚本编程。
4、熟悉Spark2.x相关新特性。
5、熟悉java 的jvm模型