-
河南奥瑞环保科技股份公司
-
大数据工程师 后端技术人员
-
3年
擅长技能
熟练掌握Java,Scala编程语言。熟悉linux基本命令与操作
熟练hadoop组件的安装与部署,如(hadoop,spark,hbase,hive,mysql,mongodb,kafka,flume)等
熟悉Hdfs文件存储系统、Map/Reduce离线并行计算
熟练Spark的使用,sparkstreaming实时获取kafka中数据,掌数据倾斜解决方案。
熟练使用MySQL,Hive等关系型数据库,对数据进行查询与操作
熟悉kafka工作机制及kafka与flume结合的使用。
熟悉Zookeeper分布式协调服务应用。
掌握Sqoop、Flume、Crontab定时器等辅助工具。
熟悉Hive系统架构,能够使用hive进行海量数据的查询分析,能够使用sqoop进行 关系型数据库与HDFS/Hive之间进行数据的导入导出,具有一定调优经验。
可以熟练操作数据库,如:mysql,hbase,mongodb等
熟悉spring boot,java,后端开发有自己的一套框架,可进行快速开发
前端采用VUE,UNIAPP.HTML,CSS及JavaScript技术