实现网
正泰电器
数据开发
nomad.Oak
6年
擅长技能

1.熟悉Linux开发环境以及常用Shell命令,能够进行Shell编程; 2.熟悉基础Hadoop生态,近7年Hadoop使用经验,深入理解Hdfs、MapReduce原理,对各个生态成员组件的功能、应用场景、优缺点、典型bug有深入理解; 3.熟悉列族数据库HBase,对Hbase有近7年使用经验,深入理解Hbase读写数据原理、WAL设计原理、Rowkey设计原理,有读写性能优化的实战经验,熟练掌握Hbase在不同应用场景解决实际问题的能力; 4.熟悉消息中间件Kafka,对Kafka有近7年使用经验,深入理解Acks、页缓存、零拷贝、Rebalance等机制,对于消息幂等,分区分配有实际的解决方案,熟练掌握Kafka Streaming、Kafka Connector在不同应用场景解决实际问题的能力; 5.熟悉大数据计算引擎 Spark,对Spark设计原理,Spark Shuffle优化有深入理解,拥有3年以上Spark在各种应用场景下的开发,调优经验,熟练掌握Spark Core、Spark SQL、Spark Streaming等核心原理以及源码有较为深刻的思考和研究; 6.熟悉Flink流式程序开发,有2年以上流式项目开发经验,熟练掌握状态编程、窗口函数等操作; 7.熟悉数据仓库维度建模,有丰富的Lambda 架构 和 Kappa 架构数仓搭建实战经验,能够独立完成离线和实时数仓搭建、维度建模与维护; 8.熟悉Azkaban 等数据调度工具,对于Azkanban的 Job配置、Flow搭建、Schedule设置、Yaml语法有丰富使用经验; 9.熟悉Kettle数据采集,数据治理等 ETL 工具,熟悉个核心模块的功能,以及对接的其他生态组件的用法; 10.掌握Scala语言,有3年以上Scala开发经验,熟悉Scala容器、柯里化、单例模式、偏函数; 11.掌握Python语言,有2年以上Python开发经验, 擅长使用Python对数据进行清洗、加工、转换处理,熟练使用NumPy进行数值计算和多维数组处理,熟练使用Pandas进行数据分析; 12.熟悉 Java,有近7年Java开发经验,熟悉Java常用容器的用法和优缺点,如数组、链表、Hash表等原理和用法,深刻理解JVM内存模型、组成原理、多线程解决方案、GC原理、锁升级过程; 13.熟悉Apache旗下开源组件集群搭建,能够独立部署包括但不限于Hadoop、Hbase、Kafka、Spark、Docker、Jekins、Gitea、Nginx、K8s、Zabbix等大数据集群生态组件; 14.使用过FineBI、Kibana、Davinci等数据可视化分析工具,了解Spark MLlib库中基础的算法和用法,能够进行简单建模,没有调优经验。

¥700 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 拱墅

立即预约

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求