实现网
联想
大数据研发工程师
周奎
5年
擅长技能

1. 精通 Java ,掌握Python编程语言、熟练使用Scala编程语言 2. 熟练使用 Linux 操作系统, Shell 编程。熟练Maven 、gradle构建工具 3. 理解 Hadoop 的分布式文件系统,掌握mapreduce 原理及实现编程 4. 熟悉 Hive 的工作原理、udf编写、HQL优化及数据仓库建立,能完成对数据的抽取和多维度分析 5. 精通Flink 计算引擎及其使用,如:旁路输出、数据抽取与装载、自定义connector等 6. 掌握 Zookeeper 协调服务工作原理及使用场景 7. 理解 Hbase 的存储原理,Hbase 存储架构,实现数据的毫秒检索 8. 掌握 Spark 任务的执行流程,Spark内存管理,深入理解 Spark 工作机制 9. 掌握 Storm 任务的执行流程及其原理 10. 掌握 Flume、kafka 数据采集工具的原理,实现流式数据的过滤和分析 11. 掌握 NIFI 数据分发系统及其使用 12. 掌握使用 Ambari 集成 Hadoop、Spark、ELK、Jupyter、Infra 等组件 13. 熟练使用 Sqoop 工具,实现非关系型数据库与关系型数据库数据的集成 14. 熟悉使用 Azkaban 工作流调度 15. 掌握 Redis 内存数据库的基本原理及各数据类型的使用,实现数据的毫秒查询 16. 掌握使用 Python 爬虫,Scrapy 框架爬虫、分布式爬虫 17. 熟悉 Oracle、Mysql 数据库,能够进行SQL 开发,并且了解数据库的优化 18. 熟悉 Elasticsearch,Logstash,Kibana 19. 掌握微服务架构开发 20. 熟练使用JPA和Mybatis 持久化框架 21. 熟悉Minio 对象存储服务 22. 熟悉Hudi+presto/Starrocks vs iceberg+presto/Starrocks 23. 了解分布式数据库(ClickHouse、TIDB、Greeplum、OceanBase) 24. 了解机器学习(KNN,Kmeans,朴素贝叶斯,协同过滤,决策树,逻辑回归) 25. 了解 Mahout,MLlib 机器学习库 26. 能阅读英文技术文档。具备良好的文档写作能力

¥1000 / 8小时

可兼职时间 周六、周日、工作日

可兼职地点 远程

立即预约

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求