0
被预约次数
0
被收藏次数
0
被评价次数
1. 精通 Java ，掌握Python编程语言、熟练使用Scala编程语言
2. 熟练使用 Linux 操作系统， Shell 编程。熟练Maven 、gradle构建工具
3. 理解 Hadoop 的分布式文件系统，掌握mapreduce 原理及实现编程
4. 熟悉 Hive 的工作原理、udf编写、HQL优化及数据仓库建立，能完成对数据的抽取和多维度分析
5. 精通Flink 计算引擎及其使用，如：旁路输出、数据抽取与装载、自定义connector等
6. 掌握 Zookeeper 协调服务工作原理及使用场景
7. 理解 Hbase 的存储原理，Hbase 存储架构，实现数据的毫秒检索
8. 掌握 Spark 任务的执行流程，Spark内存管理，深入理解 Spark 工作机制
9. 掌握 Storm 任务的执行流程及其原理
10. 掌握 Flume、kafka 数据采集工具的原理，实现流式数据的过滤和分析
11. 掌握 NIFI 数据分发系统及其使用
12. 掌握使用 Ambari 集成 Hadoop、Spark、ELK、Jupyter、Infra 等组件
13. 熟练使用 Sqoop 工具，实现非关系型数据库与关系型数据库数据的集成
14. 熟悉使用 Azkaban 工作流调度
15. 掌握 Redis 内存数据库的基本原理及各数据类型的使用，实现数据的毫秒查询
16. 掌握使用 Python 爬虫，Scrapy 框架爬虫、分布式爬虫
17. 熟悉 Oracle、Mysql 数据库，能够进行SQL 开发，并且了解数据库的优化
18. 熟悉 Elasticsearch，Logstash，Kibana
19. 掌握微服务架构开发
20. 熟练使用JPA和Mybatis 持久化框架
21. 熟悉Minio 对象存储服务
22. 熟悉Hudi+presto/Starrocks vs iceberg+presto/Starrocks
23. 了解分布式数据库（ClickHouse、TIDB、Greeplum、OceanBase）
24. 了解机器学习(KNN，Kmeans,朴素贝叶斯，协同过滤，决策树，逻辑回归)
25. 了解 Mahout，MLlib 机器学习库
26. 能阅读英文技术文档。具备良好的文档写作能力
项目一：政法智慧监督平台
项目名称： 政法智慧监督平台
开发环境： IDEA+maven+jdk
系统架构： SpringBoot+Flink+Hadoop+Zookeeper+Azkaban+Minio+FTP+Hive+…
项目描述：
智慧监督平台以数据信息资源的整合管理为重点，全面汇聚政法机关的业务入口数据、跨部门大数
据办案平台案件数据、政法机关内部监督系统结果数据、云上贵州政务共享数据、金融机构数据，实现从数
据采集、处理、分析、服务到应用的全流程贯通，形成全省覆盖、技术领先、服务一流的大数据支撑体系，
有效推进基于大数据的司法权力运行监督管理力的提升。以数据为抓手，以技术手段为依托，实现覆盖政法
机关全域业务的宏观性执法监督应用和专项核查，并建立面向重大事项的督察督办机制。
责任描述 :
1. 参与技术选型与评审；
2. 负责数据分级分类管理的设计以及数据共享；
3. 负责数据概览（数据分布）的设计与开发；
4. 支持Minio作为新数据源，同时选择作为内置的OSS服务；
5. 数据共享支持结构化数据、非结构化数据、数仓以及数据权限 。
6. 负责数仓即时查询开发、支持分区存储与管理功能；
7. 负责数仓资产统计设计与开发；
8. 负责数据备份与还原模块开发；
9. 负责数据库设计文档编写。
项目二：大数据中台
项目名称： 大数据中台
开发环境： IDEA+maven+jdk
系统架构： SpringBoot+Flink+Hadoop+Zookeeper+Azkaban+Minio+FTP+Hive+…
项目描述：
大数据中台是面向PB级数据的一站式数据集成、治理、共享、分析及可视化平台。帮助用户整合多元
异构数据资产，实现统一的数据标准，严格的质量管理，清晰的数据血缘关系，简易快速的数据建模，交互
性的数据展示。通过帮助客户分析海量数据，获得深层次的业务洞察，做出有效决策，实现运行效率和竞争
优势的提升。
责任描述 :
1. 参与技术选型与评审；
2. 负责Flink 1.12的升级；
3. 负责数据生成组件开发；
4. 负责中台数据源安全认证（Kerberos）；
5. 负责Hive增量抽取以及流式装载；
6. 负责数据集成新增清洗组件调研与开发；
7. 负责新增数据源开发并同步其他模块 ；
8. 负责多种数据源快速建表设计与开发。
可兼职时间
可兼职地点
0条评论 雇主评价