熟悉Python,go语言,具备Django框架开发能力,曾独立开发运维管理系统;
熟练掌握Hadoop生态圈组件(Hive, HBase, Flink, Spark),具备全面的部署和管理经验;
能熟练操作ES, Docker, Nacos, RabbitMQ, MySQL, Redis, MongoDB等中间件,优化部署流程;
项目名称:智慧社区大数据仓库设计与实现
集群构建:领导分布式集群架构设计,实现高效的数据处理和存储,确保社区数据的实时分析和处理。
数据模型:负责多层数据建模,包括ODS、DWD、DWS、DWT、ADS层,优化数据流和存储逻辑,提高数据访问速度和分析准确性。
分析与规划:通过维度建模分析住户行为,对社区风险区域进行有效规划,利用核酸检测数据降低疫情传播风险。
技术运用:运用Hadoop、Spark、Hive等大数据技术,结合Zookeeper、Java、Shell、Python等编程语言,实现智慧社区数据的全面监控和管理。
成果发表:在《信息技术与信息化》杂志发表论文《Hadoop大数据平台自动化运维工具Ambari部署及应用》,展示了项目的技术深度和应用广度。
可兼职时间
可兼职地点
0条评论 雇主评价