实现网
老螃蟹

昵称登录后显示

600/8小时
2年工作经验

天融信
中级大数据工程师

0

被预约次数

0

被收藏次数

0

被评价次数

擅长技能

掌握微服务,Spring Boot 和dubbo, Srpingcloud的使用
3. 熟练掌握fastDFS,zookeeper,solr,nginx服务器的搭建,以及分布式上的搭建策略,高并发处理
4. 熟悉Linux、docker运维的常用命令,熟悉基本数据结构和算法。
5. 熟练掌握接口编程:webService, json/xml
6. 掌握MapReduce,yarn, spark
7. 掌握Sqoop, Flume日志采集工具, Kafka消息中间件
8. 掌握spring, struts2, hibernate, mybatis, bootsrap,jQuery, easyUI,spring Security等框架的使用

项目经验

项目名称:门禁大数据用户画像
项目描述:使用门禁数据用来勾画用户(用户背景、特征、性格标签、行为场景等), 提炼出出入门禁的时空特征, 人物标签特点, 方便配合政府部门进行数据查询。

项目介绍:
用户画像数据来源中连个最终要的数据就是用户属性以及物品属性,有了这两个,我们就可以从用户-用户、用户-时间、时间-空间三方面展开相应的相似度计算聚集
1 数据收集-> 用户画像建模 -> 用户面部数据 ->行为建模
用户属性用来描述一个用户的个性,从而用于与其他用户加以区分,为实现精准及个性化的推荐,系统通常对每个用户都有一个用户属性的建模,其中包括用户的基本信息,如用户的性别、年龄、年收入、兴趣爱好、活跃时间、所在城市等。如果计算得到用户A和用户B的属性相似度较高,那么系统就会认为用户A和用户B是相似用户,在标签化引擎中,使用面部数据, 时间片段标签, 空间化标签进行对已有数据的分类, 为政府化数据的监控作出准备

技术结构:
1. 数据采集:门禁数据通过下游门禁商的门禁数据传输到政务网的数据分析服务商
2. 数据预处理:进入到消息队列Kafka后, 使用Scala语言进行spark的定制化的预处理
3. 数据仓库技术:a. 进入公安数据分析系统之前得存留备份再mongoBD b. HDFS进行非结构化数据存储, HBase进行存储一般信息
4. 数据导出:提供接口给予外部对接商, 别人主动调。 不需要导出
5. 数据可视化:定制开发web程序(highcharts)

我的职责:
1、参与制定整体项目实施方案;
2、独立研发用户原始打标签模型(主要用于用户画像)和标签推荐模型;
3、独立研发线上标签模型并调优。

0条评论 雇主评价

暂无评论~

可兼职时间

周六全天
周日全天
工作日下班后
周六半天
周日半天

可兼职地点

福田
上梅林

被预约

0

被收藏

0

被评价

0

立即预约

可兼职时间

周六全天
周日全天
工作日下班后
周六半天
周日半天

可兼职地点

福田
上梅林

已通过身份认证