0
被预约次数
0
被收藏次数
0
被评价次数
1.熟悉Linux操作系统和shell命令，shell脚本编写，以及linux上应用环境的搭建
2.熟练应用J2EE主流框架：Struts、Jersey、Hibernate、Spring、Mybatis等； Html、JavaScript、css+div、jQuery、AJAX等Web前端技术；Oracle、SqlServer、MySQL数据库
3.熟悉Java I/O、Java Socket，多线程，并发库等 Java技术
4.熟悉常用设计模式
5.熟练使用Apache Tomcat,weblogic服务器, Ecplise等IDE；
6.熟练使用Nginx和tomcat集成，实现负载均衡或静态服务器搭建
7.熟练使用Lucene全文搜索引擎，熟练使用solr做索引搜索服务
8.熟悉teamcity，sonar常用持续集成软件
9.熟练运用hive进行数据分析
10.熟练搭建hadoop2,strom,kafka,flume分布式集群，并做基于hadoop,storm的开发
11.熟悉常用机器学习算法（掌握数学原理和推导过程，但没有实际项目经验。包括以下算法：线性回归，logistic回归，softmax回归，梯度下降算法，最大熵模型，支持向量机，贝叶斯网络， EM算法，决策树随机森林，adaboost算法，k-means，隐马尔科夫模型）
12.熟悉python脚本
中国移动会员管理融合平台:
分为表现层、业务层和数据访问层，层次间的依赖关系自下到上。采用的技术有Struts，Spring，Ibatis，Log4J，JDom 等。其中表现层采用Struts框架开发；业务层封装业务流程，为适应业务的变更，每一业务模块均有专门的接口及实现类，利用Spring的IoC功能将 实现类注入给表现层的Action；数据访问层借助于Ibatis实现，代码简洁且可适应不同的数据库。事务部分利用Spring的声明式事务管 理。为提高性能，采用Servlet Filter实现了缓存代理.
海量公交日志分析项目：
主要包括以下模块
数据处理：
日志采集à消息队列à流式处理à数据持久化到oracle数据上报à持久化到hive为下一步离线分析做准备à建solr索引用于实时检索
1.日志采集模块采用apache开源采集框架flume，对源码扩展增强了几个采集器
2.消息队列使用kafka，为后面流式处理框架做缓存，防止单一时刻数据量特别巨大情况
3.流式处理框架是新开发的链式的处理流程框架，基于组件，可随意插拔逻辑组件适应业务。包括异常控制，性能监控，热部署等功能，流式框架和消息队列用zookeeper做共享信息交互
4.数据标准化组件是流式框架的一个组件，主要完成数据字段关联补全
5.标准化组件需要频繁查询数据库的基础数据（大约300M左右），所以做了redis热数据缓存
4.持久化到oracle是一个基于流式框架的一个组件，实时将需要的日志持久化，用于以后的集团报送
5.持久化到hive组件，先调用hadoop的api将文件在内存中以流的形式持久化到hdfs，然后调用hive接口存储到hive表中
6.创建solr索引组件（solr集群6台服务器），可为后面实时查询做准备
7.hive离线分析生成客户需要的报表并进行前台展示
8.前台搜索页面，调用solr查询api进行实时查询
可兼职时间
可兼职地点
0条评论 雇主评价