昵称登录后显示

公安内网网上督察系统：
1. 业务告警(包含数据对接)：
a) 第一阶段：基于oracle存储过程的实现，对oracle语法熟悉，以及sql语句比较熟悉，在写复杂业务时，可以写出最有效的sql语句，并通过执行计划判断性能，熟练掌握连接、分组、聚合等等；
b) 第二阶段：基于Java的实现，对已知业务的了解，设计了偏向业务的架构，使开发者不在关注其他存储方式及对应关系，值关心核心业务语句，大大简化了开发成本。在架构设计上建立了业务告警超类和各业务超类；
c) 第三阶段：主要是性能上的优化，大量的运用了spark相关的技术，分类出实时预警与离线预警并实现；
2. 对用户访问session进行分析（基于spark的离线分析）
a) 按条件筛选session：针对session粒度的数据进行聚合。然后根据使用者指定的某些条件，筛选出指定的一些用户；
b) 统计session占比：对这些用户在指定日期范围内发起的session，进行聚合统计，使用自定义Accumulator的技术，来实现复杂的分布式计算；
c) 按时间比例，随机抽取。综合运用Spark的countByKey、groupByKey、mapToPair等算子，来开发一个复杂的按时间比例随机均匀采样抽取的算法；
d) 在符合条件的session中，获取排名前10的个体，用到了二次排序，自定义类实现二次排序
e) 后续的项目优化，以及重构代码解决数据倾斜等问题；
3. 卫星定位子系统重构
a) 了解并掌握的arcgis相关的地图环境的搭建，并与oracl数据库进行直连（主要是自学，看官方API，向arcigs的技术群咨询等）；
b) arcgis数据与方正地图服务的交互，与bootstrap前端框架的交互；
c) 在重构过程中遇到一个瓶颈，主要是arcgis的一些比较大的数据（如图形查看）；
要通过它提供的代理实现，重构之前没问题，重构后就一直实现不了，最后跟源码，发现是被struts分装后的一个bug，后来通过过滤器释放了这些请求，没有让struts封装；