昵称登录后显示

公安大数据视频实战平台，基于大数据技术（使用的是Hortonworks大数据平台），抽取公安卡口、电警的过车图片（视频），并在这些数据的基础上实现了一系列的图片侦查技战法。系统主要分为三个模块，即：搜车模块、大数据研判模块、布控查缉模块。搜车模块主要利用了Solr Cloud来实现车辆的文字检索功能、利用spark实现以图搜图。该模块又细分为按车牌搜车、按车型搜车、按类别搜车、按照片搜车、按特征搜车。大数据研判模块主要利用大数据技术（MR、Hbase、Hive、Spark、Zookeeper、Kafka）来实现了一系列的图片侦查的技战法，如：初次入城、一牌多车、车辆轨迹分析、伴随车分析、落脚点分析、区域碰撞分析、相似车牌串并、快速离城分析、昼伏夜出、频繁过车分析等。布控查缉模块主要用于帮助公安干警实时的布控违法车辆，以期做到精准出警、精准打击违法犯罪行为
，
合肥厂站网污水处理系统完成合肥十几个污水厂及几十个泵站的监测数据的抽取、入库、分析。监测项首先通过i-Fix组件放入Oracle前置库，每个污水厂或泵站对应一张Oracle数据库表，监测数据没分钟上报一次。这种场景不适合使用Sqoop（因为Sqoop每张表启动一个mr任务，而前置库中有几十张数据表需要抽取，导致启动过多mr任务），最终经过选型决定采用Kafka Connect增量抽取前置库检测数据。使用Kafka Connect抽取检测数据时，它将抽取的每张数据库表的数据放入到同名的Kafka Topic中，我们使用KSQL将每个Topic注册为一路Stream，然后将所有Stream合并为一路Stream，最终使用KSQL对汇总后的Stream进行流式分析（异常项过滤、窗口划分、聚合操作）。将历史检测数据存入HBase，并基于HBase实现了十多个统计指标的计算