昵称登录后显示

1. 分布式数据采集平台
为了满足不同业务部门对互联网有价值数据的诉求，搭建分布式数据采集平台。采集平台支持采集多种业务数据：新闻、社区帖子、股票基础信息、市场行情等。支持多种数据源类型：API JSON 、HTML 、XML、DB 等。采集平台支持可插拔的规则引擎，支持后台配置数据规则；支持分地区北京、香港两地部署。 采集平台中实现高可用的多地代理 IP 池服务，可以获取有效可用的代理 IP，提高爬虫稳健性。
2. 微服务 proxy 网关平台
为了将上游业务服务和算法模型服务调用解耦，方便限流、服务降级、熔断等服务治理功能，完成 Proxy 设计与开发。Proxy 服务实现基于 zookeeper 的服务注册和发现，提供流量控制、限流、熔断等功能。服务还支持针对不同模型请求动态分片处理，大大提高了接口服务性能（耗时减少 60%）。
技术栈： gRPC、zookeeper、Gin、Sidecar、Protocol Buffer 、分片。
3. AI 算法平台
从零搭建了算法模型工程平台。平台实现算法数据流打通，实现从模型训练到模型部署上线等一站式体验。平台内可以进行离线任务管理、特征注册管理、训练任务管理和调度、模型管理、模型自助部署和上线等功能，在线上数据接入后，整个模型生产线会自动运行。
技术栈： Gin、gRPC、Kubernetes、Prometheus、MySQL、Redis、S3。