昵称登录后显示

IPO项目开发
该项目围绕自有系统的IPO业务数据处理场景展开，针对IPO业务中数据具有跨日连续性、实时性要求高
且需结合历史数据分析的特点，采用Apache Flink构建混合计算框架，实现实时流处理与离线批处理
（日出）相结合的数据处理方案。通过Flink实时数据处理框架，确保跨日数据的无缝衔接与高效计算，
同时保障数据一致性、低延迟和高吞吐。

Task:
任务目标:开发实时与离线混合处理业务,解决跨日数据问题,实现毫秒级延迟的指标计算,提升跨日大数据集的批量计算效
率,确保实时计算规则与离线统计口径一致。
Action:
1.实时流处理模块开发:对接IPO业务系统数据源,运用Flink的DataStream API开发实时流处理模块,处理实时交易数据、
订单流及市场行情,通过优化算子链和并行度实现毫秒级延迟的指标计算。
2.离线批处理模块构建:针对日终结算、历史数据回补等场景,优化Flink Batch模式下的资源调度与任务并行度,采用增量
计算和分布式缓存技术提升跨日大数据集的批量计算效率。
3.指标逻辑定义:与业务团队协作,深入了解IPO业务需求,定义数据指标逻辑,通过编写测试用例和数据验证脚本
确保实时计算规则与离线统计口径一致。
4.难题攻克:在实时流处理模块开发中,遇到数据倾斜问题,通过使用随机前缀和二次聚合的方法解决;在实时流获取离线数
据采用特殊规则将离线数据加载到内存中
5.团队协作:帮助新同事熟悉Flink框架和开发流程,分享大数据处理经验和优化技巧,组织技术交流会议,提升团队整体技术
水平。
Result:
主导完成实时与离线混合处理框架的设计与开发,成功解决跨日数据处理难题,实现毫秒级延迟的指标计算,日均处理数据
量高达10TB。
活存项目开发
该项目旨在解决因业务前台操作流程变更引发的数据特征偏移问题。原有活存业务系统对接的数据结构
因前端交互逻辑调整而产生变化，需通过数据特征再识别、数据清洗规则重构、处理流程优化等手段，
确保系统能够准确解析并处理新形态的业务数据，保障下游风控、报表等核心模块的稳定性。项目涉及
数据特征挖掘、ETL流程改造、系统兼容性测试等关键技术环节。
����.�-����.�
Task:
任务目标:确保新操作流程下的数据能够准确、高效地处理,实现同一事务出多条数据,重新设计适配的数据清洗规则,并与
下游团队确定接口准则。
Action:
1.数据特征识别:运用数据探查工具,对源数据进行全面扫描,结合业务文档,识别新操作流程产生的字段增减、格式变化,如
时间戳精度变化和枚举值扩展。
2.架构优化:针对原有架构不支持同一事务发送多条数据的问题,设计并实现了特殊的数据封装和发送机制,通过异步处理
和消息队列技术,确保数据的完整性和一致性。
3.规则设计:重新梳理业务需求,设计了一套新的数据清洗规则,提高了数据清洗的准确性和效率
4.接口协定:与下游团队进行多次沟通和协商,制定了统一的接口准则,明确了数据格式、传输方式和错误处理机
制。
Result:
在开发过程中,面对同一事务需处理多条数据的复杂问题,创造性地采用将事务号加随机前缀的特殊业务处理方法,高效解
决问题,确保系统稳定运行。
可转债项目开发
本项目旨在优化托管行模式下的交易所可转债兑付流程，针对“兑付登记日”与“兑付日”为同一天的
特殊场景，进行系统功能改造。当前托管行模式中，兑付流程通常依赖托管行在兑付日完成资金划付及
数据核对，但若登记日与兑付日为同一天，需在极短时间内完成权益登记确认、资金清算、托管行指令
推送等操作，对系统时效性、准确性要求极高。本次改造需确保系统在登记日和兑付日重合时，能够自
动完成全流程处理，规避因时间冲突导致的兑付延迟或数据不一致风险，同时满足交易所和监管机构的
合规要求。
����.�-����.�
Task:
完成数据处理流程的升级,确保新业务规则下数据的准确处理和完整接入,提升数据质量和处理效率
Action:
1.沟通与需求明确:主动与业务团队沟通,组织多次需求研讨会,明确变更细节及数据影响范围,共梳理出业务变更点。
2.数据特征识别:通过对源数据的深入分析,运用数据探查工具,识别出新字段、新数据类型、缺失值规则及业务约束。
3.流程重构:针对新的数据特征和业务需求,重构数据清洗流程,采用并行处理和分布式计算技术,优化去重、补全、格式化
等操作。
4.模块开发:开发数据转换模块,运用数据处理框架,实现新旧数据特征的映射与兼容。
5.接口调整:调整数据接入接口,优化API和文件解析逻辑,确保新数据特征的完整接收,解决了数据接入异常问题。
Result:
在数据特征识别过程中,遇到部分数据来源复杂、格式不规范的问题。通过编写自定义脚本进行数据预处理,结合人工校
验,成功识别出所有新数据特征。