熟悉数据仓库基本架构、了解hadoop大数据平台框架以及hive、spark等相关组件;
了解常用hiveSql,sparkSql常用命令;
熟悉java,jsp,jquery,js,css,shell,python等脚本。
熟悉linux及aix操作系统、control-m批量管理工具;
熟悉ultraEdit文本编辑器、svn及clearcase版本工具。
熟悉mysql、DB2、oracel、greenplum数据库。
客户零售数据集市,专门针对客户的一系列指标,对客户进行标准化标签定义,如:是否代发客户,是否mgm客户(客户推荐的客户),是否结构性存款客户等。
下游系统,可通过客户的不同标签,对不同的客户,进行不同的精准营销。
1、根据需求说明,对接业务人员,与其沟通并确认相关业务口径,起到用户画像及精准营销的作用。
如:是不是长期不动户(超过3个月没有相关交易的客户);
是不是结构性理财客户;
客户的年贡献度(贡献=收入-支出-成本)等等。
2、根据需求,跨系统对接需求相关的若干外系统技术人员,确定并统一技术口径。
3、数据模型设计,将上游给到本系统的数据加载并保存到相对应的主题库表中。
4、对外接口模型设计,设计针对外系统的接口,定义并规范统一相关码值映射。
5、数据加工/清洗,针对不同需求,通过不同的数据源,提取出所需要的相关数据。并保存到对应的模型中。
数据卸载/下发,导出数据并上传到数据交换平台。使外系统能够拿到相关数据。
4,负责tfs平台自动化脚本的开发及平台作业配置发布。用于相关作业的自动化及运行时监控。
6,使用python脚本,用爬虫的方式,获取相关网页上的数据。
如:通过百度地图api接口,获取指定经纬度范围内的省、市、区、小区名、小区下的楼号等相关数据。
可兼职时间
可兼职地点
0条评论 雇主评价