大数据开发做了5年,对Hadoop生态系统使用非常熟练,主要擅长HDFS、Mapreduce、Hive的使用;
开发过实时统计的相关项目,使用Kafka+Storm+Redis;
使用Python开发过日志统计系统的后台统计程序;
使用爬虫抓取过豆瓣、时光网、国内主流视频网站、百度贴吧、新浪微博等,对爬虫使用也非常熟练。
影视数据系统:每日抓取国内主流视频网站(腾讯、乐视、优酷、芒果、爱奇艺、训练看看等)获取全网影片的点播量等信息,定期抓取豆瓣网站影片信息,抓取后的数据通过大数据程序(Mapreduce、Yarn)处理进行关联和计算,统计每日点播榜单;
实时流量统计:实时获取服务器流量日志,将日志写入Kafka,通过Storm进行实时计算,统计实时流量。
可兼职时间
可兼职地点
0条评论 雇主评价