熟悉多线程、多进程、协程开发;
熟悉常用 Linux 命令,能使用 linux 操作系统;
熟练掌握 java/python 编程,有良好的编码能力,熟悉面向对象思想;
熟悉 javaWeb,JDBC,熟悉 Http 协议;
熟悉 SpringMVC,Spring,SpringBoot,SpringCloud,Mybatis、ActiveMq,dubbo
熟悉应用服务器软件 Tomcat 等容器配置和部署;
熟悉 sqlserver、mysql 或同类型关系数据库,熟悉 redis、mongodb 的使用;
熟练掌握 httpclient,jsouprequests,scrapy 等爬虫技术框架;
熟练掌握 flask、tornado、SQLArchemy 等 python 后台开发框架;
熟练使用 Maven、git、idea、pycharm 项目管理和项目构建工具;
有良好的代码注释习惯与自学能力;
项目名称:Python 分布式采集管理系统建立
项目时长:2017/4–2017/4(2018/7-2018/7 晶赞科技)
项目描述:
本次的项目的分布式采集系统采用是 scrapy/scrapy-redis 框架,将打包后的项目通过 scrapyd 部
署在云服务器,管理部分采用的是 spiderkeeper,它能够将各个 scrapyd 进行集中化管理,以界面管理
的形式实现对项目统一管理、部署、日志汇总、定时调度、任务运行监控等功能。
项目总结:
1. 整合公司爬虫工作,将脚本化爬虫系统改造成工程化系统,统一调度、部署、管理
2. 整合多台爬虫服务器,并对多台服务器进行集中式管理,以便更好的理由资源
3. 该平台减少开发人员的维护成本和部署时间成本,工作效率显著提高,日采集数据量达到三千万级
别以上。
可兼职时间
可兼职地点
0条评论 雇主评价