本人一直从事爬虫工作,之前使用了一个自己开发的爬虫软件,现在使用开源的爬虫框架scrapy,能做到定制开发。
搭建scrapy + redis + mongo的爬虫系统,目前已抓取:网站,微博,微信,视频网站总共1000+ 个站点,能做到实时抓取,去重效率高,容错率高。可以抓取各大门户,YouTube等视频网站的视频。
在目前公司专职做爬虫系统开发,爬虫方面就是我一个人支撑公司所有业务的基础数据。能做到快速有效,即时抓取。web网站,视频网站都能抓取,目前在研究抓youtube 的直播视频。
刘洋. 2018-06-25 16:31
很赞,
王一萌-Alex-Wang 2018-05-23 17:24
专业负责!
白鲸科技 2018-03-27 13:04
很专业很负责!
可兼职时间
可兼职地点
17getfun 2018-07-09 17:38
高效,专业!