熟悉python爬虫,熟悉python数据处理,熟悉scrapy框架以及多线程多进程、分布式等爬虫手段,从事爬虫工作两年,对于验证码,封ip以及混淆JS加密等等各种反爬手段都有非诚成熟的对策。同时了解django框架,docker的使用。也有对于APP端的抓取经验,熟悉抓包技术,有机器学习基础,本人对于新技术兴趣浓厚。
增量抓取微博数据,根据特定关注微博用户抓取微博,只要博主更新微博,可在短时间内抓取入库;
日均百万量访问抓取insgram社交平台,利用分布式进行抓取,并下载图片视频等文件;
微博用户cookie池的建立,不断模拟微博登录,维护稳定的cookie池;
微信文章每天定时采集,通过客户端app以及搜狗进行抓取
可兼职时间
可兼职地点
0条评论 雇主评价