-
中华联合
-
爬虫
-
8年
擅长技能
1. 熟练使用 linux 系统,在 linux 系统进行项目开发,能独立解决常见问题,具有良好编程习惯;
2. 熟练掌握 HTML,CSS,JavaScript,Ajax,Json 语法知识,对网页进行抓包分析请求,了解 TCP/HTTP 协
议,熟悉网站登 录原理;
3. 熟练使用正则 re,Xpath,bs4,pyquery 对数据进行筛选;
4. 熟练掌握 MYSQL,MongDB,Redis 等数据库的操作和存储;
5. 熟练掌握多进程,多线程实现多并发爬取,了解 asyncio 与 aiohttp 异步请求库;
6. 熟练掌握反爬原理,熟练运用伪装头 fake_useragent 模块,代理等;
7. 熟练使用自动化测试工具 Selenium,Splinter 渲染页面的爬取;
8. 熟练掌握 scrapy 框架,利用 scrapy-redis 库进行分布式爬虫开发;
9. 了解 Tesserocr 模块进行验证码识别,打码平台;
10. 熟练 Fiddler/Charles 抓包工具,对手机 APP 数据进行抓取