-
腾讯
-
爬虫工程师
-
6年
擅长技能
擅长python,java热爱新技术;
熟悉主流的爬虫框架request,scrapy,scrapy_redis,scrapy_splash等
熟悉自动化appnium和selenium 代理中间件mitmproxy,以及rpa流程脚本的应用
熟悉主流的抓包工具fiddler,charles, warkshark等;
熟悉数据提取规则xpath,正则表达式,CSS选择器等页面抽取规则
熟悉docker容器,容器化部署爬虫,爬虫调度crawlab
熟悉分布式爬虫系统的建设,优化数据调度,抓取,解析,存储全栈流程
反爬经验:账号池,验证码,cookie池,ip池,日志插桩,rpc调用等,ast结构树基本操作
熟悉浏览器调试,补环境,自有补环境框架, akamai,PerimeterX等等
熟悉kail linux系统,代码管理工具git等
熟悉redis,mongodb,mysql等数据库技术
擅长web框架flask,数据处理pandas,numpy等
熟悉Android逆向,脱壳,反汇编,java层so层 逆向常用hook工具xposed,frida等等