爬虫工程师 远程兼职

岗位职责：
1、负责各类数据的爬取、接口调用接入，清洗、转换、融合入库以及数据处理性能调优等工作；
2、根据业务、产品和项目相关需求，负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作；
3、根据产品和项目需求，负责Python Web开发维护工作；
4、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制；
5、负责网页的数据抓取和爬取链路优化（包括逆向分析、脱壳、加密参数破解、抓取攻防等），提升抓取能力；
6、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量；

岗位要求：
1、计算机、数学或统计等相关专业本科及以上学历，3年以上相关工作经验；
2、熟悉linux平台，熟练掌握Python、SQL、ETL数据处理开发工作；熟悉掌握至少一种开源爬虫框架（scrapy、appium、selenium等）；
3、能够熟练使用Redis、MySQL、Mongo、ES等数据库工具进行数据处理开发和维护工作；
4、熟练掌握数据处理性能调优，数据清洗、转换、整合等数据管理和维护工作;
5、熟练掌握爬虫采集技术及架构设计，精通瑞数解析的优先考虑；
6、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具；具有js逆向，app逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段；
7、具备大数据处理开发（Hadoop/Hive，Storm/Spark等）相关工作经验者优先考虑；
8、具备良好的编程习惯和逻辑思维能力；有个人相关作品或个人技术站的优先考虑
9、具备创业心态，善于学习，热爱技术开发，善于团队协作，能积极主动地参与公司产品研发等相关工作。