爬虫项目经验丰富,实现增量爬取,各种反爬虫技术案例丰富,对于各种爬虫的处理经验丰富,熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程;具备信息检索、web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验;熟悉多线程、网络编程,精通网页抓取原理及技术,精通正则表达式,能从结构化的和非结构化的数据中获取信息;
海量爬取房产相关的网页信息,负责团队海量数据清洗项目,整合数据,分布式爬取各种网页信息,管理多网站结构的数据爬取项目任务,超千万数据爬取任务调度
可兼职时间
可兼职地点
0条评论 雇主评价