1.掌握Linux系统操作;掌握shell,dos编程
2.熟练python编程
3.掌握sql语言,使用过MySQL,Redis数据库
4.熟练numpy,pandas库数据的进行处理分析
5.熟悉requests,selenium库, scrapy_redis框架
6.了解js转换
7.熟练使用抓包工具Fiddler
8.熟练使用kettle工具
9.熟练使用FineBi(FCBA)制作仪表板,FineReport(FCRA)制作报表
10.熟练使用powerBI,Tableau的使用
爬取bitcointalk论坛网页内容.网页分为板块名页,话题页,评论页三个层级.进入首页爬取板块页网址,放入reduis数据库中,依次进入下个网页,爬取内容保存在mysql数据库中;
爬取游戏板块的讨论话题,和评论类容。分析爬取内容。使用scrapy-redis框架编写爬虫代码。使用selenium模拟登录网站,把cookie保存在数据库中。携带cookie信息,多ip爬取作为反扒措施。
可兼职时间
可兼职地点
0条评论 雇主评价