对于初步接触大数据的人来说，爬虫看似是一个超级牛逼的东西，不过等你学会了，就发现，简直是个小儿科。我研究生读的大数据，刚进学校时听说哪个师哥会爬虫，崇拜的不行，后来学会了发现。。。真的不难。
简单说，首先有很多图形化界面的软件可以完成绝大部分的爬虫工作，比如火车头，八爪鱼等等，不需要任何编程功底。再来，如果你有python基础（我只会写python爬虫，java啥的当然也可以做爬虫只不过我没接触过，毕竟，人生苦短，我用python，如果想深入做大数据的机器学习、NLP等算法，java和c++可能你也不得不学一学）的话，对于简单的静态html爬虫，大概经过几个小时，做几个网站的爬虫就可以了，其实基于html的爬虫需要的核心库就是urllib，bs4，再搭配一下re（正则的库）也就差不多了。
对于动态爬虫（数据存储在json中的页面，比如天猫和京东的商品评论数据），我个人觉得更方便，无非需要分析一下存储数据的url变化规律，然后使用json库解析一下json即可，有python功底的话做一个天猫评论和京东评论的爬虫也就差不多了。
以上工作完成后，爬虫世界七成甚至八成的工作你已经可以完成了，为了充实技能，你可以学习Scrapy爬虫框架，比较方便，另外还有selenium模拟鼠标点击的这个爬虫方式，再有学习利用抓包工具fiddler完成异步加载的爬虫。这个过程大概经历和一天（scrapy做5个网站的爬虫，selenium做5个）也就差不多了。
至此为止，静态、动态、异步加载等问题你都可以解决了，百分之九十五的爬虫工作你都可以完成了，剩下5%是啥呢，就是一些反扒比较专（bian）业（tai）的网站，比如“汽车**”的口碑，你可以试一试，从前端做的反爬虫，需要反解它的javascript，很麻烦，如果到时候有兴趣可以交流。
献上两篇小弟的技术博客，写的比较早，不知道代码还能不能复用，不过看看网页结构和代码如何构造爬虫才是目的，这两篇博客可以带你入门爬虫。有不懂的博客里交流！也请各路大牛批评指正，小弟不才，还需多多学习。
联系客服
