基本思路
思路一（origin:master）：从维基百科的某个分类（比如：航空母舰（key））页面开始，找出链接的title属性中包含key（航空母舰）的所有目标，加入到待抓取队列中。这样，抓一个页面的代码及其图片的同时，也获取这个网页上
本文实例为大家分享了nodeJs爬虫获取数据代码，供大家参考，具体内容如下var http=require('http');
var cheerio=require('cheerio');//页面获取到的数据模块
var url='http
一、前言说是爬虫初探，其实并没有用到爬虫相关第三方类库，主要用了node.js基础模块http、网页分析工具cherrio。 使用http直接获取url路径对应网页资源，然后使用cherrio分析。 这里我主要学习过的案例自己敲了一遍，加深
其实写爬虫的思路十分简单：按照一定的规律发送 HTTP 请求获得页面 HTML 源码（必要时需要加上一定的 HTTP 头信息，比如 cookie 或 referer 之类）利用正则匹配或第三方模块解析 HTML 代码，提取有效数据将数据持久
之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。
一、环境配置
1）搞一台服务器，什么linux都行，我用的是CentOS 6.5；
2）装个mysql数据库，5.5或5.6均可，图省事可以直接用lnmp或lamp来装，回头还能直接在浏览器看日志；
3）先安个node.js环境，我用的是
一、非UTF-8页面处理.
1.背景
windows-1251编码
比如俄语网站：https://vk.com/cciinniikk
可耻地发现是这种编码所有这里主要说的是 Windows-1251（cp1251）编码与utf-8编码的问题
cheerio DOM化并解析的时候
1.假如使用了 .text()方法，则一般不会有html实体编码的问题出现
2.如果使用了 .html()方法，则很多情况下(多数是非英文的时候）都会出现，这时，可能就需要转义一番了
类似这些 因为需要
