node.js爬虫入门(一)爬取静态页面
说到爬虫其实并没有想象中那么复杂,原理就是向目标URL发送请求而后把响应解析成我们想要的数据格式,假如涉及Token鉴权则比较复杂一点,本次只讲解最简单的入门静态爬虫。
node.js中实现爬虫推荐两个库,request和cheerio
npm install requestnpm install cheeriorequest用来发送请求;cheerio则是jquery核心功能的快速简洁灵活的实现,可以直接对request请求返回的页面html进行jquery式的dom操作。
(一)dom爬取
下面给一个最简单的爬虫例子,我们爬取简书我的主页的客户名
打开要爬取的页面并要找到客户名的dom节点

按照jquery的选择器写法获取,这里应该是
$('.main-top>.title>a').text()
附上代码
const request = require('request')const cheerio = require('cheerio')request('https://www.songma.com/u/5b23cf5114a1', (err, res) => { if (err) { console.log(err.code) } else { let $ = cheerio.load(res.body) console.log($('.main-top>.title>a').text()) }})
运行结果
(二)列表爬取
假如要爬取一个列表,例如我的简书Blog列表,那该怎样实现呢,同理,使用jquery的each方法,该方法会对选择器内的匹配dom进行遍历。按照同样的步骤先找到dom节点再进行解析。
附上参考代码
const request = require('request')const cheerio = require('cheerio')request('https://www.songma.com/u/5b23cf5114a1', (err, res) => { if (err) { console.log(err.code) } else { let $ = cheerio.load(res.body) let data = [] $('.note-list>li').each(function (i) { data.push($(this).find('.title').text()); }); console.log(data) }})
运行结果
静态爬虫到此结束了,后面还会讲解动态网页的爬取。
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » node.js爬虫入门(一)爬取静态页面
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » node.js爬虫入门(一)爬取静态页面