node.js爬虫入门(一)爬取静态页面

作者 : 开心源码 本文共1007个字,预计阅读时间需要3分钟 发布时间: 2022-05-13 共262人阅读

说到爬虫其实并没有想象中那么复杂,原理就是向目标URL发送请求而后把响应解析成我们想要的数据格式,假如涉及Token鉴权则比较复杂一点,本次只讲解最简单的入门静态爬虫。

node.js中实现爬虫推荐两个库,request和cheerio

npm install requestnpm install cheerio

request用来发送请求;cheerio则是jquery核心功能的快速简洁灵活的实现,可以直接对request请求返回的页面html进行jquery式的dom操作。

(一)dom爬取

下面给一个最简单的爬虫例子,我们爬取简书我的主页的客户名

  1. 打开要爬取的页面并要找到客户名的dom节点

  2. 按照jquery的选择器写法获取,这里应该是$('.main-top>.title>a').text()

附上代码

const request = require('request')const cheerio = require('cheerio')request('https://www.songma.com/u/5b23cf5114a1', (err, res) => {    if (err) {        console.log(err.code)    }    else {        let $ = cheerio.load(res.body)        console.log($('.main-top>.title>a').text())    }})

运行结果

(二)列表爬取

假如要爬取一个列表,例如我的简书Blog列表,那该怎样实现呢,同理,使用jquery的each方法,该方法会对选择器内的匹配dom进行遍历。按照同样的步骤先找到dom节点再进行解析。

附上参考代码

const request = require('request')const cheerio = require('cheerio')request('https://www.songma.com/u/5b23cf5114a1', (err, res) => {    if (err) {        console.log(err.code)    }    else {        let $ = cheerio.load(res.body)        let data = []        $('.note-list>li').each(function (i) {            data.push($(this).find('.title').text());        });        console.log(data)    }})

运行结果

静态爬虫到此结束了,后面还会讲解动态网页的爬取。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » node.js爬虫入门(一)爬取静态页面

发表回复