node js爬虫,进程死掉不再执行,也不退出指南。

作者 : 开心源码 本文共1104个字,预计阅读时间需要3分钟 发布时间: 2022-05-12 共249人阅读

最近在用node js编写爬虫的过程中,遇到了一个奇怪的问题,爬虫代码正常执行,但总是中途中止,不再继续执行,也不报错退出,而且发生的时间也很随机,很头疼,

开始分析是爆栈,然而检查代码,,发现基于event loop 的node js四处都是回调,很难爆栈。分析是内存占用过多卡死?定时执行gc,也没有用,,最后终于发现,,竟然是由于请求时未设置超时时间,,导致回调无法执行,,无法进行下一步。

然而node js http板块不支持设置超时时间,只能伪实现一个,话不多说,上代码,,用到了http板块,cheerio板块(用于将爬取到的网页变为类jq访问的文档树),iconv-lite(用于改变网页数据编码,这里有个坑,http.get默认会把网页编码设置为utf-8,假如爬取网页是gbk的,就会乱码),

const http = require("http");const fs = require("fs");const cheerio = require("cheerio");const iconv = require('iconv-lite');     var req = null       request_timer = setTimeout(function () { //这里通过定时器伪实现超时设置,20秒没有相应,结束请求,执行回调,重点           req.abort();           console.log('Request Timeout.');       }, 20000);    req = http.get(url, res => {           if (res) {               clearTimeout(request_timer); //假如请求有反应,无论成功失败,清楚定时器               console.log("准备获取数据")               var data = [];               res.on("data", data1 => {// 由于数据分块传输,监听数据块拼接,                   console.log("数据获取中")                   data.push(data1)               })               res.on("end", data2 => {                   var res = iconv.decode(Buffer.concat(data), 'gb2312');//通过iconv改变王爷编码,这里根据网页meta标签中设置的编码而设置,假如不设置默认为utf-8,,                   var $ = cheerio.load(res);//这里是把获取的网页数据转化为类dom树                   console.log("解决完毕")                   var text = $('').eq(1).text();  //这里是通过类jq的方式获取网页中想要的数据               })           }       })       req.on("error", function () { //这里记得要监听错误事件,否则请求出错就会结束进程           console.log("错误暂停")       })

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » node js爬虫,进程死掉不再执行,也不退出指南。

发表回复