nodejs – 爬虫

作者 : 开心源码 本文共635个字,预计阅读时间需要2分钟 发布时间: 2022-05-13 共293人阅读

继续上一篇写下爬虫的实现,网上找了一个爬虫的文章,而后从里面找了一个网址,https://www.lanvshen.com/,我们就从这个网址里面拉出来里面的图片和里面的图片里的信息

而后我们要写爬虫的话,就需要把所需要的组件弄来,里面需要cheerio,

我们可以去https://www.npmjs.com/package/cheerio里面查看怎样使用,

其实用法很简单,就和jquery一样,只是用之前要把$公告下,代码:

这里面有相应的注释,所以在这里就不写了,主要就是请求页面,而后查找到相应元素里面的信息保存或者进行其余操作

    这个是我获取的,页面里面有些是href跳转到一个模特介绍里面,有些是模特列表,这里我没有区分,所以都弄了这些,数据如下:

    差不多有一点点吧,由于这里面有些图片点击之后的href也是一个列表,而不是写真图片,所以假如想要弄的仔细点,可以继续循环着去获取

    简单来说这样的一个获取数据的爬虫就完成了,由于我这里都是异步的,当然,也可以像之前别人写的那个一样,直接把里面图片保存下来,保存起来,由于是异步的,所以,保存需要肯定的时间,所以现在我这里就没写了,我这里获取的图片url都有了,保存应该也就不用我写了吧,简单的

注意:此种行为如同是违法的,所以,假如想要用于商业或者其余关于钱的地方,最好是不要弄,要不然被告了就不好了

    好了,今天这里的爬虫就写到这里了,感兴趣的童鞋,可以自己找个网站试试,多学一样东西,多一份技能

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » nodejs – 爬虫

发表回复