虎扑步行街晒图模块爬虫

作者 : 开心源码 本文共1650个字,预计阅读时间需要5分钟 发布时间: 2022-05-13 共336人阅读

一、目标

爬取下载步行街晒图模块所有图片。

虎扑地址

https://bbs.hupu.com/selfie

截图

image.pngimage.png

二、代码

1.定义请求函数

设置超时时间10S,假如需要设置socks代理商

async function get(url, options = {}, config = {}) {    const { socks } = config;    await wait();    const source = axios.CancelToken.source();    return new Promise((resolve, reject) => {        setTimeout(() => {            source.cancel("请求超时.....");            reject();        }, 10000);        axios            .get(url, {                httpsAgent: socks                    ? new SocksProxyAgent(`socks://127.0.0.1:${socksPort}`)                    : undefined,                headers: { "user-agent": ua },                timeout: 10000,                cancelToken: source.token,                ...options,            })            .then(resolve)            .catch(reject);    });}async function getImage(url) {    return await get(url, { responseType: "arraybuffer" });}
2.定义HTML解析函数

注意中文解析

function jquery(html) {    return cheerio.load(html, { decodeEntities: false });}
3.请求网页,解析网页代码,获取图片地址,下载到本地
(async () => {    try {        for (let i = 1; i < 2; i++) {            try {                const html = (await get(`https://bbs.hupu.com/selfie-${i}`))                    .data;                const $ = jquery(html);                const list = $("html").find(".for-list >li");                for (let j = 0; j < list.length; j++) {                    try {                        const name = $(list[j]).find("a").text();                        const link = $(list[j]).find("a").attr("href");                        console.log(name, link);                        if (name && link) {                            const detail = (                                await get(`https://bbs.hupu.com${link}`)                            ).data;                            const $1 = jquery(detail);                            const imgs = $1("html").find("p > img");                            console.log("图片长度:", imgs.length);                            if (imgs.length) {                                await execAsync(                                    `cd imgs && mkdir ${md5(name)}`                                ).catch(() => {});                            }                            for (let k = 0; k < imgs.length; k++) {                                try {                                    const imgLink = $1(imgs[k]).attr("src");                                    if (imgLink) {                                        const imgData = (                                            await getImage(imgLink)                                        ).data;                                        await writeFileAsync(                                            path.resolve(                                                __dirname,                                                `./imgs/${md5(name)}/${md5(                                                    imgLink                                                )}.jpg`                                            ),                                            imgData                                        );                                        console.log("创立成功");                                    }                                } catch (e) {                                    console.log(e);                                }                            }                        }                    } catch (e) {                        console.log(e);                    }                }            } catch (e) {                console.log(e);            }        }    } catch (e) {        console.log(e);    }})();

三、运行截图

image.png

四、代码地址

ThreesomeWiki/hupu

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 虎扑步行街晒图模块爬虫

发表回复