利用Python爬取网页图片

作者 : 开心源码 本文共2250个字,预计阅读时间需要6分钟 发布时间: 2022-05-12 共209人阅读

你可能需要的工作环境:

Python 3.6官网下载

  我们这里以sogou作为爬取的对象。

首先我们进入搜狗图片http://pic.sogou.com/,进入壁纸分类(当然只是个例子Q_Q),由于假如需要爬取某网站资料,那么就要初步的理解它…

进去后就是这个啦,而后F12进入开发人员选项,笔者用的是Chrome。

右键图片>>检查 ? ?

发现我们需要的图片src是在img标签下的,于是先试着用 Python 的 requests提取该组件,进而获取img的src而后使用?urllib.request.urlretrieve一一下载图片,从而达到批量获取资料的目的,思路好了,下面应该告诉程序要爬取的url为http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD,此url来自进入分类后的地址栏。明白了url地址我们来开始愉快的代码时间吧:

在写这段爬虫程序的时候,最好要逐渐调试,确保我们的每一步操作正确,这也是程序猿应该有的好习惯。笔者不知道自己算不算个程序猿哈。线面我们来剖析该url指向的网页。

import requestsimport urllibfrombs4import BeautifulSoup

res = requests.get(‘http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD’)

soup = BeautifulSoup(res.text,’html.parser’)print(soup.select(‘img’))

output:

?发现输出内容并不包含我们要的图片元素,而是只剖析到logo的img,这显然不是我们想要的。也就是说需要的图片资料不在url ?即 http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD里面。因而考虑可能该元素是动态的,细心的同学可能会发现,当在网页内,向下滑动鼠标滚轮,图片是动态刷新出来的,也就是说,该网页并不是一次加载出一律资源,而是动态加载资源。这也避免了由于网页过于臃肿,而影响加载速度。下面痛苦的探究开始了,我们是要找到所有图片的真正的url 笔者也是刚刚接触,找这个不是太有经验。最后找的位置F12>>Network>>XHR>>(点击XHR下的文件)>>Preview。

发现,有点接近我们需要的元素了,点开all_items 发现下面是0 1 2 3…一个一个的貌似是图片元素。试着打开一个url。发现真的是图片的地址。找到目标之后。点击XHR下的Headers

得到第二行

Request URL:

http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15&width=1536&height=864,试着去掉少量不必要的部分,技巧就是,删掉可能的部分之后,访问不受影响。经笔者挑选。最后得到的url:http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=0&len=15 ?字面意思,知道category后面可能为分类。start为开始下标,len为长度,也即图片的数量。好了,开始愉快的代码时间吧:

开发环境为Win7 ?Python 3.6,运行的时候Python需要安装requests,

Python3.6 安装requests 应该CMD敲入:

pip install requests

笔者在这里也是边调试边写,这里把最终的代码贴出来:

import requestsimport jsonimport urllibdef getSogouImag(category,length,path):

? ? n = length

? ? cate = category

? ? imgs = requests.get(‘http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=’+cate+’&tag=%E5%85%A8%E9%83%A8&start=0&len=’+str(n))

? ? jd = json.loads(imgs.text)

? ? jd = jd[‘all_items’]

? ? imgs_url = []

? ? forjin jd:

? ? ? ? imgs_url.append(j[‘bthumbUrl’])

? ? m = 0

? ? forimg_urlin imgs_url:

? ? ? ? ? ? print(‘***** ‘+str(m)+’.jpg *****’+’? Downloading…’)

? ? ? ? ? ? urllib.request.urlretrieve(img_url,path+str(m)+’.jpg’)

? ? ? ? ? ? m = m + 1print(‘Download complete!’)

getSogouImag(‘壁纸’,2000,’d:/download/壁纸/’)

?程序跑起来的时候,笔者还是有点小激动的。来,感受一下:

至此,关于该爬虫程序的编程过程叙述完毕。整体来看,找到需要爬取元素所在url,是爬虫诸多环节中的关键

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 利用Python爬取网页图片

发表回复