《你家大学上榜了吗?–Python3爬取中国最好大学排名》

作者 : 开心源码 本文共1167个字,预计阅读时间需要3分钟 发布时间: 2022-05-13 共302人阅读

引子:学习最高效的方式应该是建立在实战的基础上,这两天在‘中国MOOC大学’上学习了北京理工大学嵩天老师的《Python网络爬虫与信息提取》课程,受益匪浅,嵩老师在课堂上讲解了‘中国大学排名爬取案例’,涉及的知识点相比照较简单,非常适合入门级的小伙伴上手。本文便是在嵩老师的课堂内容基础上稍稍改进了少量地方,算是一个比较完整的小项目,接下来请各位看官慢慢欣赏:

1. 网站分析

首先,我打开网站?http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html,网站显示的是2018年国内排名前600的高校信息。鼠标右键单击,选择“查看网页源代码”,而后下拉,直到找到大学排名信息那一部分,如下图所示:

网页源代码

简单分析可以发现,大学排名信息在位置为<tbody>的版块中,其下面的每一个<tr>小版块代表每一个大学的基本信息,而<tr>下面的每一个<td>则分别表示大学的排名、学校名称、所在省市等详细信息。

2. 网页爬取与解析

接下来,我们将借助requests库和bs4库来爬取并解析网页源码,代码如下:

导入库自己设置getHTMLText函数自己设置fillUnivList函数自己设置saveUnivList函数主函数

上面一共自己设置了三个函数getHTMLTest、fillUnivList、saveUnivList,这三个函数的主要功能分别是获取并返回网页的源代码、解析并提取网页源代码中的有效信息、将提取的信息保存到txt文档中。以上代码运行完成后会在当前的文件夹中生成名为ulist3.txt的文档,文档中生成的内容如下:

ulist3.txt文档信息

上图截取的是文档中排名前20名高校的基本信息,至此说明我们成功的爬取了我们想要的网站信息。但是,为了更加直观并有趣的展现我们的爬取结果,我们可以进一步将结果制作成一个词云图,接下来看第三部分:

3. 用词云图展现我们爬取的结果

词云图展现程序

如上所示,在绘制词云图时,我们需要用到wordcloud库中的WordCloud函数,首先我们需要将需要做成词云图的词库读取并赋值给words变量,而后用WordCloud函数做图,需要注意的是,函数中的参数font_path是计算机中存在字体的文件路径,需要根据自己的电脑上的具体路径更改。以上程序运行完后,将得到如下结果:

词云图

可以发现,在全国高校前600名中,北京、江苏、辽宁、山东这四个地方的高校数量相对较多。那么,问题来了,你在图中找到了自己家乡的省市吗?

结语:网络爬虫知识博大精深,我也仅仅是刚刚入门的小白,这一篇文章算是作为一次学习的巩固,同时也是想借此鼓励自己继续钻研下去。前路漫漫,愿世界不曾辜负每一个努力进取的人,假如有小伙伴对本文的内容比较感兴趣或者想一起学习的欢迎留言哦!

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 《你家大学上榜了吗?–Python3爬取中国最好大学排名》

发表回复