Python爬虫大小项目集合
? 今天为大家带来了自己的爬虫代码集,主要是以往学习Python爬虫过程中写过的大小项目,可能不是很全面,但是持续在升级,那我的代码里有什么?

1. Cnblogs – 博客园爬虫
? 使用Urllib库实现博客园”最新文章”的爬取,可以自行扩展为全站爬虫,但是要注意它的接口。
2. Golory_of_Kings – 王者荣耀爬虫
? 通过王者荣耀官网的英雄列表接口以及英雄皮肤的下载URL,完成对王者荣耀英雄全皮肤的下载。
3.MaoYan_Top100 – 猫眼TOP100爬虫
? (见名知意)爬取猫眼TOP排行榜前100的电影信息。
4.Moments – 朋友圈爬虫
? 基于自动化测试工具Appium的微信朋友圈爬虫,模拟登录、抓取动态、保存数据。
5.Bilibili – B站爬虫
? 模拟登录B站并识别滑动验证码。破解滑动验证码的思路主要沿袭崔大破解极验的思路,登录、获取验证码Image对象、打码平台识别、本地转化识别结果、Selenium模拟滑动等。
6.DouYin – 抖音爬虫
? 基于Mitmdump的抖音短视频爬取,包括视频名称、作者名称、获赞数、转发量等重要信息的获取。
7.Crack_Jianshu – 简书爬虫
? 为了照顾简书,完成了简书的模拟登录并识别简书的点触式验证码,破解验证码的思路基本与滑动验证码相同。
8.Selenium_163 – 网易163邮箱爬虫
? 模拟登录网易163邮箱,并发送SOS邮件。主要是为了对iframe子节点的训练。
9.City_58 – 58房屋信息爬虫
? 使用Scrapy框架爬取58同城的出租房信息,并包含下级网页数据的爬虫,项目难度较大,可根据能力练习。
10.Selenium_Cnki – 知网爬虫
? 模拟登录注册知网,识别知网的普通数字英文混合验证码。别小看这简单的验证码,可是用tesserocr等Python识别库搞不定的。
其余的可以看截图:
? 我是爬虫小白,代码中假如有写的什么不好的地方,可以提交issue。最后,贴出我的Github仓库地址: Northxw/Python3_WebSpider,欢迎各种star和fork,一起学爬虫。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Python爬虫大小项目集合
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Python爬虫大小项目集合