Python爬虫入门教程第十二讲： 半次元COS图爬取

半次元COS图爬取-写在前面

今天在浏览网站的时候，突然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后，发现也没有什么有意思的内容，职业的敏感让我瞬间联想到了 cosplay ，这种网站必然会有这个的存在啊，于是乎，我准备好我的大爬虫了。

image在这里插入图片形容

把上面的链接打开之后，被我发现了吧，就知道我的第八感不错滴。接下来就是找入口，肯定要找到图片链接的入口才可以做下面的操作

在这里插入图片形容

这个页面不断往下拖拽，页面会一直加载，当时当你拖拽一会，就停下来了，就是这个时机

在这里插入图片形容

发现入口，在我实际的操作中，其实还发现了很多其余的入口，这个就不逐个的解释了，赶紧上车，进入 view more 之后，发现了页面仍旧是一个下拉刷新的布局方式，专业术语 瀑布流 。

半次元COS图爬取-python爬虫第一步

打开开发者工具，切换到network之后，发现 很多xhr请求，发现这个，就代表这个网站很容易爬取了

在这里插入图片形容

提取待爬取的链接，分析规律

https://bcy.net/circle/timeline/loadtag?since=0&grid_type=timeline&tag_id=1482&sort=hothttps://bcy.net/circle/timeline/loadtag?since=26499.779&grid_type=timeline&tag_id=1482&sort=hothttps://bcy.net/circle/timeline/loadtag?since=26497.945&grid_type=timeline&tag_id=1482&sort=hot

发现只有一个参数在变，而且这变化如同没有任何规律可以寻觅，没事，看数据，你即可以发现其中的奥妙了

在这里插入图片形容

这个网站的原理很简单，就是通过不断获取每次数据的最后一条的since而后获取接下来的数据，那么我们按照它的规律实现代码即可以了，不要多线程了，这种规律是没有办法进行实操的。
这次的数据我把它存储到mongodb里面，由于没有办法一次一律获取到，所以可能需要下次在继续使用

if __name__ == '__main__':    ###  mongodb 的少量基本操作       DATABASE_IP = '127.0.0.1'    DATABASE_PORT = 27017    DATABASE_NAME = 'sun'    start_url = "https://bcy.net/circle/timeline/loadtag?since={}&grid_type=timeline&tag_id=399&sort=recent"    client = MongoClient(DATABASE_IP, DATABASE_PORT)    db = client.sun    db.authenticate("dba", "dba")    collection  =  db.bcy  # 准备插入数据    #####################################3333    get_data(start_url,collection)

获取网页数据这个地方，由我们前面的经验就变得很简单了

## 半次元COS图爬取-获取数据函数  def get_data(start_url,collection):    since = 0    while 1:        try:            with requests.Session() as s:                response = s.get(start_url.format(str(since)),headers=headers,timeout=3)                res_data = response.json()                if res_data["status"] == 1:                    data = res_data["data"]  # 获取Data数组                    time.sleep(0.5)                ## 数据解决                since = data[-1]["since"]  # 获取20条数据的最后一条json数据中的since                ret = json_handle(data)   # 代码实现在下面                try:                    print(ret)                    collection.insert_many(ret)   # 批量出入数据库                    print("上述数据插入成功！！！！！！！！")                except Exception as e:                    print("插入失败")                    print(ret)                ##        except Exception as e:            print("!",end="异常，请注意")            print(e,end=" ")    else:        print("循环完毕")

网页解析代码

# 对JSON数据进行解决def json_handle(data):    # 提取关键数据    list_infos = []    for item in data:        item = item["item_detail"]        try:            avatar = item["avatar"] # 客户头像            item_id = item["item_id"] # 图片介绍页面            like_count = item["like_count"] # 喜欢数目            pic_num = item["pic_num"] if "pic_num" in item else 0 # 图片总数            reply_count =item["reply_count"]            share_count =item["share_count"]            uid = item["uid"]            plain = item["plain"]            uname = item["uname"]            list_infos.append({"avatar":avatar,                               "item_id":item_id,                               "like_count":like_count,                               "pic_num":pic_num,                               "reply_count":reply_count,                               "share_count":share_count,                               "uid":uid,                               "plain":plain,                               "uname":uname})        except Exception as e:            print(e)            continue        return list_infos

到现在就实现了，代码跑起来

在这里插入图片形容

小编整理一套Python资料和PDF，有需要Python学习资料可以加学习群：1004391443，反正闲着也是闲着呢，不如学点东西啦~~

image