利用 Redis 实现一个爬虫系统循环代理商池

作者 : 开心源码 本文共1805个字,预计阅读时间需要5分钟 发布时间: 2022-05-12 共129人阅读

前言

最近在实现爬虫系统的时候,用到了 http 代理商。我有一系列的代理商,使用的时候要在分布式的环境中实现循环的使用。这里我们就采用了 redis 的 list 数据结构来实现

redis list 命令解释

首先我们来看一下 redis list 支持的命令
redis 的队列实际上是队列和栈的混合体。支持左进右出、右进左出、左进左出、右进右出等操作。我们来看一下 redis list 支持的命令

命令效果
LPOP从队列左边取出一个元素
LPUSH向队列左边放入一个元素
LPUSHX假如队列存在,向队列左边放入一个元素
BLPOP阻塞模式从队列左边取出一个元素,假如没有元素则等待
RPOP从队列右边取出一个元素
RPUSH向队列右边放入一个元素
RPUSHX假如队列存在,向队列右边放入一个元素
BRPOP阻塞模式从队列右边取出一个元素,假如没有元素则等待
RPOPLPUSH原子操作,从一个队列右边取出一个元素放入另一个队列左边
BRPOPLPUSHRPOPLPUSH的阻塞模式,当第一个队列不存在,则等待
LINDEX返回列表中指定下标的元素
LINSERT在队列指定的位置之前或者者之后插入元素
LLEN返回队列的大小
LRANGE返回对了中指定范围的元素
LREM在队列中删除指定数量个指定值的元素
LSET设置队列中指定下标的元素的值
LTRIM裁剪队列,保留指定下标范围的元素

从上面的我们可以看出,假如我们调用 RPOPLPUSH 命令的时候,假如取出值的队列和放入值的队列是一个,就形成了一个循环队列,每次从队尾取出的元素放到队头,可以无限循环的依次从队列中取出不同的值。下面我们来演示一下

建立队列

首先,我们可以用 redis 命令行来建立一个代理商池队列。这里用 PROXY1、PROXY2、PROXY3、PROXY4、PROXY5 示例代替代理商的详细信息。实际工作中,我们可以用代理商对象的 json 字符串来存储代理商的信息。
登录 redis 后,切换到数据库 10 ,而后执行下面的命令来建立一个5个元素的队列

127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY1(integer) 1127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY2(integer) 2127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY3(integer) 3127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY4(integer) 4127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY5(integer) 5

java 循环从队列中取数

首先引入 jedis 库

        <dependency>            <groupId>redis.clients</groupId>            <artifactId>jedis</artifactId>            <version>2.9.0</version>        </dependency>

而后编写代码

        JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();        jedisPoolConfig.setMaxTotal(10);        jedisPoolConfig.setMaxIdle(5);        jedisPoolConfig.setMinIdle(1);        JedisPool jedisPool = new JedisPool(            jedisPoolConfig,            "ip",            port,            600,            "redispwd",            10,            "ProxyClient"        );        Jedis jedis = jedisPool.getResource();        while (true) {            System.out.println(jedis.rpoplpush("PROXY_QUEUE", "PROXY_QUEUE"));        }

这段代码连接 redis 服务器的 10 号数据库后,不停的从 PROXY_QUEUE 队列的右边取出元素并放到左边。并返回当前取出的元素。无限循环。

执行上述代码,输出为

PROXY1PROXY2PROXY3PROXY4PROXY5PROXY1PROXY2PROXY3PROXY4PROXY5PROXY1PROXY2PROXY3...

这样,假如我们将 PROXY1 这些字符串换成 http 代理商的配置信息,即可以依次循环从队列中取出一个新的 http 代理商配置来执行我们的爬虫过程了。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 利用 Redis 实现一个爬虫系统循环代理商池

发表回复