利用 Redis 实现一个爬虫系统循环代理商池
前言
最近在实现爬虫系统的时候,用到了 http 代理商。我有一系列的代理商,使用的时候要在分布式的环境中实现循环的使用。这里我们就采用了 redis 的 list 数据结构来实现
redis list 命令解释
首先我们来看一下 redis list 支持的命令
redis 的队列实际上是队列和栈的混合体。支持左进右出、右进左出、左进左出、右进右出等操作。我们来看一下 redis list 支持的命令
| 命令 | 效果 |
|---|---|
| LPOP | 从队列左边取出一个元素 |
| LPUSH | 向队列左边放入一个元素 |
| LPUSHX | 假如队列存在,向队列左边放入一个元素 |
| BLPOP | 阻塞模式从队列左边取出一个元素,假如没有元素则等待 |
| RPOP | 从队列右边取出一个元素 |
| RPUSH | 向队列右边放入一个元素 |
| RPUSHX | 假如队列存在,向队列右边放入一个元素 |
| BRPOP | 阻塞模式从队列右边取出一个元素,假如没有元素则等待 |
| RPOPLPUSH | 原子操作,从一个队列右边取出一个元素放入另一个队列左边 |
| BRPOPLPUSH | RPOPLPUSH的阻塞模式,当第一个队列不存在,则等待 |
| LINDEX | 返回列表中指定下标的元素 |
| LINSERT | 在队列指定的位置之前或者者之后插入元素 |
| LLEN | 返回队列的大小 |
| LRANGE | 返回对了中指定范围的元素 |
| LREM | 在队列中删除指定数量个指定值的元素 |
| LSET | 设置队列中指定下标的元素的值 |
| LTRIM | 裁剪队列,保留指定下标范围的元素 |
从上面的我们可以看出,假如我们调用 RPOPLPUSH 命令的时候,假如取出值的队列和放入值的队列是一个,就形成了一个循环队列,每次从队尾取出的元素放到队头,可以无限循环的依次从队列中取出不同的值。下面我们来演示一下
建立队列
首先,我们可以用 redis 命令行来建立一个代理商池队列。这里用 PROXY1、PROXY2、PROXY3、PROXY4、PROXY5 示例代替代理商的详细信息。实际工作中,我们可以用代理商对象的 json 字符串来存储代理商的信息。
登录 redis 后,切换到数据库 10 ,而后执行下面的命令来建立一个5个元素的队列
127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY1(integer) 1127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY2(integer) 2127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY3(integer) 3127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY4(integer) 4127.0.0.1:37382[10]> lpush PROXY_QUEUE PROXY5(integer) 5java 循环从队列中取数
首先引入 jedis 库
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency>而后编写代码
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig(); jedisPoolConfig.setMaxTotal(10); jedisPoolConfig.setMaxIdle(5); jedisPoolConfig.setMinIdle(1); JedisPool jedisPool = new JedisPool( jedisPoolConfig, "ip", port, 600, "redispwd", 10, "ProxyClient" ); Jedis jedis = jedisPool.getResource(); while (true) { System.out.println(jedis.rpoplpush("PROXY_QUEUE", "PROXY_QUEUE")); }这段代码连接 redis 服务器的 10 号数据库后,不停的从 PROXY_QUEUE 队列的右边取出元素并放到左边。并返回当前取出的元素。无限循环。
执行上述代码,输出为
PROXY1PROXY2PROXY3PROXY4PROXY5PROXY1PROXY2PROXY3PROXY4PROXY5PROXY1PROXY2PROXY3...这样,假如我们将 PROXY1 这些字符串换成 http 代理商的配置信息,即可以依次循环从队列中取出一个新的 http 代理商配置来执行我们的爬虫过程了。
说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 利用 Redis 实现一个爬虫系统循环代理商池
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 利用 Redis 实现一个爬虫系统循环代理商池