Redis大揭秘: 事件机制详解!

作者 : 开心源码 本文共3706个字,预计阅读时间需要10分钟 发布时间: 2022-05-13 共256人阅读

推荐阅读:秋招Java岗:最全的BAT大厂面试题整理!

Redis 采用事件驱动机制来解决大量的网络IO。它并没有使用 libevent 或者者 libev 这样的成熟开源方案,而是自己实现一个非常简洁的事件驱动库 ae_event。

Redis中的事件驱动库只关注网络IO,以及定时器。该事件库解决下面两类事件:

① 文件事件(file ?event):用于解决 Redis 服务器和用户端之间的网络IO。

② 时间事件(time ?eveat):Redis 服务器中的少量操作(比方serverCron函数)需要在给定的时间点执行,而时间事件就是解决这类定时操作的。

事件驱动库的代码主要是在src/ae.c中实现的,其示用意如下所示。

aeEventLoop是整个事件驱动的核心,它管理着文件事件表和时间事件列表,不断地循环解决着就绪的文件事件和到期的时间事件。下面我们就先分别详情文件事件和时间事件,而后讲述相关的aeEventLoop源码实现。

01 文件事件

Redis基于Reactor模式开发了自己的网络事件解决器,也就是文件事件解决器。文件事件解决器使用IO多路复用技术,同时监听多个套接字,并为套接字关联不同的事件解决函数。当套接字的可读或者者可写事件触发时,就会调用相应的事件解决函数。

Redis 使用的IO多路复用技术主要有:select、epoll、evport和kqueue等。每个IO多路复用函数库在 Redis 源码中都对应一个单独的文件,比方ae_select.c,ae_epoll.c, ae_kqueue.c等。Redis 会根据不同的操作系统,按照不同的优先级选择多路复用技术。事件响应框架一般都采用该架构,比方 netty 和 libevent。

如下图所示,文件事件解决器有四个组成部分,它们分别是套接字、I/O多路复用程序、文件事件分派器以及事件解决器。

文件事件是对套接字操作的笼统,每当一个套接字准备好执行 accept、read、write和 close 等操作时,就会产生一个文件事件。由于 Redis 通常会连接多个套接字,所以多个文件事件有可能并发的出现。

I/O多路复用程序负责监听多个套接字,并向文件事件派发器传递那些产生了事件的套接字。

虽然多个文件事件可能会并发地出现,但I/O多路复用程序总是会将所有产生的套接字都放到同一个队列(也就是后文中形容的aeEventLoop的fired就绪事件表)里边,而后文件事件解决器会以有序、同步、单个套接字的方式解决该队列中的套接字,也就是解决就绪的文件事件。

所以,一次 Redis 用户端与服务器进行连接并且发送命令的过程如上图所示。

① 用户端向服务端发起建立 socket 连接的请求,那么监听套接字将产生 AE_READABLE 事件,触发连接应答解决器执行。解决器会对用户端的连接请求进行应答,而后创立用户端套接字,以及用户端状态,并将用户端套接字的 AE_READABLE 事件与命令请求解决器关联。

② 用户端建立连接后,向服务器发送命令,那么用户端套接字将产生 AE_READABLE 事件,触发命令请求解决器执行,解决器读取用户端命令,而后传递给相关程序去执行。

③ 执行命令取得相应的命令回复,为了将命令回复传递给用户端,服务器将用户端套接字的 AE_WRITEABLE 事件与命令回复解决器关联。当用户端试图读取命令回复时,用户端套接字产生 AE_WRITEABLE 事件,触发命令回复解决器将命令回复一律写入到套接字中。

02 时间事件

Redis 的时间事件分为以下两类:

① 定时事件:让一段程序在指定的时间之后执行一次。

② 周期性事件:让一段程序每隔指定时间就执行一次。

Redis 的时间事件的具体定义结构如下所示。

一个时间事件是定时事件还是周期性事件取决于时间解决器的返回值:

① 假如返回值是 AE_NOMORE,那么这个事件是一个定时事件,该事件在达到后删除,之后不会再重复。

② 假如返回值是非 AE_NOMORE 的值,那么这个事件为周期性事件,当一个时间事件到达后,服务器会根据时间解决器的返回值,对时间事件的when属性进行升级,让这个事件在一段时间后再次达到。

Redis 将所有时间事件都放在一个无序链表中,每次 Redis 会遍历整个链表,查找所有已经到达的时间事件,并且调用相应的事件解决器。

详情完文件事件和时间事件,我们接下来看一下aeEventLoop的具体实现。

03 创立事件管理器

Redis 服务端在其初始化函数initServer中,会创立事件管理器aeEventLoop对象。

函数aeCreateEventLoop将创立一个事件管理器,主要是初始化aeEventLoop的各个属性值,比方events、fired、timeEventHead和apidata:

① 首先创立aeEventLoop对象。

② 初始化未就绪文件事件表、就绪文件事件表。events指针指向未就绪文件事件表、fired指针指向就绪文件事件表。表的内容在后面增加具体事件时进行初变更。

③ 初始化时间事件列表,设置timeEventHead和timeEventNextId属性。

④ 调用aeApiCreate函数创立epoll实例,并初始化apidata。

aeApiCreate函数首先创立了aeApiState对象,初始化了epoll就绪事件表;而后调用epoll_create创立了epoll实例,最后将该aeApiState赋值给apidata属性。

aeApiState对象中epfd存储epoll的标识,events是一个epoll就绪事件数组,当有epoll事件发生时,所有发生的epoll事件和其形容符将存储在这个数组中。这个就绪事件数组由应用层开拓空间、内核负责把所有发生的事件填充到该数组。

04 创立文件事件

aeFileEvent是文件事件结构,对于每一个具体的事件,都有读解决函数和写解决函数等。Redis 调用aeCreateFileEvent函数针对不同的套接字的读写事件注册对应的文件事件。

比方说,Redis 进行主从复制时,从服务器需要主服务器建立连接,它会发起一个 socekt连接,而后调用aeCreateFileEvent函数针对发起的socket的读写事件注册了对应的事件解决器,也就是syncWithMaster函数。

aeCreateFileEvent的参数fd指的是具体的socket套接字,proc指fd产生事件时,具体的解决函数,clientData则是回调解决函数时需要传入的数据。aeCreateFileEvent主要做了三件事情:

① 以fd为索引,在events未就绪事件表中找到对应事件。

② 调用aeApiAddEvent函数,该事件注册到具体的底层 I/O 多路复用中,本例为epoll。

③ 填充事件的回调、参数、事件类型等参数。

如上文所说,Redis 基于的底层 I/O 多路复用库有多套,所以aeApiAddEvent也有多套实现,下面的源码是epoll下的实现。其核心操作就是调用epoll的epoll_ctl函数来向epoll注册响应事件。

05 事件解决

由于 Redis 中同时存在文件事件和时间事件两个事件类型,所以服务器必需对这两个事件进行调度,决定何时解决文件事件,何时解决时间事件,以及如何调度它们。

aeMain函数以一个无限循环不断地调用aeProcessEvents函数来解决所有的事件。

下面是aeProcessEvents的伪代码,它会首先计算距离当前时间最近的时间事件,以此计算一个超时时间;而后调用aeApiPoll函数去等待底层的I/O多路复用事件就绪;aeApiPoll函数返回之后,会解决所有已经产生文件事件和已经达到的时间事件。

与aeApiAddEvent相似,aeApiPoll也有多套实现,它其实就做了两件事情,调用epoll_wait阻塞等待epoll的事件就绪,超时时间就是之前根据最快达到时间事件计算而来的超时时间;而后将就绪的epoll事件转换到fired就绪事件。aeApiPoll就是上文所说的I/O多路复用程序。具体过程如下图所示。

processFileEvent是解决就绪文件事件的伪代码,也是上文所述的文件事件分派器,它其实就是遍历fired就绪事件表,而后根据对应的事件类型来调用事件中注册的不同解决器,读事件调用rfileProc,而写事件调用wfileProc。

而processTimeEvents是解决时间事件的函数,它会遍历aeEventLoop的事件事件列表,假如时间事件到达就执行其timeProc函数,并根据函数的返回值能否等于AE_NOMORE来决定该时间事件能否是周期性事件,并修改器到达时间。

06 删除事件

当不在需要某个事件时,需要把事件删除掉。例如: 假如fd同时监听读事件、写事件。当不在需要监听写事件时,可以把该fd的写事件删除。

aeDeleteEventLoop函数的执行过程总结为以下几个步骤

① 根据fd在未就绪表中查找到事件

② 取消该fd对应的相应事件标识符

③ 调用aeApiFree函数,内核会将epoll监听红黑树上的相应事件监听取消。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Redis大揭秘: 事件机制详解!

发表回复