深入了解 RPC 消息协议设计

作者 : 开心源码 本文共2673个字,预计阅读时间需要7分钟 发布时间: 2022-05-12 共272人阅读

本节我们开始讲解 RPC 的消息协议设计背后的基本原理,理解 RPC 的协议开发背后有哪些需要考虑的基本点。在通晓原理之后,我们即可以自己设计一套协议来开发属于自己的 RPC 系统。

本节主要涉及的知识点和它们之见的关系如下图:

对于一串消息流,我们必需能确定消息边界,提取出单条消息的字节流片段,而后对这个片段按照肯定的规则进行反序列化来生成相应的消息对象。

消息表示指的是序列化后的消息字节流在直观上的体现形式,它看起来是对人类友好还是对计算机友好。文本形式对人类友好,二进制形式对计算机友好。

每个消息都有其内部字段结构,结构构成了消息内部的逻辑规则,程序要按照结构规则来决定字段序列化的顺序。

接下来,我们初步详细拆解。

消息边界

RPC 需要在一条 TCP 链接上进行屡次消息传递。在连续的两条消息之间必需有明确的分割规则,以便接收端可以将消息分割开来,这里的接收端可以是 RPC 服务器接收请求,也可以是 RPC 用户端接收响应。

基于 TCP 链接之上的单条消息假如过大,就会被网络协议栈拆分为多个数据包进行传送。假如消息过小,网络协议栈可能会将多个消息组合成一个数据包进行发送。对于接收端来说它看到的只是一串串的字节数组,假如没有明确的消息边界规则,接收端是无从知道这一串字节数组到底是包含多条消息还是只是某条消息的一部分。

比较常使用的两种分割方式是特殊分割符法和长度前缀法。

消息发送端在每条消息的末尾追加一个特殊的分割符,并且保证消息中间的数据不能包含特殊分割符。比方最为常见的分割符是 。当接收端遍历字节数组时发现了 ,就立就可以断定 之前的字节数组是一条完整的消息,可以传递到上层逻辑继续进行解决。HTTP 和 Redis 协议就大量用了 分割符。此种消息一般要求消息体的内容是文本消息。

消息发送端在每条消息的开头添加一个 4 字节长度的整数值,标记消息体的长度。这样消息接受者首先读取到长度信息,而后再读取相应长度的字节数组即可以将一个完整的消息分离出来。此种消息比较常使用于二进制消息。

基于特殊分割符法的优点在于消息的可读性比较强,可以直接看到消息的文本内容,缺点是不适合传递二进制消息,由于二进制的字节数组里面很容易就冒出连续的两个字节内容正好就是 分割符的 ascii 值。假如需要传递的话,一般是对二进制进行 base64 编码转变成普通文本消息再进行传送。

基于长度前缀法的优点和缺点同特殊分割符法正好是相反的。长度前缀法由于适使用于二进制协议,所以可读性很差。但是对传递的内容本身没有特殊限制,文本和内容皆可以传输,不需要进行特殊解决。HTTP 协议的 Content-Length 头信息使用来标记消息体的长度,这个也可以看成是长度前缀法的一种应使用。

HTTP 协议是一种基于特殊分割符和长度前缀法的混合型协议。比方 HTTP 的消息头采使用的是纯文本外加 分割符,而消息体则是通过消息头中的 Content-Type 的值来决定长度。HTTP 协议尽管被称之为文本传输协议,但是也可以在消息体中传输二进制数据数据的,例如音视频图像,所以 HTTP 协议被称之为「超文本」传输协议。

消息的结构

每条消息都有它包含的语义结构信息,有些消息协议的结构信息是显式的,还有些是隐式的。比方 json 消息,它的结构即可以直接通过它的内容表现出来,所以它是一种显式结构的消息协议。

json 这种直观的消息协议的可读性非常棒,但是它的缺点也很显著,有太多的冗余信息。比方每个字符串都用双引号来界定边界,key/value 之间必需有冒号分割,对象之间必需用大括号分割等等。这些还只是冗余的小头,最大的冗余还在于连续的多条 json 消息即便结构完全一样,仅仅只是 value 的值不一样,也需要发送同样的 key 字符串信息。

消息的结构在同一条消息通道上是可以复使用的,比方在建立链接的开始 RPC 用户端和服务器之间先交流协商一下消息的结构,后续发送消息时只要要发送一系列消息的 value 值,接收端会自动将 value 值和相应位置的 key 关联起来,形成一个完成的结构消息。在 Hadoop 系统中广泛用的 avro 消息协议就是通过这种方式实现的,在 RPC 链接建立之处就开始交流消息的结构,后续消息的传递即可以节省很多流量。

消息的隐式结构一般是指那些结构信息由代码来商定的消息协议,在 RPC 交互的消息数据中只是纯粹的二进制数据,由代码来确定相应位置的二进制是属于哪个字段。比方下面的这段代码

假如纯粹看消息内容是无法知道节点消息内容中的哪些字节的含义,它的消息结构是通过代码的结构顺序来确定的。这种隐式的消息的优点就在于节省传输流量,它完全不需要传输结构信息。

消息压缩

假如消息的内容太大,就要考虑对消息进行压缩解决,这可以减轻网络带宽压力。但是这同时也会加重 CPU 的负担,由于压缩算法是 CPU 计算密集型操作,会导致操作系统的负载加重。所以,最终能否进行消息压缩,肯定要根据业务情况加以权衡。

假如确定压缩,那么在选择压缩算法包时,务必筛选那些底层使用 C 语言实现的算法库,由于 Python 的字节码执行起来太慢了。比较流行的消息压缩算法有 Google 的 snappy 算法,它的运行性能非常好,压缩比例尽管不是最优的,但是离最优的差距已经不是很大。阿里的 SOFA RPC 就用了 snappy 作为协议层压缩算法。

流量的极致优化

开源的流行 RPC 消息协议往往对消息流量优化到了极致,它们通过这种方式来打动使用户,吸引使用户来用它们。比方对于一个整形数字,一般用 4 个字节来表示一个整数值。

但是经过研究发现,消息传递中大部分用的整数值都是很小的非负整数,假如一律用 4 个字节来表示一个整数会很白费。所以就发明了一个类型叫变长整数varint。数值非常小时,只要要用一个字节来存储,数值略微大一点可以用 2 个字节,再大一点就是 3 个字节,它还可以超过 4 个字节使用来表达长整形数字。

其原理也很简单,就是保留每个字节的最高位的 bit 来标识能否后面还有字节,1 表示还有字节需要继续读,0 表示到读到当前字节就结束。

那假如是负数该怎样办呢?-1 的 16 进制数是 0xFFFFFFFF,假如要按照这个编码那岂不是要 6 个字节才能存的下。-1 也是非常常见的整数啊。

于是 zigzag 编码来了,专门使用来处理负数问题。zigzag 编码将整数范围逐个映射到自然数范围,而后再进行 varint 编码。

zigzag 将负数编码成正奇数,正数编码成偶数。解码的时候遇到偶数直接除 2 就是原值,遇到奇数就加 1 除 2 再取负就是原值。

小结

现在我们知道了 RPC 消息结构的设计原理,遵循这些基本方法,即可以创造出一个又一个不同的消息协议。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 深入了解 RPC 消息协议设计

发表回复