数据库链接池终于搞对了,这次直接从 100ms 优化到 3ms!

作者 : 开心源码 本文共2973个字,预计阅读时间需要8分钟 发布时间: 2022-05-13 共293人阅读

本文内容95%译自这篇文章: brettwooldridge/HikariCP/wiki/About-Pool-Sizing

我在研究HikariCP(一个数据库连接池)时无意间在HikariCP的Github wiki上看到了一篇文章(即前面给出的链接),这篇文章有力地消除了我一直以来的疑虑,看完之后感觉神清气爽。故在此做译文分享。

接下来是正文

数据库连接池的配置是开发者们常常搞出坑的地方,在配置数据库连接池时,有几个可以说是和直觉背道而驰的准则需要明确。

1万并发客户访问

想象你有一个网站,压力尽管还没到Facebook那个级别,但也有个1万上下的并发访问——也就是说差不多2万左右的TPS。那么这个网站的数据库连接池应该设置成多大呢?结果可能会让你惊讶,由于这个问题的正确问法是:

  • “这个网站的数据库连接池应该设置成多小呢?”

下面这个视频是Oracle Real World Performance Group发布的,请先看完:http://www.dailymotion.com/video/x2s8uec

(由于这视频是英文解说且没有字幕,我替大家做一下简单的概括:) 视频中对Oracle数据库进行压力测试,9600并发线程进行数据库操作,每两次访问数据库的操作之间sleep 550ms,一开始设置的中间件线程池大小为2048:

初始的配置

压测跑起来之后是这个样子的:

图片

2048连接时的性能数据

每个请求要在连接池队列里等待33ms,取得连接后执行SQL需要77ms

此时数据库的等待事件是这个熊样的:

各种buffer busy waits

各种buffer busy waits,数据库CPU在95%左右(这张图里没截到CPU)

接下来,把中间件连接池减到1024(并发什么的都不变),性能数据变成了这样:

连接池降到1024后

获取链接等待时长没怎样变,但是执行SQL的耗时减少了。下面这张图,上半部分是wait,下半部分是吞吐量

wait和吞吐量

能看到,中间件连接池从2048减半之后,吐吞量没变,但wait事件减少了一半。

接下来,把数据库连接池减到96,并发线程数依然是9600不变。

96个连接时的性能数据

队列平均等待1ms,执行SQL平均耗时2ms。

wait事件几乎没了,吞吐量上升。

没有调整任何其余东西,仅仅只是缩小了中间件层的数据库连接池,就把请求响应时间从100ms左右缩短到了3ms。

But why?

为什么nginx只用4个线程发挥出的性能就大大超越了100个进程的Apache HTTPD?回想一下计算机科学的基础知识,答案其实是很显著的。

即便是单核CPU的计算机也能“同时”运行数百个线程。但我们都[应该]知道这只不过是操作系统用时间分片玩的一个小把戏。一颗CPU核心同一时刻只能执行一个线程,而后操作系统切换上下文,核心开始执行另一个线程的代码,以此类推。给定一颗CPU核心,其顺序执行A和B永远比通过时间分片“同时”执行A和B要快,这是一条计算机科学的基本法则。一旦线程的数量超过了CPU核心的数量,再添加线程数系统就只会更慢,而不是更快。

这几乎就是真理了……

有限的资源

上面的说法只能说是接近真理,但还并没有这么简单,有少量其余的因素需要加入。当我们寻觅数据库的性能瓶颈时,总是可以将其归为三类:CPU、磁盘、网络。把内存加进来也没有错,但比起磁盘和网络,内存的带宽要高出好几个数量级,所以就先不加了。

假如我们无视磁盘和网络,那么结论就非常简单。在一个8核的服务器上,设定连接/线程数为8能够提供最优的性能,再添加连接数就会因上下文切换的损耗导致性能下降。数据库通常把数据存储在磁盘上,磁盘又通常是由少量旋转着的金属碟片和一个装在步进马达上的读写头组成的。读/写头同一时刻只能出现在一个地方,而后它必需“寻址”到另外一个位置来执行另一次读写操作。所以就有了寻址的耗时,此外还有旋回耗时,读写头需要等待碟片上的目标数据“旋转到位”才能进行操作。使用缓存当然是能够提升性能的,但上述原理依然成立。

在这一时间段(即”I/O等待”)内,线程是在“阻塞”着等待磁盘,此时操作系统可以将那个空闲的CPU核心用于服务其余线程。所以,因为线程总是在I/O上阻塞,我们可以让线程/连接数比CPU核心多少量,这样能够在同样的时间内完成更多的工作。

那么应该多多少呢?这要取决于磁盘。较新型的SSD不需要寻址,也没有旋转的碟片。可别想当然地认为“SSD速度更快,所以我们应该添加线程数”,恰恰相反,无需寻址和没有旋回耗时意味着更少的阻塞,所以更少的线程[更接近于CPU核心数]会发挥出更高的性能。只有当阻塞创造了更多的执行机会时,更多的线程数才能发挥出更好的性能。

网络和磁盘相似。通过以太网接口读写数据时也会形成阻塞,10G带宽会比1G带宽的阻塞少少量,1G带宽又会比100M带宽的阻塞少少量。不过网络通常是放在第三位考虑的,有些人会在性能计算中忽略它们。

上图是PostgreSQL的benchmark数据,可以看到TPS增长率从50个连接数开始变缓。在上面Oracle的视频中,他们把连接数从2048降到了96,实际上96都太高了,除非服务器有16或者32颗核心。

计算公式

下面的公式是由PostgreSQL提供的,不过我们认为可以广泛地应用于大多数数据库产品。你应该模拟预期的访问量,并从这一公式开始测试你的应用,寻觅最合适的连接数值。

连接数 = ((核心数 * 2) + 有效磁盘数)

核心数不应包含超线程(hyper thread),即便打开了hyperthreading也是。假如活跃数据一律被缓存了,那么有效磁盘数是0,随着缓存命中率的下降,有效磁盘数逐步趋近于实际的磁盘数。这一公式作用于SSD时的效果如何尚未有分析。

按这个公式,你的4核i7数据库服务器的连接池大小应该为((4 * 2) + 1) = 9。取个整就算是是10吧。是不是觉得太小了?跑个性能测试试一下,我们保证它能轻松搞定3000客户以6000TPS的速率并发执行简单查询的场景。假如连接池大小超过10,你会看到响应时长开始添加,TPS开始下降。

笔者注:这一公式其实不仅适用于数据库连接池的计算,大部分涉及计算和I/O的程序,线程数的设置都可以参考这一公式。我之前在对一个使用Netty编写的消息收发服务进行压力测试时,最终测出的最佳线程数就恰好是CPU核心数的一倍。

公理:你需要一个小连接池,和一个充满了等待连接的线程的队列

假如你有10000个并发客户,设置一个10000的连接池基本等于失了智。1000依然很恐怖。即是100也太多了。你需要一个10来个连接的小连接池,而后让剩下的业务线程都在队列里等待。连接池中的连接数量应该等于你的数据库能够有效同时进行的查询任务数(通常不会高于2*CPU核心数)。

我们经常见到少量小规模的web应用,应付着大约十来个的并发客户,却使用着一个100连接数的连接池。这会对你的数据库造成极其不必要的负担。

请注意

连接池的大小最终与系统特性相关。

比方一个混合了长事务和短事务的系统,通常是任何连接池都难以进行调优的。最好的办法是创立两个连接池,一个服务于长事务,一个服务于短事务。

再例如一个系统执行一个任务队列,只允许肯定数量的任务同时执行,此时并发任务数应该去适应连接池连接数,而不是反过来。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 数据库链接池终于搞对了,这次直接从 100ms 优化到 3ms!

发表回复