数据库优化的几个阶段

作者 : 开心源码 本文共2169个字,预计阅读时间需要6分钟 发布时间: 2022-05-12 共106人阅读

引言

大家在面试的时候,能否遭遇过,面试官讯问

那这个问题应该怎样答呢?其实写这个题材的起因是我这几天看到各公众号转的一篇数据库调优的知识(不上链接了),我就略微翻了几下,上面动不动就来说要对数据库进行水平拆分,我就想反问各位读者,你们几个人经历过水平拆分?现在很多文章,实践性实在太差,只能说纯理论分析。

这篇文章最早来自知乎的一个提问,我在其基础上完善了一下。

第一阶段 优化sql和索引

这才是调优的第一阶段啊,为什么呢?

由于这一步成本最低啊,不需要加什么中间件。你没经过索引优化和SQL优化,就来什么水平拆分,这不是坑人么。

那步骤是什么样呢?我说个大概

(1)使用慢查询日志定位执行效率低的SQL语句

(2)使用explain分析SQL的执行计划

(3)确定问题,采取相应的优化措施,建立索引啊,等

我就不举例了,由于如何优化SQL的文章,一抓一大把,再贴过来,读者看着也累。

第二阶段 搭建缓存

在优化sql无法处理问题的情况下,才考虑搭建缓存。毕竟你用缓存的目的,就是将复杂的、耗时的、不常变的执行结果缓存起来,降低数据库的资源消耗。

这里需要注意的是:搭建缓存后,系统的复杂性添加了。你需要考虑很多问题,比方:

缓存和数据库一致性问题?(比方是更缓存,还是删缓存),这点可以看我的一篇文章《数据库和缓存双写一致性方案解析》。

缓存击穿、缓存穿透、缓存雪崩问题如何处理?能否有做缓存预热的必要。不过我猜,大部分中小公司应该都没考虑。这点可以看我的另一篇《分布式之redis复习精讲》

第三阶段 读写分离

缓存也搞不定的情况下,搞主从复制,上读写分离。在应使用层,区分读写请求。或者者利使用现成的中间件mycat或者者altas等做读写分离。

需要注意的是,只需你敢说你使用了主从架构,有三个问题,你要准备:

(1)主从的好处?

答复:实现数据库备份,实现数据库负载均衡,提高数据库可使用性

(2)主从的原理?

答复:如图所示(图片不是自己画的,偷懒了)

主库有一个log dump线程,将binlog传给从库

从库有两个线程,一个I/O线程,一个SQL线程,I/O线程读取主库传过来的binlog内容并写入到relay log,SQL线程从relay log里面读取内容,写入从库的数据库。

(3)如何处理主从一致性?

答复:这个问题,我不建议在数据库层面处理该问题。根据CAP定理,主从架构原本就是一种高可使用架构,是无法满足一致性的。

哪怕你采使用同步复制模式或者者半同步复制模式,都是弱一致性,并不是强一致性。所以,推荐还是利使用缓存,来处理该问题。

步骤如下:

1、自己通过测试,计算主从推迟时间,建议mysql版本为5.7以后,由于mysql自5.7开始,多线程复制功能比较完善,一般能保证推迟在1s内。不过话说回来,mysql现在都出到8.x了,还有人使用5.x的版本么。

2、数据库的写操作,先写数据库,再写cache,但是有效期很短,就比主从延时的时间略微长一点。

3、读请求的时候,先读缓存,缓存存在则直接返回。假如缓存不存在(这时主从同步已经完成),再读数据库。

第四阶段 利使用分区表

说句实在话,你们面试的时候,其实可以略过这个阶段。由于很多互联网公司都不建议使用分区表,我自己也不太建议使用分区表,采使用这个分区表,坑太多。

这里引使用一下其余文章的答复:

什么是mysql的分区表?

答复:所有数据还在一个表中,但物理存储根据肯定的规则放在不同的文件中。这个是mysql支持的功能,业务代码不需要改动,但是sql语句需要改动,sql条件需要带上分区的列。

缺点

(1)分区键设计不太灵活,假如不走分区键,很容易出现全表锁

(2)在分区表用ALTER TABLE?…?ORDER BY,只能在每个分区内进行order by。

(3)分区表的分区键创立索引,那么这个索引也将被分区。分区键没有全局索引一说。

(4)自己分库分表,自己掌控业务场景与访问模式,可控。分区表,研发写了一个sql,都不确定该去哪个分区查,不太可控。

…不列举了,不推荐

第五阶段 垂直拆分

上面四个阶段都没搞定,就来垂直拆分了。垂直拆分的复杂度还是比水平拆分小的。将你的表,按板块拆分为不同的小表。大家应该都看过《大型网站架构演变之路》,这种类型的文章或者者书籍,基本都有提到这一阶段。

假如你有幸能够在什么经营商、银行等公司上班,你会发现他们一个表,几百个字段都是很常见的事情。所以,应该要进行拆分,拆分准则一般是如下三点:

(1)把不常使用的字段单独放在一张表。

(2)把常使用的字段单独放一张表

(3)经常组合查询的列放在一张表中(联合索引)。

第六阶段 水平拆分

OK,水平拆分是最麻烦的一个阶段,拆分后会有很多的问题,我再强调一次,水平拆分肯定是最最最最后的选择。从某种意义上,我觉得还不如垂直拆分。由于你使用垂直拆分,分成不同板块后,发现单板块的压力过大,你完全可以给该板块单独做优化,例如提高该板块的机器配置等。假如是水平拆分,拆成两张表,代码需要变动,而后发现两张表还不行,再变代码,再拆成三张表的?水平拆分后,各板块间耦合性太强,成本太大,慎重。

欢迎工作一到五年的Java工程师朋友们加入Java架构开发:744677563

本群提供免费的学习指导 架构资料 以及免费的解答

不懂得问题都可以在本群提出来 之后还会有职业生涯规划以及面试指导

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 数据库优化的几个阶段

发表回复