MySQL如何解决亿级数据,三个阶段的思路,MySQL的分区、分表

作者 : 开心源码 本文共499个字,预计阅读时间需要2分钟 发布时间: 2022-05-12 共124人阅读

第一阶段:

语句上的优化,详见文章

1,肯定要正确设计索引

2,语句避免SQL语句全表扫描

3,尽量避免 limit 10000000,20 这样的查询

4、尽量避免无意义的查询语句以及字段

第二阶段:

1,采使用mysql分区技术

a):横向分区:

b):纵向分区:

range 分区,list分区,hash分区, key分区。特别按时间产生的数据特别适合使用RANGE分区。

删除历史字段也特别快

2,采使用分表技术(大表分小表)

a)垂直分表:将部分字段分离出来,设计成分表,根据主表的主键关联

b)水平分表:将相同字段表中的记录按照某种Hash算法进行拆分多个分表

也可以采使用少量中间件来搭建数据库,如前面说到的mycat。

目前做到的产品一个爬取微博微信数据的平台。每天爬取并且命中敏感词 关键产生文章的数据大概在110万左右。使用到了11台机子部署数据库,使用mycat部署的。目前2亿没有压力

第三阶段(服务器方面):

1,采使用redis,等nosql分担压力,memcached之类的内存对象缓存系统,减少数据库读取操作

2,采使用主从数据库设计,分离数据库的读写压力

3,采使用Squid之类的代理商服务器和Web缓存服务器技术

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » MySQL如何解决亿级数据,三个阶段的思路,MySQL的分区、分表

发表回复