架构设计之「服务限流」

作者 : 开心源码 本文共2608个字,预计阅读时间需要7分钟 发布时间: 2022-05-12 共275人阅读

限流可以认为服务降级的一种,限流就是限制系统的输入和输出流量已达到保护系统的目的。一般来说系统的吞吐量是可以被测算的,为了保证系统的稳固运行,一旦达到的需要限制的阈值,就需要限制流量并采取少量措施以完成限制流量的目的。比方:推迟解决,拒绝解决,或者者部分拒绝解决等等。

在详情限流概念之前,我们先来聊聊身边有哪些限流,假如有在帝都的码农预计对限流是最深有感触的,帝都凡是开个XXX会议,各大地铁站都会限流。

每年的双11都是剁手族的天堂,11月11号0点0几秒的时候,下面这些场景或者许你曾经遇到过。

当然,这几年双11各大电商对并发的支持做的越来越好,这里只是借鉴双11刚推出之际,常常需要应对的少量问题。

通过这两个场景,基本上服务限流的作用也就明白:

「服务限流」其实是指当系统资源不够,不足以应对大量请求,即系统资源与访问量出现矛盾的时候,我们为了保证有限的资源能够正常服务,因而对系统按照预设的规则进行流量限制或者功能限制的一种方法。

一、为什么要做服务限流设计?

再举一个我们生活中的例子:少量热门的旅游景点,往往会对每日的旅游参观人数有严格的限制,比方厦门的鼓浪屿、北京的故宫等,每天只会卖出固定数目的门票,假如你去的晚了,可能当天的票就已经卖完了,当天就无法进去游玩了。

为什么旅游景点要做这样的限制呢?多卖少量门票多赚少量钱岂不是更好?

其实对于旅游景点而言,她们也很无奈,由于景点的服务资源有限嘛,每日能服务的人数是有限的,一旦放开限制了,景点的工作人员就会不够用,卫生情况也得不到保障,安全也有隐患,超密集的人群也会严重的影响游客的体验。

但因为景区名气大,来游玩的旅客络绎不绝,远超出了景区的承载能力,因而景区只好做出限制每日人员流量的举措。

同理,在IT软件行业中,系统服务也是这样的。

假如你的系统理论是时间单位内可服务100W客户,但是今天却忽然来了300W客户,因为客户流量的随机性,假如不加以限流,很有可能这300W客户一下子就压垮了系统,导致所有人都得不到服务。

因而为了保证系统至少还能为100W客户提供正常服务,我们需要对系统进行限流设计。

有的人可能会想,既然会有300W客户来访问,那为啥系统不干脆设计成能足以支撑这么大量客户的集群呢?

这是个好问题。假如系统是长期有300W的客户来访问,一定是要做上述更新的,但是常常面临的情况是,系统的日常访问量就是100W,只不过偶尔有少量不可预知的特定起因导致的短时间的流量激增,这个时候,公司往往出于节约成本的考虑,不会为了一个不常见的尖峰来把我们的系统扩容到最大的尺寸。

二、服务限流应该怎样做?

对系统服务进行限流,一般有如下几个模式:

熔断:

这个模式是需要系统在设计之初,就要把熔断措施考虑进去。当系统出现问题时,假如短时间内无法修复,系统要自动做出判断,开启熔断开关,拒绝流量访问,避免大流量对后台的过载请求。系统也应该能够动态监测后台程序的修复情况,当程序已恢复稳固时,可以关闭熔断开关,恢复正常服务。

服务降级:

将系统的所有功能服务进行一个分级,当系统出现问题,需要紧急限流时,可将不是那么重要的功能进行降级解决,中止服务,这样可以释放出更多的资源供给核心功能的去用。

例如在电商平台中,假如突发流量激增,可临时将商品评论、积分等非核心功能进行降级,中止这些服务,释放出机器和CPU等资源来保障客户正常下单,而这些降级的功能服务可以等整个系统恢复正常后,再来启动,进行补单/补偿解决。

除了功能降级以外,还可以采用不直接操作数据库,而一律读缓存、写缓存的方式作为临时降级方案。

推迟解决:

这个模式需要在系统的前台设置一个流量缓冲池,将所有的请求一律缓冲进这个池子,不立即解决。而后后台真正的业务解决程序从这个池子中取出请求依次解决,常见的可以用队列模式来实现。这就相当于用异步的方式去减少了后台的解决压力,但是当流量较大时,后台的解决能力有限,缓冲池里的请求可能解决不及时,会有肯定程度推迟。

特权解决:

这个模式需要将客户进行分类,通过预设的分类,让系统优先解决需要高保障的客户群体,其它客户群的请求就会推迟解决或者者直接不解决。

那在实际项目中,对访问流量的限制,可采用如下几种技术方法:

熔断技术

熔断的技术可以重点参考Netflix的开源组件hystrix的做法,主要有三个板块:熔断请求判断算法、熔断恢复机制、熔断报警。

计数器方法

系统维护一个计数器,来一个请求就加1,请求解决完成就减1,当计数器大于指定的阈值,就拒绝新的请求。

基于这个简单的方法,可以再延伸出少量高级功能,比方阈值可以不是固定值,是动态调整的。另外,还可以有多组计数器分别管理不同的服务,以保证互不影响等。

队列方法

就是基于FIFO队列,所有请求都进入队列,后台程序从队列中取出待解决的请求依次解决。

基于队列的方法,也可以延伸出更多的玩法来,比方可以设置多个队列以配置不同的优先级。

令牌桶方法

首先还是要基于一个队列,请求放到队列里面。但除了队列以外,还要设置一个令牌桶,另外有一个脚本以持续恒定的速度往令牌桶里面放令牌,后台解决程序每解决一个请求就必需从桶里拿出一个令牌,假如令牌拿完了,那就不能解决请求了。我们可以控制脚本放令牌的速度来达到控制后台解决的速度,以实现动态流控。

三、服务限流的注意事项

我们在做服务限流的时候,还是有少量准则和事项需要注意的:

实时监控:系统必需要做好全链路的实时监控,才能保证限流的及时检测和解决。

手动开关:除系统自动限流以外,还需要有能手动控制的开关,以保证随时都可以人工介入。

限流的性能:限流的功能理论上是会在肯定程度影响到业务正常性能的,因而需要做到限流的性能优化和控制。

系统故障常常都是不可预测且难以避免的,因而作为系统设计师的我们,必需要提前预设各种措施,以应对随时可能的系统风险。

欢迎工作一到五年的Java工程师朋友们加入Java架构开发:744677563

群内提供免费的Java架构学习资料(里面有高可用、高并发、高性能及分布式、Jvm性能调优、Spring源码,MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多个知识点的架构资料)正当利用自己每一分每一秒的时间来学习提升自己,不要再用”没有时间“来掩饰自己思想上的懒惰!趁年轻,使劲拼,给未来的自己一个交代!

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 架构设计之「服务限流」

发表回复