亿级流量架构之服务限流思路与方法

时间:2021-09-13来源:栏目:互联网

每天学习一点Java面试笔试和Java技术。作者:等不及口琴了。来源:https://www.cnblogs.com/Courage129/为什么限制电流?在我们的日常生活中,哪些地方需要限制电流?我旁边有一个国...

每天学习一点Java面试笔试和Java技术。

作者:等不及口琴了。

来源:https://www.cnblogs.com/Courage129/

为什么限制电流?

在我们的日常生活中,哪些地方需要限制电流?

我旁边有一个国家级景区,平时可能根本不去,但是五一或者春节就人满为患了。这时,景区管理人员会实施一系列政策,限制人流进入。

为什么限制电流?如果景区能容纳1万人,现在有3万人在里面,难免会导致肩并肩,做不好还会出事故。这样一来,所有人都会有不好的体验。如果发生事故,景区可能不得不关闭,这将使其无法对外开放。结果,所有人都觉得这次经历很可怕。

限流的思路是在保证可用性的情况下尽可能增加入场人数,其余的都在外面排队等候,保证里面1万人可以正常发挥。

回到互联网,这也是同样的道理。比如某明星公布恋情时,访问次数从50万增加到500万,系统最多可以支持200万次访问,所以需要执行限流规则,保证处于可用状态,这样所有请求都不会因为服务器崩溃而不可用。

限流思想

要限制系统服务的电流,一般有以下几种模式:

勃然大怒

系统设计之初就考虑到了熔断措施。当系统出现问题,短时间内无法修复时,系统应自动做出判断,开启熔断开关,拒绝流量接入,避免大流量对后端的过载请求。

系统还应该能够动态监控后端程序的修复。当程序稳定后,可以关闭保险丝开关,恢复正常服务。

常见的熔断器元件有阿里的Hystrix和Sentinel,各有利弊,可根据实际业务情况选择。

服务质量下降。

系统的所有功能和服务都是分级的。当系统出现需要紧急限流的问题时,可以降级并停止不太重要的功能,从而释放更多资源用于核心功能的使用。

比如在电商平台,如果突然流量激增,可以暂时降级产品评论、积分等非核心功能,停止这些服务,释放机器、CPU等资源,保证用户正常下单。但是,这些降级的功能服务可以在整个系统恢复正常后启动,并且可以执行订单补充/补偿处理。

除了功能降级,还可以使用读写缓存的方法,而不是直接操作数据库作为临时降级方案。

延迟处理

在这种模式下,需要在系统前端设置一个流量缓冲池,所有请求都被缓冲到这个缓冲池中,而不需要立即处理。然后后端真实业务处理程序从这个池中取出请求,依次进行处理,可以通过队列方式实现。

这相当于以异步方式降低后端处理压力。但当流量较大时,后端处理能力有限,缓冲池中的请求可能无法及时处理,会有一定程度的延迟。下面的漏桶和令牌桶算法就是这个思路。

特许处理

在这种模式下,需要对用户进行分类,通过预设的分类,系统会优先考虑需要高安全性的用户,其他用户的请求会延迟或者不直接处理。

缓存、降级和电流限制之间的差异。

缓存用于增加系统吞吐量、提高访问速度和提供高并发性。

降级,当系统的某些服务组件不可用时,流量激增,资源耗尽等。暂时屏蔽掉掉出问题的服务,继续提供降级服务,尽可能给用户友好提示,返回底层数据,不会影响整体业务流程。

限流指的是使用缓存且降级无效的场景。比如达到阈值时,限制接口调用频率、访问次数、库存数量等。并提前降级服务

限流算法有很多,其中比较常见的有三种,分别是计数器算法、漏桶算法和令牌桶算法,下面逐一说明。

计数器算法

简单粗暴,比如指定线程池大小、数据库连接池大小、nginx连接等。都属于计数器算法。

计数器算法是电流限制算法中最简单、最容易实现的。例如,我们规定对于接口A,一分钟的访问次数不应超过100次。

然后我们可以这样做:在开始的时候,我们可以设置一个计数器,每次有请求来的时候,计数器就会增加1。如果计数器的值大于100,并且请求和第一个请求之间的间隔在1分钟内,则意味着请求太多,访问被拒绝。如果这个请求和第一个请求之间的时间间隔超过1分钟,并且计数器的值仍然在当前的限制范围内,那么重置计数器就这么简单粗暴。

漏桶

漏桶的思路很简单。水(请求)先进入漏桶,漏桶以一定速度出来。当水的流入速度过高,超过水桶的允许容量时,会直接溢出。可见漏桶会强行限制数据传输速率。

bt/0/13969903211/1000">

这样做的好处是:

削峰:有大量流量进入时,会发生溢出,从而限流保护服务可用

缓冲:不至于直接请求到服务器,缓冲压力

消费速度固定,因为计算性能固定

令牌桶算法

令牌桶与漏桶相似,不同的是令牌桶桶中放了一些令牌,服务请求到达后,要获取令牌之后才会得到服务。

举个例子,我们平时去食堂吃饭,都是在食堂内窗口前排队的,这就好比是漏桶算法,大量的人员聚集在食堂内窗口外,以一定的速度享受服务,如果涌进来的人太多,食堂装不下了,可能就有一部分人站到食堂外了,这就没有享受到食堂的服务,称之为溢出,溢出可以继续请求,也就是继续排队,那么这样有什么问题呢?

如果这时候有特殊情况,比如有些赶时间的志愿者啦、或者高三要高考啦,这种情况就是突发情况,如果也用漏桶算法那也得慢慢排队,这也就没有解决我们的需求,对于很多应用场景来说,除了要求能够限制数据的平均传输速率外,还要求允许某种程度的突发传输。

这时候漏桶算法可能就不合适了,令牌桶算法更为适合。如图所示,令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌,而如果请求需要被处理,则需要先从桶里获取一个令牌,当桶里没有令牌可取时,则拒绝服务。

令牌桶好处就是,如果某一瞬间访问量剧增或者有突发情况,可以通过改变桶中令牌数量来改变连接数,就好比那个食堂排队吃饭的问题,如果现在不是直接去窗口排队,而是先来楼外拿饭票然后再去排队,那么有高三的学生时可以将增加饭票数量或者优先将令牌给高三的学生,这样比漏桶算法更加灵活。

并发限流

简单来说就是设置系统阈值总的 QPS 个数,这些也挺常见的,就拿 Tomcat 来说,很多参数就是出于这个考虑,例如配置的acceptCount 设置响应连接数,maxConnections 设置瞬时最大连接数,maxThreads 设置最大线程数,在各个框架或者组件中,并发限流体现在下面几个方面:

限制总并发数(如数据库连接池、线程池)

限制瞬时并发数(nginx的limit_conn模块,用来限制瞬时并发连接数)

限制时间窗口内的平均速率(如Guava的RateLimiter、nginx的limit_req模块,限制每秒的平均速率)

其他的还有限制远程接口调用速率、限制MQ的消费速率。

另外还可以根据网络连接数、网络流量、CPU或内存负载等来限流。

有了并发限流,就意味着在处理高并发的时候多了一种保护机制,不用担心瞬间流量导致系统挂掉或雪崩,最终做到有损服务而不是不服务;但是限流需要评估好,不能乱用,否则一些正常流量出现一些奇怪的问题而导致用户体验很差造成用户流失。

接口限流

接口限流分为两个部分,一是限制一段时间内接口调用次数,参照前面限流算法的计数器算法,二是设置滑动时间窗口算法。

接口总数

控制一段时间内接口被调用的总数量,可以参考前面的计数器算法,不再赘述。

接口时间窗口

固定时间窗口算法(也就是前面提到的计数器算法)的问题是统计区间太大,限流不够精确,而且在第二个统计区间时没有考虑与前一个统计区间的关系与影响(第一个区间后半段 + 第二个区间前半段也是一分钟)。

为了解决上面我们提到的临界问题,我们试图把每个统计区间分为更小的统计区间,更精确的统计计数。

在上面的例子中,假设 QPS 可以接受100次查询/秒,前一分钟前40秒访问很低,后20秒突增,并且这个持续了一段时间,直到第二分钟的第40秒才开始降下来,根据前面的计数方法,前一秒的 QPS 为94,后一秒的 QPS 为92,那么没有超过设定参数,但是!但是在中间区域,QPS 达到了142,这明显超过了我们的允许的服务请求数目,所以固定窗口计数器不太可靠,需要滑动窗口计数器。

计数器算法其实就是固定窗口算法,只是它没有对时间窗口做进一步地划分,所以只有1格;由此可见,当滑动窗口的格子划分的越多,也就是将秒精确到毫秒或者纳秒, 那么滑动窗口的滚动就越平滑,限流的统计就会越精确。

需要注意的是,消耗的空间就越多。

限流实现

这一部分是限流的具体实现,简单说说,毕竟长篇代码没人愿意看。

guava实现

引入包

核心代码

令牌桶实现

稳定模式(SmoothBursty:令牌生成速度恒定)

RateLimiter.create(2) 容量和突发量,令牌桶算法允许将一段时间内没有消费的令牌暂存到令牌桶中,用来突发消费。

渐进模式(SmoothWarmingUp:令牌生成速度缓慢提升直到维持在一个稳定值)

超时

在timeout时间内是否能够获得令牌,异步执行

分布式系统限流

Nginx + Lua实现

可以使用resty.lock保持原子特性,请求之间不会产生锁的重入

https://github.com/openresty/lua-resty-lock

使用lua_shared_dict存储数据

1.本站部分来源于互联网用户自主整合上传,如有侵权,请联系我们删除;

2.文章内容并不代表本站的观点或立场,如有关于文章内容,版权或其它问题请联系删除;

3.本文地址:https://jiatu888.com/hlw/83657.html

架构 java 算法

最新文章

网站介绍

本站部分内容收集于互联网,如有侵犯贵司(个人)版权,请联系本站删除。

Copyright@2018-2021 www.jiatu888.com 嘉图网 All Rights Reserved 粤ICP备20051635号 网站地图 tag列表

嘉图网