面对突发流量：系统、软件层限流手段

如果??我的文章有帮助，欢迎点赞、关注。这是对我继续技术创作最大的鼓励。更多文章在我博客[1]

面对突发流量：系统、软件层限流手段

简介

站、媒体都在追逐热点追逐流量，但有时候流量增加不一定是好事。 站流量暴增大致为以下几种情况

1. 站被恶意刷量2.CDN 回源抓取数据3.合作业务平台调取平台数据等4.突然爆发的 会热点5.营销活动的宣传

4、5 站喜欢的流量；2、3 属于业务合作；唯独第 1 点需要防御

但在开始之前需要明确一点，我把机房分为两种分云机房、自建机房。

?对外业务部署在云机房比较稳妥，因为厂商有更多资源（加机器、扩容量、加带宽）、配套方案（换ip/上高防）应对流量波动以及流量攻击。?自建机房一般用于公司内部系统，业务数据收集、统计储存。通过ip白名单就能限定只有 自己的云服务器才能访问自建机房。从而降低被攻击的可能

iptables 对 ip/端口 限流

限制指定端口并发数

输入命令 service iptables stop 关闭iptables（注意：iptables可能会有问题，貌似在旧版本中不被认为是一个服务，而是防火墙）

限制端口并发数很简单，IPTABLES就能搞定了，假设你要限制端口8388的IP最大连接数为5; 限制端口1024-10240的IP最大连接数两句话命令：

其他端口以此类推，然后保存IPTABLES规则 service iptables save。

输入命令service iptables start启动即可

最后用命令查看是否生效iptables -L -n -v

限制指定端口传输速度

输入命令 service iptables stop 关闭 iptables

限制端口并发数很简单，IPTABLES就能搞定了，假设你要限制端口5037的最大连接速度为60个包每秒，两句话命令：

也就是限制每秒接受60个包，一般来说每个包大小为64—1518字节(Byte)。

限制IP的访问速度

原理：每秒对特定端口进行速度控制，比如每秒超过700个的数据包直接DROP，从而限制特定端口的速度

Linux下通过iptables限制流量

可以通过以下脚本即可实现（首先需要将这台机器配置成 关）。下面给出一个脚本的简单示例：

最后说一下如何解决防火墙重启后失败的问题

nginx 限流

对域名限速

ngx_http_limit_req_module 模块提供限制请求处理速率能力，使用了漏桶算法(leaky bucket)。下面例子使用 nginx limit_req_zone 和 limit_req 两个指令，限制单个IP的请求处理速率。

在 nginx.conf http 中添加限流配置：

格式：limit_req_zone key zone rate

配置 server，使用 limit_req 指令应用限流。

?key ：定义限流对象，binary_remote_addr 是一种key，表示基于 remote_addr(客户端IP) 来做限流，binary_ 的目的是压缩内存占用量。?zone：定义共享内存区来存储访问信息， myRateLimit:10m 表示一个大小为10M，名字为myRateLimit的内存区域。1M能存储16000 IP地址的访问信息，10M可以存储16W IP地址访问信息。?rate 用于设置最大访问速率，rate=10r/s 表示每秒最多处理10个请求。Nginx 实际上以毫秒为粒度来跟踪请求信息，因此 10r/s 实际上是限制：每100毫秒处理一个请求。这意味着，自上一个请求处理完后，若后续100毫秒内又有请求到达，将拒绝处理该请求。

处理突发流量

上面例子限制 10r/s，如果有时正常流量突然增大，超出的请求将被拒绝，无法处理突发流量，可以结合 burst 参数使用来解决该问题。

burst 译为突发、爆发，表示在超过设定的处理速率后能额外处理的请求数。当 rate=10r/s 时，将1s拆成10份，即每100ms可处理1个请求。

此处，*burst=20 *，若同时有21个请求到达，Nginx 会处理第一个请求，剩余20个请求将放入队列，然后每隔100ms从队列中获取一个请求进行处理。若请求数大于21，将拒绝处理多余的请求，直接返回503.

不过，单独使用 burst 参数并不实用。假设 burst=50 ，rate依然为10r/s，排队中的50个请求虽然每100ms会处理一个，但第50个请求却需要等待 50 * 100ms即 5s，这么长的处理时间自然难以接受。

因此，burst 往往结合 nodelay 一起使用。

nodelay 针对的是 burst 参数，burst=20 nodelay 表示这20个请求立马处理，不能延迟，相当于特事特办。不过，即使这20个突发请求立马处理结束，后续来了请求也不会立马处理。burst=20 相当于缓存队列中占了20个坑，即使请求被处理了，这20个位置这只能按 100ms一个来释放。

这就达到了速率稳定，但突然流量也能正常处理的效果。

限制连接数

ngx_http_limit_conn_module 提供了限制连接数的能力，利用 limit_conn_zone 和 limit_conn 两个指令即可。下面是 Nginx 官方例子：

limit_conn perip 10 作用的key 是 $binary_remote_addr，表示限制单个IP同时最多能持有10个连接。

limit_conn perserver 100 作用的key是 $server_name，表示虚拟主机(server) 同时能处理并发连接的总数。

需要注意的是：只有当 request header 被后端server处理后，这个连接才进行计数。

对 站路径限速(下行)

找到nginx配置文件nginx.conf

[root@localhost ~]# find ./ -name "nginx*"[root@localhost ~]# whereis nginxnginx: /usr/local/nginx

修改了nginx.conf文件后重新加载配置文件

[root@localhost /]# /usr/local/nginx/sbin/nginx -s reload ngx_http_fastdfs_set pid=7988

设置白名单

限流主要针对外部访问，内 访问相对安全，可以不做限流，通过设置白名单即可。利用 Nginx ngx_http_geo_module[2] 和 ngx_http_map_module[3] 两个工具模块即可搞定。

在 nginx.conf 的 http 部分中配置白名单：

geo 对于白名单(子 或IP都可以) 将返回0，其他IP将返回1。

map 将 limit 转换为 limit 转换为 limit_key，如果是 $limit 是0(白名单)，则返回空字符串；如果是1，则返回客户端实际IP。

limit_req_zone 限流的key不再使用 binaryremoteaddr，而是binary_remote_addr，而是 binaryremoteaddr，而是 limit_key 来动态获取值。如果是白名单，limit_req_zone 的限流key则为空字符串，将不会限流；若不是白名单，将会对客户端真实IP进行限流。

限速

除限流外，ngx_http_core_module[4] 还提供了限制数据传输速度的能力(即常说的下载速度)。

例如：

location /flv/ {    flv;    limit_rate_after 20m;    limit_rate       100k;}

这个限制是针对每个请求的，表示客户端下载前20M时不限速，后续限制100kb/s。

References

[1] 更多文章在我博客: https://coderdao.github.io/
[2] ngx_http_geo_module: http://nginx.org/en/docs/http/ngx_http_geo_module.html
[3] ngx_http_map_module: http://nginx.org/en/docs/http/ngx_http_map_module.html
[4] ngx_http_core_module: http://nginx.org/en/docs/http/ngx_http_core_module.html#limit_rate_after

#21天图文打卡挑战（第二期）##