Nginx优化

Sun, 02 Aug 2020 21:57:04 +0800

参考：https://www.nginx.com/blog/tuning-nginx/

nginx一般用作高性能反向代理。在http七层代理的情况下，它首先接收客户端请求，经过处理后再请求upstream server，因此nginx服务器上的连接数是客户端请求数的2倍，在高并发情况下，建立的连接数非常多，因此系统相关资源如打开文件数、tcp连接、可分配端口等很可能称为其瓶颈。可以从系统内核参数及nginx自身做一些优化。下面提到的相关参数按需调整。

相关内核参数

tcp连接队列调整

在内核中，为tcp连接维护了两个队列。一个是已经建立了连接的accept队列，这时候连接三次握手已经完毕，处于 established 状态；一个是还没有完全建立连接的队列，这个时候三次握手还没完成，处于 syn_rcvd 的状态。过程如下：

当server接收到client的 SYN 报⽂时，会将其加⼊到内核的SYN半连接队列
接着发送SYN+ACK给client，等待client回应ACK报⽂，client收到此包后connect()调用返回，进入establish状态
server接收到ACK报⽂后，把此连接从SYN队列移除并放⼊到Accept队列
此时server端应⽤调⽤accpet() socket接⼝从Accept 队列取出连接用于数据通信

如何查看这两个队列情况？

全连接查看：ss -ant

半连接查看：ss -ant | grep -i syn_recv | wc -l

LISTEN：
- Recv-Q 表示当前socket完成三次握手等待用户进程（此处即nginx）accept的连接个数，即全连接队列使用量。一般我们常常看到此值为0，没有堆积
- Send-Q 表示当前socket全连接队列最大长度
非LISTEN：
- Recv-Q 表示receive queue中已收到未读取的字节大小
- Send-Q 表示send queue中已发送未收到确认的字节大小

队列满了的情况

半连接满

此时会发生syn包被丢弃的现象，因而客户端会重试，性能下降。可能是syn攻击导致

1
2

$ netstat -s | grep -i syn
    612 SYNs to LISTEN sockets dropped

全连接满

并发量大，server端accept()调用过慢时出现，可能由于服务器负载、应用程序本身等问题导致。满了后新的连接直接丢弃或者回复reset包，此行为由内核参数tcp_abort_on_overflow控制（为0直接丢弃，为1回reset包），且内核socket统计信息里面listen overflowed数加1。

1
2

$ netstat -s | grep -i overflow
    612 times the listen queue of a socket overflowed

调优上可以适当增大全连接和半连接队列

Ops on erpan's note

Nginx优化

相关内核参数

tcp连接队列调整