内核参数调优

#最佳实践 #调优

1. 怎么查当前参数？

1.1 基本查询

# 查询单个参数
sysctl vm.swappiness
cat /proc/sys/vm/swappiness

# 查看所有内核参数
sysctl -a
# 查看配置文件
cat /etc/sysctl.conf

# 查看当前 ulimit 限制
ulimit -a
ulimit -n  # 查看文件描述符限制

1.2 高级查询

# 查询特定类别的参数
sysctl -a | grep "^vm\."  # 内存相关
sysctl -a | grep "^net\." # 网络相关
sysctl -a | grep "^fs\."  # 文件系统相关

# 查看参数说明
sysctl -d vm.swappiness

2. 内存相关参数

3. 网络相关参数

4. 文件系统相关参数

5. 进程相关参数

6. 调度器相关参数

7. ulimit 限制（用户级）

# 查看当前限制
ulimit -a

# 查看具体进程的限制
cat /proc/<PID>/limits

8. 什么时候需要调优？

8.1 系统级检查

# 1. 检查是否出现 "too many open files"
dmesg | grep -i "too many open files"

# 2. 查看当前文件句柄使用情况
cat /proc/sys/fs/file-nr
# 输出：已分配  已使用  最大值

# 3. 查看 TCP 连接状态统计
ss -s
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

# 4. 查看 TIME_WAIT 连接数
ss -ant | grep TIME_WAIT | wc -l

# 5. 查看内存和 swap 使用
free -h
vmstat 1 5

# 6. 查看脏页情况
cat /proc/meminfo | grep Dirty

# 7. 查看网络队列丢包
netstat -s | grep -i "listen queue"
cat /proc/net/netstat | grep TcpExt

# 8. 查看系统负载
uptime
cat /proc/loadavg

# 9. 查看 CPU 使用率
top -n 1 | grep "Cpu(s)"

8.2 应用级检查

# 查看特定进程的资源使用
pidstat -p <PID> 1 5

# 查看进程的线程数
ps -eLf | grep <process_name> | wc -l

# 查看进程的内存映射
cat /proc/<PID>/maps | wc -l

# 查看进程的文件描述符使用
ls /proc/<PID>/fd | wc -l

8.3 常见问题信号

碰到这些情况就得调了：

• 文件句柄不够：报 "too many open files" → 调 fs.file-max 和 ulimit
• TIME_WAIT 太多：TIME_WAIT 连接数过万 → 调 tcp_tw_reuse、tcp_fin_timeout
• 频繁 swap：应用老是 swap → 调 vm.swappiness
• Elasticsearch 起不来：调 vm.max_map_count
• 网络连接超时、丢包：调 somaxconn、tcp_max_syn_backlog
• IO 性能抖动：调 vm.dirty_ratio
• 端口用完了：本地端口范围不够 → 调 ip_local_port_range
• 信号量不足：数据库启动失败 → 调 kernel.sem

9. 一键优化脚本

#!/bin/bash
# Linux 内核参数一键优化脚本

# 备份原配置
cp /etc/sysctl.conf /etc/sysctl.conf.bak.$(date +%F_%T)

# 内存优化
cat >> /etc/sysctl.conf << EOF
# 内存管理
vm.overcommit_memory = 1
vm.swappiness = 10
vm.max_map_count = 655360
vm.dirty_ratio = 15
vm.dirty_background_ratio = 5
vm.vfs_cache_pressure = 50
vm.min_free_kbytes = 65536

# 网络优化
net.core.somaxconn = 32768
net.core.netdev_max_backlog = 16384
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 600
net.ipv4.ip_local_port_range = 10000 65535
net.ipv4.tcp_max_tw_buckets = 36000
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728
net.ipv4.tcp_slow_start_after_idle = 0

# 文件系统
fs.file-max = 2097152
fs.inotify.max_user_watches = 524288
fs.aio-max-nr = 1048576
fs.nr_open = 1048576

# 进程和调度
kernel.pid_max = 4194304
kernel.sem = 250 32000 32 128
EOF

# 应用配置
sysctl -p

# ulimit 配置
cat >> /etc/security/limits.conf << EOF
* soft nofile 1000000
* hard nofile 1000000
* soft nproc 65535
* hard nproc 65535
* soft memlock unlimited
* hard memlock unlimited
* soft core unlimited
* hard core unlimited
EOF

# 对于 systemd 服务，还需配置
mkdir -p /etc/systemd/system.conf.d/
cat > /etc/systemd/system.conf.d/limits.conf << EOF
[Manager]
DefaultLimitNOFILE=1000000
DefaultLimitNPROC=65535
EOF

systemctl daemon-reexec

echo "内核参数优化完成，部分配置需重新登录或重启生效"
echo "建议执行 'sysctl -p' 确认配置已生效"

10. 怎么验证配置生效了？

# 验证 sysctl 参数
sysctl vm.swappiness vm.max_map_count net.core.somaxconn

# 验证 ulimit（需重新登录）
ulimit -n
ulimit -u

# 查看进程实际限制
cat /proc/$(pgrep -f your_app)/limits

# 验证特定服务限制
systemctl show <service_name> | grep LimitNOFILE

11. 调优要注意什么？

11.1 基本原则

1. 一次别改太多：每次只调几个参数，看看效果再继续
2. 做基准测试：调优前后都测一下，看看到底提升了多少
3. 盯着监控：建立监控，及时发现调优带来的问题
4. 记录下来：把调优过程记下来，方便以后排查问题

11.2 别踩坑

1. 先备份：调优前一定要备份原始配置
2. 先测试：别直接在生产环境改，先在测试环境试试
3. 准备回滚：万一出问题，得能快速回滚
4. 看关键指标：盯着 CPU、内存、IO、网络这些指标

11.3 不同场景怎么调？

1. 容器环境：要考虑容器资源限制和宿主机参数
2. 高并发服务：重点看网络队列、文件句柄、端口范围
3. 数据库应用：重点看内存映射、信号量、异步 IO
4. 实时系统：重点看调度延迟、中断处理、内存分配