高并发场景Redis优化：从QPS 2000到20000的实战经验
Redis选型应使用实际键大小、数据结构、命中率、并发请求及持久化策略做容量与压测验证；记录命令、版本、持续时间、错误率及P95/P99延迟，不能从内存规格或日活数直接推出QPS。
问题现象和性能瓶颈定位
大促前一天压测发现严重性能问题：
| 指标 | 压测前 | 业务要求 | 差距 |
|---|---|---|---|
| QPS | 待按实际负载测量 | 待按实际负载测量 | 待按实际负载测量 |
| 平均响应时间 | 待按实际负载测量 | 待按实际负载测量 | 待按实际负载测量 |
| P99响应时间 | 待按实际负载测量 | 待按实际负载测量 | 待按实际负载测量 |
| 连接数 | 50/100 | - | 连接池太小 |
通过Redis slowlog和监控定位到三大问题：
应用服务器10台，每台只有5个Redis连接，高并发时大量请求排队等待连接。
商品详情页缓存Key被大量访问，单个Key的QPS达到8000，超过Redis单线程处理能力。
恶意请求查询不存在的商品ID，绕过缓存直接打到数据库，导致数据库负载飙升。
优化1：连接池参数调优
第一步是调整应用层的Redis连接池配置（以Java Jedis为例）：
- maxTotal:5（最大连接数太小）
- maxIdle:2（空闲连接太少）
- minIdle:0（没有预热连接）
- maxWaitMillis:-1（无限等待容易卡死）
- maxTotal:100（根据并发量计算）
- maxIdle:50（保留足够空闲连接）
- minIdle:20（预热连接池）
- maxWaitMillis:200（超时快速失败）
Redis选型应使用实际键大小、数据结构、命中率、并发请求及持久化策略做容量与压测验证；记录命令、版本、持续时间、错误率及P95/P99延迟，不能从内存规格或日活数直接推出QPS。
优化2：热点Key本地缓存
对于极热的Key（如首页推荐商品），Redis单实例扛不住，需要在应用层加本地缓存：
- 识别热点Key：通过Redis monitor命令或阿里云监控，找出QPS超过5000的Key
- 增加本地缓存层：使用Caffeine或Guava Cache，将热点数据缓存在应用内存中
- 设置短TTL：本地缓存过期时间设为5-10秒，避免数据过期问题
- 缓存更新策略：商品价格变动时，通过消息队列通知所有应用节点清除本地缓存
- 缓存库:Caffeine（性能最优）
- 缓存大小:最多1000个Key
- 过期时间:10秒
- 更新机制:监听MQ主动失效
Redis选型应使用实际键大小、数据结构、命中率、并发请求及持久化策略做容量与压测验证；记录命令、版本、持续时间、错误率及P95/P99延迟，不能从内存规格或日活数直接推出QPS。
优化3：缓存穿透和雪崩防护
恶意请求和缓存失效会导致数据库压力暴增，需要多层防护：
| 问题类型 | 现象 | 解决方案 | 效果 |
|---|---|---|---|
| 缓存穿透 | 查询不存在的数据 | 布隆过滤器+空值缓存 | 拦截99.9%恶意请求 |
| 缓存雪崩 | 大量Key同时过期 | 过期时间加随机值 | 分散过期时间 |
| 缓存击穿 | 热点Key突然失效 | 互斥锁+永不过期 | 单线程重建缓存 |
具体实现：
启动时将所有有效商品ID加载到布隆过滤器，请求先查过滤器，不存在直接返回，避免查数据库。
查询不到的商品ID也缓存一个空值（TTL=5分钟），防止同一个恶意请求反复打到数据库。
缓存时间不要设固定值（如都是1小时），而是基础时间+随机值（如3600±300秒），避免同时过期。
优化效果：数据库QPS从5000降到500，系统稳定性大幅提升。
优化4：Redis集群扩容
前面优化后QPS到了12000，但还差8000。单实例Redis瓶颈在单线程，需要扩展为集群：
✅ 扩容方案
- 原架构：单节点主从版（1主2从）
- 新架构：集群版（3主3从，6个分片）
- 内存规格：从8GB升级到16GB
- 带宽：从192Mbps升级到384Mbps
⚠️ 注意事项
- 需要修改客户端配置（用JedisCluster）
- 不支持多Key事务（需改造业务逻辑）
- 迁移期间要做双写（新老集群同步）
- 假设示例（非官方报价或实际账单）：成本增加：从500元/月涨到1200元/月 此处金额和用量均只作为演算输入假设，适用地域、计费项与实际单价尚未核实；请替换为当前结算页单价及自己的用量后重新计算，不能据此认定节省或可购买。
迁移步骤：
- 创建新集群：阿里云控制台创建Redis集群版实例
- 数据迁移：使用redis-shake工具全量+增量同步数据
- 灰度切流：10%流量先切到新集群观察，无问题后全量切换
- 下线旧实例：观察1周后确认无问题，停止旧实例
Redis选型应使用实际键大小、数据结构、命中率、并发请求及持久化策略做容量与压测验证；记录命令、版本、持续时间、错误率及P95/P99延迟，不能从内存规格或日活数直接推出QPS。
常见问题
小网站需要这么复杂的优化吗？
不需要。如果QPS小于1000，单节点Redis主从版就够用。只有当QPS超过5000或者遇到性能瓶颈时，才需要考虑集群和本地缓存。
Redis集群版和主从版怎么选？
主从版适合QPS小于5万、数据量小于10GB的场景；集群版适合更高QPS或更大数据量。主从版便宜且运维简单，集群版贵但性能强，根据业务量选择。
本地缓存会不会导致数据不一致？
Redis选型应使用实际键大小、数据结构、命中率、并发请求及持久化策略做容量与压测验证；记录命令、版本、持续时间、错误率及P95/P99延迟，不能从内存规格或日活数直接推出QPS。
连接池配置多大合适？
Redis选型应使用实际键大小、数据结构、命中率、并发请求及持久化策略做容量与压测验证；记录命令、版本、持续时间、错误率及P95/P99延迟，不能从内存规格或日活数直接推出QPS。
总结
Redis选型应使用实际键大小、数据结构、命中率、并发请求及持久化策略做容量与压测验证；记录命令、版本、持续时间、错误率及P95/P99延迟，不能从内存规格或日活数直接推出QPS。