登录
首页 > 今日新闻 > 快手 Redis 架构演进:成本优化、稳定增效与未来规划

快手 Redis 架构演进:成本优化、稳定增效与未来规划

发布时间:2025-04-14 17:19:14 发布用户: 1873603655
当今数字化时代,数据处理和存储的效率与稳定性至关重要。Redis 作为一款高性能的键值对数据库,在众多企业的技术架构中占据着关键地位。快手,作为行业内的佼佼者,其 Redis 架构的演进历程蕴含着丰富的技术实践与创新经验,值得深入探究。
 
快手 Redis 的应用规模与场景
快手的 Redis 规模堪称庞大,每日处理百万亿级别的命令,内存总量达 PB 级,拥有百万级实例、数万集群和机器,分布在十数个不同的 IDC。如此大规模的应用,源于其多样化的使用场景。在缓存场景中,视频、用户、关系及推荐结果等数据都借助 Redis 进行缓存,极大提升了数据读取速度;社交场景里,计数、时间轴、点赞、关注和排行榜等功能的实现,离不开 Redis 的支持;实时计算方面,实时推荐、广告系统和消息队列依靠 Redis 确保数据的实时处理;电商场景中的抢购、订单和红包业务,Redis 也发挥着重要作用。此外,Redis 还应用于布隆过滤器、咆哮位图、小文件缓存和交换机等场景,充分展现了其强大的功能和广泛的适用性。
 
Redis 成本优化策略
随着业务的迅猛发展,Redis 的规模也在 “野蛮” 增长。为应对成本问题,快手采取了一系列优化措施。
 
精细化运营
在生产管控上,改变以往粗放的申请模式,通过精细化申请流程、业务资源接口人审核以及平台按需决策拓扑,结合容量预估工具、业务配额管理和业务画像、用户画像等手段,实现资源的精准分配。在版本管理方面,深入调研国内版本和快手内部版本分布,发现旧版本在容量利用上存在不足。例如,升级版本后,不同数据结构的容量占用有显著降低,字符串类型降低 1.41 倍,hash 类型降低 2.13 倍等。通过合理选择版本,在满足业务需求的同时,有效降低了成本12。
 
降冷措施
硬件降冷是重要一环,采用大内存、低耗硬件,并自研 Redis on AEP 和 Redis on SSD。Kcache(Redis on AEP)成本仅为传统 Redis 的 50%,Kiwi(Redis on SSD)成本更是低至 10%,在保证性能的前提下,大幅削减了成本。
 
容器化探索
容器化过程虽历经纠结,但最终确定了其长期价值。尽管短期内容器化可能导致成本增加、效率降低,但从长远看,公司统一调度资源和 K8S 调度优势将带来成本优化和效率提升。而且,在系统调优后,容器 Redis 的性能差异可控制在 1%-2%,稳定性也因容器技术的成熟得到保障。
 
Redis 稳定增效实践
快手在 Redis 稳定增效方面成果显著,实现了 99.9995% 的高稳定性,由 2 人运维超大规模的万台机器、万个集群和百万实例,全年 SLA 达到 99.999% 以上,连续 5 年无 P 级故障,运维 100% 平台化。这些成绩的背后,是一系列有效的稳定增效手段。
 
内核及热点优化
Redis 单 work 线程的特性使其在处理单 key 复杂操作时性能欠佳,且热点问题不定时发生,对可用性影响极大。快手通过 1 分钟检测热点,将热 key 上浮到 proxy 层和 Redis SDK,并采用多级缓存(SDK 本地缓存和 Proxy 本地缓存)的方式,有效缓解了热点问题对系统的冲击。
 
限流与审计优化
针对超量申请和热点写操作,快手实现了全维度(集群、命令、key、调用方)的限流,兼顾稳定性与功能性。同时,优化审计功能,确保数据操作的安全与合规。
 
安全与版本升级
在安全方面,引入 SSL、ACL 等技术保障数据安全。通过升级 Redis 版本,利用如 Rehash V2、异步删除、异步逐出等新特性,提升系统性能和稳定性。例如,异步删除在处理大 key 时,根据不同数据结构和数据量,能有效减少删除操作的耗时;异步逐出相较于同步逐出,在逐出大量 key 时,Hang 住时间从秒级降至 0.03 秒,极大提升了系统可用性34。
 
平台化建设
通过 100% 平台化建设,实现运维操作白屏化、自动化和智能化。运维人员无需登录机器即可完成操作,核心运维操作一键完成,日常高频问题可自动自愈,还通过多维度监控和全指标覆盖,及时发现并解决潜在问题,确保 Redis 系统稳定运行。
 
未来规划展望
展望未来,快手在 Redis 架构上有着清晰的规划。在成本控制上,全面推进容器化,实现公司资源统一调度;持续探索新硬件(AEP、ARM)和新架构(冷热分离)进行降冷;通过多租户技术解决资源长尾问题。在效率提升方面,致力于提升平台效率,实现 80% 运维外包化。在稳定性保障上,持续跟进 Redis 新版本,不断进行稳定性问题自研,确保 Redis 架构始终满足业务发展需求。
快手 Redis 架构的演进实践,为其他企业在 Redis 应用和优化方面提供了宝贵的经验。从成本优化到稳定增效,再到未来规划,每一步都凝聚着技术团队的智慧与努力,也为行业发展指明了方向。 
Copyright 2018-2024 集齐豆 版权所有  京ICP备2018023569号