近日流媒体巨头Netflix的AI基础设施团队公布了一项分布式数据库优化成果:通过基于时序ID的异步管线拆分Cassandra宽分区的技术方案,成功将原有宽分区场景下的读请求延迟从秒级压缩至毫秒级,该方案可广泛应用于高并发用户行为分析、AI推荐系统特征调取等核心场景,大幅提升服务稳定性与业务效率。
作为全球拥有超2亿付费用户的流媒体平台,Netflix的个性化推荐系统贡献了平台80%以上的内容播放量,这套AI系统的响应速度、匹配精准度,直接决定了用户留存与平台营收,而支撑这套系统运转的核心存储底座,是目前互联网高并发场景下广泛使用的分布式NoSQL数据库Cassandra。
Cassandra的分布式架构天然适合存储海量时序数据,但随着Netflix用户规模持续扩张,单分区下累计的用户行为数据、内容特征向量数据量不断攀升,逐渐出现了行业普遍头疼的「宽分区」问题:单个分区存储的数据量超出最优查询阈值后,每次读请求需要遍历分区内的全部历史数据,导致平均读取延迟长期维持在2秒到3秒区间,峰值时段甚至会出现大量请求超时,直接拖慢推荐系统的响应速度,也影响用户打开APP时的内容加载体验。
登录后解锁全文,体验收藏、点赞、评论等完整功能
立即登录