AI HOT 精选· aihot-apiZH10:00 · 09·11
OpenAI 讲他们怎么用 Python 和 Rust 搭了个存储平台,撑住 ChatGPT 10 亿用户
OpenAI 的在线存储平台 Habitat 现在每秒要处理超过 7000 万个请求,服务着每周超 10 亿的 ChatGPT 用户,管着 500PB 以上的数据。这篇文章是上篇,讲了它怎么从一个简单的 Python 客户端库,被逼成一个分布式服务。团队连续三年面对每年超 10 倍的增长,先是在 Python 的异步框架里抠延迟,解决功能开关的尾部延迟...
#OpenAI#Habitat#Azure Cosmos DB
一句话点评
OpenAI 把支撑 ChatGPT 的后台存储 Habitat 的架构演进公开了,上篇主要讲他们怎么用 Python 扛住每年 10 倍的用户增长,现在每秒要处理 7000 万个请求、管着 500PB 数据。文章没吹牛,老老实实列了异步延迟、连接池打满、下游被打挂这些具体坑和修法,最后还把部分模块从 Python 迁到了 Rust。底层数据库跑在 Azure Cosmos DB 上。这篇是...
HKR 分解
hook ✓knowledge ✓resonance —