Cloudflare通过软件优化节省100TB内存

Cloudflare通过改进其DNS缓存平台Big Pineapple的存储方式，成功将DNS缓存使用的内存减少了超过一半。这次软件层面的优化没有增加任何硬件设备或移除内存模块，而是通过五项技术调整实现了每个缓存条目从953字节减少到420字节的目标。这些改进不仅节省了大约100TB的RAM，还提高了DNS查询的速度和效率。Cloudflare表示，在大规模部署下，即使是微小的内存浪费也会迅速累积成巨大的成本负担。工程师们重新设计了Big Pineapple中的DNS响应在内存中的布局，并且不再保留重复的域名所有者名称，而是根据需要重建这些名称。此外，他们还存储记录数据为长度前缀的原始字节格式，减少了不必要的空间占用。这次优化使得插入吞吐量从625,000增加到893,000条目每秒，而查找延迟则从828纳秒减少到了670纳秒。Cloudflare计划将节省下来的内存用于更大的DNS缓存，以提高命中率并减少发送给权威DNS服务器的流量。