聊聊 Python 里的哈希函数:从 vLLM 链式哈希的演进说起

闪电演讲
上海
14:50 - 15:00
分会场 E(综合楼 108 报告厅)
  • LuminolT 上海交通大学计算机学院硕士研究生、TAI 成员

    主要研究兴趣为大模型推理系统及机密计算。曾从事大模型推理基础设施相关工作,并长期参与 vLLM、SGLang 等推理框架的性能分析与工程优化实践,涉及 Prefix Cache、KV Cache、MoE 推理及服务性能优化等方向。作为 vLLM Contributor,参与了 xxHash Prefix Caching 支持的实现与上游贡献。

    lumonoit

摘要

从 vLLM Prefix Cache 的链式哈希设计出发,介绍其哈希实现从 Python built-in hash() 到 SHA-256、再到引入 xxHash 的演进,讨论性能、稳定性与安全性的权衡。

详情

在 Python 服务中,我们经常会使用哈希函数来实现字典索引、缓存键、数据分片、内容去重等功能,但 Python 内置 hash()、xxHash 和 SHA-256 等密码学哈希函数实际上提供了完全不同的工程属性。本次分享将从 vLLM Prefix Cache 的链式哈希设计出发,介绍其哈希实现从 Python built-in hash() 到 SHA-256,再到引入 xxHash 选项的演进过程,并结合 xxHash 支持实现的实践,讨论其中的性能、稳定性和安全性权衡。