下一代 Hadoop 存储：基于 BlueField-3 与 CSAL 的性能与可靠性升级

Wayne Gao Solidigm 首席工程师兼存储解决方案架构师

他主导了 CSAL（Compute Storage Acceleration Library）项目，从 Intel 内部功能验证一路推进至阿里巴巴的商业化落地，并在 Intel 向 Solidigm 业务交接期间，担任 PMem、DSA 与 CXL.mem 实现的主要开发者。
Wayne 拥有 20 余年企业级存储研发经验。加入 Solidigm 前，他曾任 Dell EMC ObjectScale 全闪存对象存储团队高级首席软件工程师，也曾担任阿里巴巴 P8 级工程师，在中国企业存储与云存储技术社区拥有深厚影响力。
他拥有 4 项美国专利（已申请/授权），是 EuroSys 2024 CSAL 论文联合作者，荣获 USENIX FAST 2026 Best Paper Award，并以第一作者身份入选 NVIDIA GTC 2025、GTC 2026（海报展示）以及 KubeCon 2025（主题演讲）。
目前，Wayne 作为 Solidigm 代表担任 ODCC 专家委员会委员，专注于中国地区存储软件方向。
工作之余，他喜欢羽毛球、游泳、电影和电子游戏。

摘要

介绍 BlueField-3 + CSAL 的新一代 Hadoop 存储方案，如何优化数据访问路径、卸载存储处理任务并重构 HDFS 以提升资源利用率。

详情

CSAL（Compute Storage Acceleration Library）是一个开源的用户态 FTL、缓存与 I/O Trace 加速组件，已作为 SPDK 上游项目，为大数据与 AI 存储提供性能加速能力，并已在阿里云实现商业化应用。

随着大规模数据分析、AI 模型训练与推理，以及实时数据处理等场景快速发展，传统 Hadoop 存储架构因"Share Everything（共享一切）"设计，在高并发、高吞吐、低延迟场景下面临明显性能瓶颈。

本次分享将介绍 BlueField-3 + CSAL 的新一代 Hadoop 存储方案，包括：优化数据访问路径，实现存储吞吐能力的大幅提升；利用 BlueField-3 DPU 卸载存储处理任务，将 CPU 开销降低 70%–80%；基于计算与存储分离（Compute-Storage Separation）理念重构 HDFS，显著提升资源利用率与系统扩展能力。

同时，分享还将深入介绍如何结合三副本、纠删码（EC）与 RAID 等多层冗余机制，在节点故障、磁盘故障等复杂场景下保障数据可靠性、完整性与企业级安全性。该方案适用于多种高性能数据基础设施场景，包括大规模数据分析、AI 模型训练与推理、实时流式计算等。