Adlik 深度学习推理加速工具链的应用

2022-12-17 16:35

张凯莉

张凯莉中兴通讯股份有限公司人工智能算法工程师

从事 AI 相关工作多年
主要参与公司的 AI 平台研发、开源项目 Adlik 模型编译部分的代码编写、Adlik 服务部署以及推理性能测试、CV 大模型的搭建及训练等

Adlik 是一种将深度学习模型从训练完成,到部署到特定硬件并提供应用服务的端到端工具链,能够实现模型从研发状态到生产应用环境的高效切换;Adlik 与多种推理引擎协作(TensorFlow、TensorFlow_lite、PyTorch、TensorRT、OpenVINO、PaddlePaddle 和燧原芯片等),提供灵活的模型加速、部署、推理方案,助力用户构建高性能AI应用。

对于训练好的模型,Adlik 可以通过剪枝和量化对模型进行优化;优化好的模型可以使用 Adlik 的模型编译器进行模型转换(这部分通过简单的 Python 脚本即可完成),方便用户部署到云端、边侧或者端侧,Adlik 模型编译器目前支持大多数格式的模型文件(ckpt、pb、h5、onnx、pth等),方便用户对于不同训练框架的模型进行操作;对于编译好的模型,用户可以使用 Adlik serving 进行服务部署,然后使用部署好的服务进行推理,同一个模型部署的不同类型的服务可以使用同一套 Python 客户端代码进行推理,方便用户测试最优的服务部署方案。