清华大学开源大模型推理引擎“赤兔Chitu”,助力AI芯片应用
清华大学高性能计算研究所与清华系科创企业清程极智联合开源大模型推理引擎“赤兔Chitu”,该引擎首次实现非英伟达Hopper架构GPU及国产芯片上原生运行FP8精度模型,特别针对市场迫切需求,将DeepSeek-R1 FP8模型无损高效部署在存量英伟达GPU上。...
清华大学高性能计算研究所与清华系科创企业清程极智联合开源大模型推理引擎“赤兔Chitu”,该引擎首次实现非英伟达Hopper架构GPU及国产芯片上原生运行FP8精度模型,特别针对市场迫切需求,将DeepSeek-R1 FP8模型无损高效部署在存量英伟达GPU上。...