7月20日，AI 基礎(chǔ)設(shè)施創(chuàng)業(yè)公司中科加禾正式發(fā)布了第一代異構(gòu)原生 AI 算力工具——加禾異構(gòu)原生 AI 算力工具。

中科加禾創(chuàng)始人兼 CEO 崔慧敏發(fā)布并介紹，「加禾異構(gòu)原生 AI 算力工具」已經(jīng)在國產(chǎn)算力的 AI 基礎(chǔ)設(shè)施上發(fā)揮一定作用。它兼容多種國產(chǎn) AI 芯片，為屏蔽芯片差異提供了高性能的統(tǒng)一接口。在異構(gòu)原生平臺的基礎(chǔ)上，AI 算力集群在大模型推理上的時延可以降低 3-74 倍，吞吐率提升 1.4-2.1 倍，能效比提升 1.46 倍，可支持 340B 參數(shù)量的稠密大模型，以及 640B 的 MoE 大模型。

據(jù)了解，這套軟件工具包含異構(gòu)原生大模型推理引擎「SigInfer」、異構(gòu)原生微調(diào)引擎「SigFT」以及算子自動生成、轉(zhuǎn)譯工具「SigTrans」三款產(chǎn)品。

其中， SigInfer 是一款跨平臺、高性能的異構(gòu)原生推理引擎，不但支持服務(wù)器級的 AI 加速卡，還支持消費級 GPU。因此，它既可以部署于數(shù)據(jù)中心，也可以為各種端側(cè)設(shè)備實現(xiàn)加速。

作為異構(gòu)計算的技術(shù)底座，通過 SigInfer 接入的不同 AI 算力，可以做到調(diào)用接口統(tǒng)一，平滑遷移業(yè)務(wù)應(yīng)用。SigInfer 會在調(diào)用多種不同算力的同時進行多層次深度優(yōu)化，充分挖掘芯片算力的潛能。

它具備現(xiàn)代大模型推理引擎所具備的各種特征，如支持 API Serving、請求調(diào)度、Batch 管理、KV Cache 優(yōu)化、張量并行、流水線并行、專家并行、甚至多機流水并行等能力。

中科加禾表示，SigInfer 已經(jīng)支持了業(yè)界大部分的大模型結(jié)構(gòu)。目前，SigInfer 已經(jīng)可以實現(xiàn)完備的推理引擎能力。其支持的異構(gòu)加速卡集群可以靈活調(diào)度英偉達 AI 加速卡 + 國產(chǎn) AI 加速卡進行混合推理，最高可擴展至萬億級的大模型。

來源：機器之心