端側(cè)AI為什么需要SRAM存算一體架構(gòu)？

老虎說(shuō)芯|Tiger Chip|

2025-07-28 18:48:34 595

從端側(cè)AI芯片工程師的角度來(lái)看，面對(duì)帶寬、能耗與成本三重挑戰(zhàn)，引入SRAM存算一體架構(gòu)（In-Memory Computing, IMC） 是應(yīng)對(duì)當(dāng)前大模型端側(cè)部署瓶頸的核心解決方案之一。

一、為什么DRAM主存+傳統(tǒng)計(jì)算架構(gòu)難以滿足端側(cè)大模型部署？

1. 帶寬瓶頸（Memory Wall）

DRAM（如LPDDR5/DDR5）的總線帶寬在端側(cè)芯片上極為有限（10–50 GB/s），遠(yuǎn)低于大模型推理所需的數(shù)據(jù)吞吐量。
以一個(gè)70億參數(shù)的FP16模型為例，模型參數(shù)約占14GB，若每輪推理都需頻繁從DRAM中調(diào)入權(quán)重，將帶來(lái)巨大的訪問(wèn)延遲與能耗開(kāi)銷。

2. 功耗與能效不足

數(shù)據(jù)搬移的能耗遠(yuǎn)高于計(jì)算本身：

一次DRAM訪問(wèn)：約100~200 pJ/bit
一次SRAM訪問(wèn)：約1~10 pJ/bit
一次MAC操作：<1 pJ（單精度）

在Transformer這類大模型中，90%以上能耗和延遲都來(lái)源于內(nèi)存訪問(wèn)。

3. 算力利用率低

傳統(tǒng)Von Neumann架構(gòu)中，計(jì)算單元（MAC陣列）等待內(nèi)存數(shù)據(jù)的時(shí)間極長(zhǎng)，導(dǎo)致NPU/AI Core利用率遠(yuǎn)低于理想值（通常 <50%）。

二、為什么選擇SRAM + 存算一體架構(gòu)？

1. 本質(zhì)目標(biāo)：減少數(shù)據(jù)搬移，提高能效比

將權(quán)重存入SRAM，并在SRAM中進(jìn)行局部計(jì)算，可顯著減少DRAM讀寫(xiě)與片上總線流量，緩解帶寬瓶頸。
SRAM的高帶寬、低延遲特性，天然適合對(duì)參數(shù)讀取頻繁的模型結(jié)構(gòu)（如注意力機(jī)制中的QKV矩陣計(jì)算）。

2. 實(shí)現(xiàn)方式：SRAM陣列+低位寬MAC計(jì)算

將部分權(quán)重映射到SRAM bitcell結(jié)構(gòu)中，結(jié)合周邊MAC邏輯實(shí)現(xiàn)矩陣向量乘法（MVM）計(jì)算。
采用低位寬計(jì)算（如INT8甚至Binary），進(jìn)一步降低功耗。
典型結(jié)構(gòu)如：Processing-in-SRAM，或者更激進(jìn)的Analog IMC in SRAM（電壓、電流作為計(jì)算媒介）。

三、SRAM存算一體的優(yōu)勢(shì)（工程技術(shù)層面）

四、工程實(shí)踐挑戰(zhàn)與解決思路

五、典型芯片案例（支撐觀點(diǎn)）

六、總結(jié)

SRAM存算一體架構(gòu)是端側(cè)AI芯片實(shí)現(xiàn)“大模型部署”的關(guān)鍵方向。它本質(zhì)上通過(guò)“就地計(jì)算”打破傳統(tǒng)架構(gòu)的帶寬墻，顯著提高能效比和模型推理吞吐，降低功耗和散熱壓力，同時(shí)避免昂貴的DRAM訪問(wèn)帶來(lái)的BOM成本上升，是應(yīng)對(duì)端側(cè)算力三大矛盾（帶寬、功耗、成本）最可行的架構(gòu)突破。

免責(zé)聲明：本文采摘自“老虎說(shuō)芯”，本文僅代表作者個(gè)人觀點(diǎn)，不代表薩科微及行業(yè)觀點(diǎn)，只為轉(zhuǎn)載與分享，支持保護(hù)知識(shí)產(chǎn)權(quán)，轉(zhuǎn)載請(qǐng)注明原出處及作者，如有侵權(quán)請(qǐng)聯(lián)系我們刪除。

上一篇：: 穿越寒冬，向海而行 —— 一位芯片分銷人的出海之路

下一篇：: 金航標(biāo)/薩科微每周之星周沼全

端側(cè)AI為什么需要SRAM存算一體架構(gòu)？

客服QQ2635709730

客服QQ
2635709730