搭載GDDR7的GPU于2025年5月正式上市，其中英偉達(dá)GPU RTX 5060首發(fā)，高端型號(hào)（如RTX 5090）將于2025年年末推出。在此背景下，Rambus半導(dǎo)體IP產(chǎn)品管理總監(jiān)Nidish Kamath圍繞“GDDR7加速AI推理”主題做了分享。
在AI技術(shù)快速發(fā)展的背景下，GPU顯卡面臨著更嚴(yán)苛的性能需求。GDDR顯存是專為顯卡設(shè)計(jì)的高性能DDR存儲(chǔ)器，主要承擔(dān)圖形數(shù)據(jù)的存儲(chǔ)與傳輸，其工作頻率、電壓等參數(shù)區(qū)別于標(biāo)準(zhǔn)DDR內(nèi)存。
最初，顯卡內(nèi)存兼容CPU內(nèi)存，當(dāng)時(shí)的顯卡主要使用DDR內(nèi)存。但隨著圖像處理需求逐年攀升，早期DDR內(nèi)存因位寬有限，難以滿足GPU并行計(jì)算需求，導(dǎo)致幀率下降或卡頓。在此基礎(chǔ)上，GPU顯存慢慢轉(zhuǎn)向GDDR。三星電子1998年推出的首款16 Mb GDDR內(nèi)存芯片，標(biāo)志著GPU和CPU內(nèi)存開始分離。
GDDR具有更高的數(shù)據(jù)傳輸速率和帶寬，在推動(dòng)GPU的發(fā)展過程中起到了很關(guān)鍵的作用。從GDDR顯存誕生以來，到現(xiàn)在共計(jì)演進(jìn)了7個(gè)版本（GDDR到GDDR7），每一代都在提升帶寬和降低功耗方面有所改進(jìn)。如今，GDDR7的起始速度達(dá)到32 GT/s，比最快的GDDR6內(nèi)存高60%，比最快的GDDR6X內(nèi)存高33%。
在GTC 2024上，三星、SK海力士展示的GDDR7內(nèi)存解決方案代表GDDR7進(jìn)入商用落地階段，這兩家企業(yè)還通過客戶合作計(jì)劃與明確量產(chǎn)時(shí)間表，直接推動(dòng)該技術(shù)從實(shí)驗(yàn)室走向終端市場。
根據(jù)規(guī)劃，搭載GDDR7的GPU于2025年5月正式上市，其中英偉達(dá)GPU RTX 5060首發(fā)，高端型號(hào)（如RTX 5090）將于2025年年末推出。在此背景下，Rambus半導(dǎo)體IP產(chǎn)品管理總監(jiān)Nidish Kamath圍繞“GDDR7加速AI推理”主題做了分享，同時(shí)，他還向《國際電子商情》介紹了Rambus的GDDR7內(nèi)存控制器IP。
生成式AI設(shè)備需要更大的內(nèi)存
伴隨AI下沉到邊緣端和終端，輕量化通用模型使之適配專用需求，正成為行業(yè)在邊緣設(shè)備落地AI的主流方式。簡化后的專用模型可以把參數(shù)量降到更低，又能保證較好的用戶體驗(yàn)，不失為一種經(jīng)濟(jì)可行的商業(yè)模式。
當(dāng)前，支持生成式AI的手機(jī)究竟多大的內(nèi)存？Nidish Kamath表示，在大語言模型（LLM）的推動(dòng)下，AI PC和AI智能手機(jī)等設(shè)備中的設(shè)備端AI，已率先適應(yīng)神經(jīng)網(wǎng)絡(luò)賦能的邊緣計(jì)算和端點(diǎn)應(yīng)用。為應(yīng)對(duì)邊緣與端點(diǎn)設(shè)備對(duì)帶寬和內(nèi)存容量的爆發(fā)式需求，新一代高帶寬、低延遲內(nèi)存技術(shù)成為關(guān)鍵解決方案。目前，DDR5、GDDR7及LPDDR5/5X等先進(jìn)內(nèi)存已在這些設(shè)備中實(shí)現(xiàn)規(guī)�；瘧�(yīng)用。
不過，設(shè)備類型也限制了支持AI應(yīng)用的內(nèi)存選擇范圍。目前，LPDDR5已被移動(dòng)設(shè)備廣泛采用，其性能和帶寬足以滿足手機(jī)AI應(yīng)用需求，而且還能將功耗控制在較低水平。據(jù)Yole Group研究顯示，生成式AI的演進(jìn)正推動(dòng)移動(dòng)設(shè)備內(nèi)存需求激增：舊款機(jī)型受限于處理能力難以滿足要求。當(dāng)前基礎(chǔ)AI功能僅需約100MB內(nèi)存，但搭載LLM的進(jìn)階功能內(nèi)存需求可能驟增至7GB。
HBM主導(dǎo)AI訓(xùn)練，GDDR適用邊緣推理
這種內(nèi)存需求的指數(shù)級(jí)增長，直接推動(dòng)了不同內(nèi)存技術(shù)的場景分化。在云端訓(xùn)練端，HBM（高帶寬內(nèi)存）憑借其3D堆疊架構(gòu)提供的超高帶寬，完美適配大模型參數(shù)頻繁調(diào)用的需求；而在邊緣側(cè)，GDDR6/7則通過更優(yōu)的能效比和模塊化設(shè)計(jì)，滿足移動(dòng)設(shè)備對(duì)LLM推理的實(shí)時(shí)性要求與成本約束。
Nidish Kamath進(jìn)一步分析稱，最新HBM3E的運(yùn)行速率為每引腳9.6 Gb/s，單個(gè)內(nèi)存的總帶寬可達(dá)1.2 TB/s，GDDR7支持每引腳40 Gb/s數(shù)據(jù)速率，單個(gè)GDDR7內(nèi)存的帶寬為160 GB/s。對(duì)比之下，在內(nèi)存帶寬上HBM3E與GDDR7的差距明顯。
兩者的性能差異，主要是因?yàn)閮煞N內(nèi)存結(jié)構(gòu)上的不同�；�2.5D/3D架構(gòu)的HBM直接集成于GPU芯片內(nèi)，并包含中介層、處理器及內(nèi)存堆棧。這種設(shè)計(jì)使HBM能夠在低延遲下實(shí)現(xiàn)高帶寬性能，并且更加節(jié)能，從而能夠處理密集型AI訓(xùn)練或機(jī)器學(xué)習(xí)等高性能計(jì)算（HPC）任務(wù)。
但HBM強(qiáng)大的性能背后是其更高的復(fù)雜性，這持續(xù)推高了其生產(chǎn)成本。主流邊緣和終端設(shè)備由于工作負(fù)載較輕，一般無需為了獲得HBM的強(qiáng)大性能而投入大量成本，GDDR的內(nèi)存容量和帶寬就可以滿足其需求。
此外，GDDR采用傳統(tǒng)的2D架構(gòu)并與GPU裸片分離，相較于HBM使用的更復(fù)雜的2.5/3D架構(gòu)，其實(shí)現(xiàn)更為簡單。這種較低的復(fù)雜性和易于實(shí)現(xiàn)的特性進(jìn)一步降低了成本。通過采用PAM3信令技術(shù)，GDDR7仍能保持出色的帶寬性能，足以滿足邊緣和終端設(shè)備中AI推理應(yīng)用的需求，因此廣受邊緣和終端設(shè)備設(shè)計(jì)師的歡迎。
未來內(nèi)存挑戰(zhàn)：兼顧節(jié)能和性能
當(dāng)然，如今正處于生成式AI進(jìn)入商用化元年，其對(duì)內(nèi)存的性能要求還相對(duì)不高，但隨著未來更高級(jí)的AI功能商用落地，將會(huì)對(duì)內(nèi)存有著更高的性能要求(比如帶寬、延遲、效率等)。對(duì)此，Nidish Kamath稱，未來所面臨的重大挑戰(zhàn)在于“如何在進(jìn)一步節(jié)能的前提下提供更高的性能”。內(nèi)存為處理器提供高速數(shù)據(jù)緩沖，互聯(lián)技術(shù)構(gòu)建處理器間及處理器-內(nèi)存間的直達(dá)通道，二者協(xié)同解決海量數(shù)據(jù)搬運(yùn)效率問題。
“隨著處理器運(yùn)行速度的加快，我們必須同時(shí)加快數(shù)據(jù)傳輸速度，無論是處理器之間的數(shù)據(jù)傳輸，還是處理器與內(nèi)存之間的數(shù)據(jù)傳輸。此外，我們還必須滿足數(shù)據(jù)傳輸?shù)墓囊�，確保數(shù)據(jù)在處理器與內(nèi)存、處理器與其他處理器之間的通道和鏈路上能夠更高數(shù)據(jù)速率地可靠傳輸。這個(gè)領(lǐng)域?qū)⒂楷F(xiàn)許多新技術(shù)。Multi-PAM將成為支持?jǐn)?shù)據(jù)速率持續(xù)提升的技術(shù)之一。”
但對(duì)于內(nèi)存技術(shù)而言，提升單芯片的數(shù)據(jù)位數(shù)本身就是一項(xiàng)挑戰(zhàn)。隨著存儲(chǔ)單元為容納更多數(shù)據(jù)位而不斷微縮，其他一些需要管控的物理效應(yīng)也隨之而來。其中的問題還包括片上錯(cuò)誤。因此，片上糾錯(cuò)技術(shù)也將比當(dāng)前應(yīng)用得更為廣泛。此外，還需應(yīng)對(duì)諸如RowHammer和RowPress等效應(yīng)，在這些效應(yīng)下，對(duì)特定存儲(chǔ)單元的重復(fù)或持續(xù)訪問可能會(huì)干擾鄰近區(qū)域的單元。
以Rambus為代表的行業(yè)領(lǐng)先企業(yè)，正聯(lián)合產(chǎn)業(yè)伙伴在內(nèi)存架構(gòu)創(chuàng)新、信號(hào)完整性優(yōu)化等關(guān)鍵技術(shù)領(lǐng)域開展深度研發(fā)合作�！拔覀兩钪袠I(yè)當(dāng)前所面臨的種種挑戰(zhàn)，亦了解到眾多業(yè)界頂尖人才正致力于解決這些問題。憑借在高性能內(nèi)存領(lǐng)域超過30年的深厚經(jīng)驗(yàn)與積累，Rambus致力于提供行業(yè)領(lǐng)先的解決方案，以期始終與最先進(jìn)的標(biāo)準(zhǔn)同步，并助力構(gòu)建‘AI 2.0’的新世界，”他介紹道。
“AI 2.0”需要更高性能的內(nèi)存系統(tǒng)
與“AI 1.0”相比，“AI 2.0”對(duì)內(nèi)存系統(tǒng)有著新的要求。具體來看，“傳統(tǒng)AI”主要專注于基于輸入模型進(jìn)行數(shù)據(jù)分析和預(yù)測，且局限于有限的輸入/輸出模態(tài)（例如文本到網(wǎng)頁結(jié)果）。比如，典型的“AI 1.0”應(yīng)用有語音助手、推薦引擎和搜索平臺(tái)，這些系統(tǒng)在處理相對(duì)簡單的任務(wù)（如語音轉(zhuǎn)語音、文本轉(zhuǎn)文本、語音轉(zhuǎn)文本）方面表現(xiàn)出色，但它們無法處理復(fù)雜多樣的內(nèi)容創(chuàng)作。
隨著LLM的出現(xiàn)，“AI 2.0”時(shí)代開啟了跨多種模態(tài)的無限創(chuàng)意與創(chuàng)新可能性。LLM能夠理解復(fù)雜輸入（包括文本、圖像或語音），并生成從傳統(tǒng)文本響應(yīng)到更高級(jí)形式（如代碼、圖像、視頻甚至3D模型）的輸出。這種多模態(tài)特性在GPT-4、PaLM2、ERNIE 4.0、Inflection-2、Gemini 1.5和Olympus等LLM中均有所體現(xiàn)，并且正在擴(kuò)展至更多邊緣和終端應(yīng)用場景。
從個(gè)性化體驗(yàn)到跨計(jì)算架構(gòu)（云、邊緣、終端）的行業(yè)特定解決方案，“AI 2.0”應(yīng)用的迅猛發(fā)展對(duì)AI訓(xùn)練和推理工作流的內(nèi)存帶寬和容量提出了巨大的要求。例如，在AI訓(xùn)練方面，對(duì)應(yīng)的AI模型規(guī)模正迅速擴(kuò)大——Chat GPT-3的1,750億參數(shù)與Chat GPT-4的1.76萬億參數(shù)相比相形見絀，突顯出對(duì)內(nèi)存帶寬和容量需求的持續(xù)增長。
與此同時(shí)，許多AI應(yīng)用正從數(shù)據(jù)中心向邊緣和終端遷移，這也對(duì)現(xiàn)有的內(nèi)存系統(tǒng)提出了更高要求。采用GDDR內(nèi)存的GPU一直是推理引擎的首選。Rambus GDDR7控制器通過PAM3信令，提供了一種功能齊全、節(jié)省帶寬的內(nèi)存實(shí)現(xiàn)解決方案，推動(dòng)了先進(jìn)GDDR內(nèi)存在前沿AI加速器、圖形處理和高性能計(jì)算應(yīng)用中的使用。
提供業(yè)界領(lǐng)先的GDDR7性能
為了提升內(nèi)存帶寬，GDDR7采用PAM3而非NRZ（PAM2）信令。這種新的編碼方案可在兩個(gè)時(shí)鐘周期內(nèi)傳輸“3位信息”，與GDDR6在相同時(shí)鐘頻率下相比，數(shù)據(jù)傳輸速率提升50%，將通道性能提升至每引腳40 Gbps。為確保在如此高的運(yùn)行速度下數(shù)據(jù)的可靠傳輸，GDDR7內(nèi)存整合了先進(jìn)的RAS（可靠性、可用性與可服務(wù)性）機(jī)制。這有助于減輕由高頻操作及PAM3信令固有特性所帶來的信號(hào)完整性挑戰(zhàn)。
Nidish Kamath介紹說：“Rambus GDDR7控制器通過集成額外的增強(qiáng)型數(shù)據(jù)完整性功能，包括片上ECC、數(shù)據(jù)中毒及錯(cuò)誤校驗(yàn)等，來滿足對(duì)更高可靠性的嚴(yán)苛要求�！盧ambus GDDR7內(nèi)存控制器IP提供業(yè)界領(lǐng)先的GDDR7性能，單個(gè)GDDR7內(nèi)存可實(shí)現(xiàn)最高40 Gbps的傳輸速率和160 GB/s的可用帶寬。其GDDR7內(nèi)存控制器IP的主要特征包括以下：
● 每引腳最高40 Gbps傳輸速率；
● 支持所有GDDR7鏈路特性，包括PAM3和NRZ信號(hào)格式；
● 支持多種GDDR7產(chǎn)品尺寸和速度；
● 針對(duì)各種流量場景優(yōu)化，實(shí)現(xiàn)高效率和低延遲；
● 靈活的AXI接口支持；
● 支持低功耗模式（自刷新、休眠自刷新、動(dòng)態(tài)頻率調(diào)節(jié)等）；
● 可靠性、可用性和可維護(hù)性（RAS）特性，如端到端數(shù)據(jù)路徑校驗(yàn)、存儲(chǔ)寄存器校驗(yàn)保護(hù)等；
● 綜合全面的內(nèi)存測試支持；
● 支持客戶和第三方PHY集成。
據(jù)Nidish Kamath介紹，Rambus GDDR7內(nèi)存控制器的交付內(nèi)容包括：控制器（源代碼）、測試臺(tái)（源代碼）、完整文檔。同時(shí)，該公司還針對(duì)GDDR7內(nèi)存控制器還提供專家技術(shù)支持、維護(hù)更新、定制、SoC集成等服務(wù)。
他解釋說：“在客戶的產(chǎn)品設(shè)計(jì)與開發(fā)階段，出現(xiàn)需要技術(shù)支持的問題時(shí)，我們可快速協(xié)助客戶確定問題并提供解決方案，從而縮短客戶產(chǎn)品的上市時(shí)間。我們還提供綜合全面的內(nèi)存測試支持及第三方PHY集成支持，幫助客戶實(shí)現(xiàn)完整的GDDR7內(nèi)存子系統(tǒng)�！�
小結(jié)
隨著2025年英偉達(dá)RTX50系GPU量產(chǎn)，GDDR7將進(jìn)一步推動(dòng)生成式AI在移動(dòng)設(shè)備的規(guī)�；涞�。目前，JEDEC已規(guī)劃Multi-PAM技術(shù)路線，目標(biāo)將GDDR7傳輸速率提升至48 GT/s，以支撐150億+參數(shù)模型的終端部署。不過，應(yīng)對(duì)萬億參數(shù)模型需依賴Multi-PAM升級(jí)（48 GT/s）及異構(gòu)內(nèi)存架構(gòu)創(chuàng)新，以平衡性能、功耗與成本。
