數(shù)據(jù)中心、有線應(yīng)用及其它帶寬密集型應(yīng)用所需的性能，遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的 DRAM 技術(shù)。和市場(chǎng)上已有的存儲(chǔ)器相比， HBM 存儲(chǔ)器在性能、功耗和尺寸上，能為系統(tǒng)架構(gòu)師和 FPGA 設(shè)計(jì)人員帶來(lái)前所未有的優(yōu)勢(shì)。
摘要
在過(guò)去的十年里，電子系統(tǒng)在計(jì)算帶寬上呈現(xiàn)出指數(shù)級(jí)的增長(zhǎng)。計(jì)算帶寬的大幅提升，也顯著提高了存儲(chǔ)帶寬要求，以滿足計(jì)算需求。這類系統(tǒng)的設(shè)計(jì)人員經(jīng)常發(fā)現(xiàn)市場(chǎng)上的并行存儲(chǔ)器(例如 DDR4)再也無(wú)法滿足應(yīng)用的帶寬需求。
賽靈思支持高帶寬存儲(chǔ)器 (HBM) 的 FPGA 能夠以最低的功耗、尺寸和系統(tǒng)成本提供高帶寬，顯然能夠輕松應(yīng)對(duì)這類挑戰(zhàn)。在設(shè)計(jì)這款 FPGA 的過(guò)程中，賽靈思與其他領(lǐng)先半導(dǎo)體廠商一樣，選擇了業(yè)界唯一經(jīng)過(guò)證明的堆疊硅片互聯(lián)技術(shù)(即臺(tái)積電 (TSMC) 的 CoWoS 集成工藝)。這篇白皮書將介紹賽靈思 Virtex? UltraScale+ ? HBM 器件如何滿足大幅提升的系統(tǒng)存儲(chǔ)帶寬需求，同時(shí)保持功耗、尺寸和成本在限定范圍內(nèi)。
行業(yè)趨勢(shì) ：帶寬和功耗
過(guò)去十年里，并行存儲(chǔ)器接口的帶寬功能進(jìn)步緩慢——如今 FPGA 中支持的最大 DDR4 數(shù)據(jù)速率仍然不足 2008 年 DDR3 數(shù)據(jù)速率的 2 倍。但就在這段時(shí)間內(nèi)，存儲(chǔ)帶寬需求增長(zhǎng)遠(yuǎn)遠(yuǎn)超過(guò)了 DDR4 的性能。考慮以太網(wǎng)的發(fā)展趨勢(shì) ：從 DDR3 時(shí)代開始，以太網(wǎng)端口速度從 10Gb/s 提高到了 40Gb/s，然后提高到100Gb/s，現(xiàn)在到了 400Gb/s——原始帶寬增加了 10 倍以上。
類似的趨勢(shì)也存在于高性能計(jì)算和視頻廣播市場(chǎng)。 FPGA 機(jī)器學(xué)習(xí) DSP 容量已從最大型 Virtex-6 FPGA中的 2,000 個(gè) DSP 增加到了現(xiàn)在的最大型 Virtex UltraScale+ 器件中的超過(guò) 12,000 個(gè) DSP 元件。視頻廣播行業(yè)已經(jīng)從標(biāo)準(zhǔn)清晰度過(guò)渡到 2K，現(xiàn)已達(dá)到 4K，很快將達(dá)到 8K。這些應(yīng)用領(lǐng)域中，所需帶寬與DDR4 DIMM 能提供的帶寬之間都存在明顯的差距。見圖 1。
圖 1 ：存儲(chǔ)器帶寬要求比較
為了彌補(bǔ)帶寬差距，系統(tǒng)架構(gòu)師若要在這些應(yīng)用中使用 DDR4，就必須增加系統(tǒng)中的 DDR4 元件數(shù)量——這不是為了增加容量，而是為了在 FPGA 與存儲(chǔ)器之間提供所需的傳輸帶寬。四個(gè) DDR4 DIMM以 2,667Mb/s 的數(shù)據(jù)速率運(yùn)行，所能實(shí)現(xiàn)的最高帶寬為 。如果應(yīng)用所需的帶寬超過(guò)這個(gè)值，那么 DDR 方案就會(huì)因功耗、 PCB 尺寸和成本問(wèn)題變得不可行。不難看出，這些高帶寬應(yīng)用中需要一種新的DRAM 存儲(chǔ)方案。
從能效的角度重新審視這十年時(shí)間，很顯然這種不惜一切代價(jià)“提高性能”的時(shí)代已經(jīng)結(jié)束。 MDPI發(fā)表的一篇文章中預(yù)測(cè)，到 2030 年，根據(jù)當(dāng)時(shí)數(shù)據(jù)中心設(shè)備的實(shí)際能效來(lái)看，僅數(shù)據(jù)中心就能消耗3%-13% 的全球能源供應(yīng)。設(shè)計(jì)人員極為重視能效性能，尤其在這個(gè)多兆瓦級(jí)數(shù)據(jù)中心時(shí)代。他們還重視高效散熱解決方案，因?yàn)榭煽康耐L(fēng)和冷卻需要很高運(yùn)營(yíng)支出 —— 總能耗的三分之一。因此，供應(yīng)商如果能以較低散熱量實(shí)現(xiàn)最高單位成本計(jì)算性能和單位功耗計(jì)算性能，則其解決方案會(huì)極富吸引力。
DDR4 DIMM 的替代方案
為了彌補(bǔ)帶寬差距，半導(dǎo)體行業(yè)引入了多種巧妙方案來(lái)替代 DDR4。見表 1。最近，業(yè)行內(nèi)興起了基于收發(fā)器的串行存儲(chǔ)器技術(shù)，例如混合存儲(chǔ)立方體 (HMC)。這些技術(shù)提供更高的存儲(chǔ)器帶寬，能夠在單個(gè)芯片中提供相當(dāng)于幾個(gè) DDR4 DIMM 的存儲(chǔ)帶寬——但需要將多達(dá) 64 個(gè)超高速串行收發(fā)器分配至存儲(chǔ)器子系統(tǒng)中。
表 1 ： 不同存儲(chǔ)器解決方案的關(guān)鍵特性對(duì)比
高帶寬存儲(chǔ)器簡(jiǎn)介
通過(guò)移除 PCB， HBM 能以不同方式解決存儲(chǔ)器帶寬問(wèn)題。 HBM 利用硅片堆疊技術(shù)將 FPGA 和 DRAM并排放在同一封裝內(nèi)。這樣，采用相同封裝的 DRAM 結(jié)構(gòu)能夠?qū)崿F(xiàn)多個(gè) Tb/s 的帶寬。與其它存儲(chǔ)器技術(shù)相比，該技術(shù)使設(shè)計(jì)人員能夠?qū)崿F(xiàn)帶寬的大幅度跨越式提升。
HBM 器件采用臺(tái)積電 (TSMC) 的業(yè)界標(biāo)準(zhǔn) CoWoS(chip-on-wafer-on-substrate) 堆疊硅片組裝工藝進(jìn)行組裝。賽靈思已經(jīng)在過(guò)去三代高端 Virtex 器件中采用這種組裝技術(shù)，因此該技術(shù)已得到了證明。 CoWoS起初由賽靈思率先采用，作為硅片堆疊互聯(lián)技術(shù)應(yīng)用于 28nm Virtex-7 FPGA 中。 CoWoS 組裝工藝將有源芯片放在無(wú)源硅中間層上。硅與硅的堆疊結(jié)構(gòu)允許通過(guò)非常小、分布非常密集的微凸塊來(lái)連接相鄰的硅器件——這里是將 FPGA 連接到 DRAM，之間有成千上萬(wàn)的信號(hào)。見圖 2。
圖 2 ： TSMC CoWoS 組裝工藝允許通過(guò)數(shù)千個(gè)非常小的線連接相鄰晶片
采用 CoWoS 組裝工藝，與典型的 DDR4 PCB 走線相比，不僅連接 HBM 的 DQ 走線總長(zhǎng)度不足 3mm，而且電容和電感 (LC) 寄生效應(yīng)極低。這樣， HBM I/O 結(jié)構(gòu)的芯片面積比典型外部 DDR4 I/O 結(jié)構(gòu)的芯片面積小 20 倍。 HBM 接口非常小，以致于單個(gè) HBM 堆棧接口就包含 1,024 個(gè) DQ 引腳，而且 I/O 芯片面積僅為單個(gè) DDR4 DIMM 接口 I/O 芯片面積的一半。具有 1,024 個(gè) DQ 引腳，而且低寄生效應(yīng)，這樣能實(shí)現(xiàn)非常高的 HBM 堆棧輸入輸出帶寬，而時(shí)延與 DDR4 相近。
對(duì)于采用 HBM 的 FPGA，所使用的外部 DDR4 的數(shù)量與容量要求有關(guān)，與帶寬要求無(wú)關(guān)。這樣所用的DDR4 組件數(shù)量大大減少，為設(shè)計(jì)人員節(jié)省了 PCB 空間和功耗。有些情況下根本不需要外部存儲(chǔ)器。
賽靈思 HBM 解決方案簡(jiǎn)介
如圖 3 所示， Virtex UltraScale+ HBM 器件通過(guò)集成賽靈思合作供應(yīng)商提供的業(yè)經(jīng)驗(yàn)證的 HBM 控制器和存儲(chǔ)器堆棧，可使用與已投入量產(chǎn)的賽靈思 16nm UltraScale+ FPGA 系列相同的構(gòu)建塊來(lái)構(gòu)建。利用經(jīng)過(guò)量產(chǎn)驗(yàn)證的 CoWoS 組裝工藝集成 HBM，通過(guò)標(biāo)準(zhǔn)的 Virtex FPGA 組裝流程將基礎(chǔ) FPGA 組件與HBM 簡(jiǎn)單地堆疊在一起。該方法消除了產(chǎn)能風(fēng)險(xiǎn)，因?yàn)榛A(chǔ) FPGA 系列器件中使用的所有芯片、 IP 和軟件都經(jīng)過(guò)了量產(chǎn)質(zhì)量級(jí)認(rèn)證。
圖 3 ： SSI 技術(shù)與支持 HBM 的 XCVU37P
Virtex UltraScale+ HBM 器件中新增加的模塊只有 HBM、控制器和加速器的緩存一致性互連 (CCIX) 模塊。收發(fā)器、 PCIe? 的集成模塊、以太網(wǎng)、 Vivado? Design Suite 等均已經(jīng)得到量產(chǎn)質(zhì)量級(jí)認(rèn)證，使設(shè)計(jì)人員能夠集中精力充分發(fā)揮 HBM 的特性與功能，使產(chǎn)品在市場(chǎng)中脫穎而出。
時(shí)序收斂創(chuàng)新
由于 Virtex UltraScale+ HBM 器件的基礎(chǔ)已經(jīng)得到驗(yàn)證，因此賽靈思工程師可將創(chuàng)新工作重點(diǎn)放在優(yōu)化HBM 存儲(chǔ)器控制器上。 HBM 與 FPGA 集成的過(guò)程中，最明顯的挑戰(zhàn)在于有效利用 HBM 提供的所有存儲(chǔ)器帶寬。賽靈思在這些器件中提供了幾大關(guān)鍵而獨(dú)特的創(chuàng)新特性，以幫助客戶獲得 HBM 堆棧最高可用的輸入輸出帶寬。
擴(kuò)展的 AXI 接口
第一個(gè)創(chuàng)新是 AXI 接口，用戶可通過(guò)該接口連接存儲(chǔ)器控制器。典型的集成 IP 與緊挨著嵌入式 IP 模塊的可編程邏輯進(jìn)行接口連接。對(duì)于大部分模塊來(lái)說(shuō)這已經(jīng)足夠，因?yàn)楸镜芈酚傻膮R聚帶寬足以從該模塊輸入輸出數(shù)據(jù)。然而，進(jìn)出 HBM 的帶寬非常高，因而有必要?jiǎng)?chuàng)建新的接口結(jié)構(gòu)類型，以便擴(kuò)展到可編程互連。該結(jié)構(gòu)明顯增加接口表面積，極大提高用戶 AXI 接口的可用互連能力，可實(shí)現(xiàn) 的運(yùn)行速度。見圖 4。
圖 4 ： 擴(kuò)展的 AXI 接口
靈活尋址
第二個(gè)創(chuàng)新是 HBM 存儲(chǔ)器控制器中包含的靈活尋址功能。 HBM 堆棧將存儲(chǔ)器地址空間分成偽通道。這意味著任何給定的 HBM DQ 位都被分配到特定的存儲(chǔ)器地址區(qū)域。因此，如果設(shè)計(jì)人員想把數(shù)據(jù)寫入存儲(chǔ)地址，只能通過(guò)與該地址關(guān)聯(lián)的偽通道來(lái)寫入數(shù)據(jù)。
如果設(shè)計(jì)人員想把 HBM 堆棧視為單個(gè)連續(xù)存儲(chǔ)器，或者跨偽通道邊界將它們進(jìn)行分區(qū)，那么這種限制并不理想。為了克服這種局限性，賽靈思在嵌入式存儲(chǔ)器控制器中包含了一個(gè) AXI 交換網(wǎng)絡(luò)。這個(gè)交換網(wǎng)絡(luò)能夠根據(jù)地址從任意源 AXI 接口將存儲(chǔ)器讀和寫路由到任意 HBM 偽通道。該功能稱為靈活尋址，因?yàn)樗试S任意用戶 AXI 接口訪問(wèn)任意 HBM 存儲(chǔ)器地址。
對(duì)于想針對(duì)特定存儲(chǔ)器訪問(wèn)形式來(lái)優(yōu)化存儲(chǔ)器控制器的用戶來(lái)說(shuō)，也可以繞開靈活尋址。見圖 5。
圖 5 ： AXI 接口(到用戶邏輯)和 HBM 偽通道(到 HBM 堆棧)
靈活尋址具備多個(gè)重要優(yōu)勢(shì) ：
1.讓用戶能夠完全控制對(duì) HBM 堆棧的尋址。 由于交換網(wǎng)絡(luò)能路由整個(gè)器件，因而用戶無(wú)需遵守 HBM固有的嚴(yán)格偽通道要求。 32 個(gè) AXI 接口都能讀寫任一 HBM 堆棧上的任意 HBM 偽通道，使用戶能完全控制地址分區(qū)，無(wú)需考慮偽通道邊界。
2. 允許設(shè)計(jì)人員根據(jù)設(shè)計(jì)的時(shí)序收斂情況使用最方便的 AXI 接口進(jìn)行連接。 例如，向存儲(chǔ)器寫入數(shù)據(jù)的邏輯無(wú)需與從存儲(chǔ)器讀取數(shù)據(jù)的邏輯處在相同位置。在基本流量管理器實(shí)例中，數(shù)據(jù)包寫入和數(shù)據(jù)包讀取模塊的 AXI 接口均可處在距離模塊最近的位置。見圖 6。
圖 6 ： 典型的以太網(wǎng)橋接設(shè)計(jì)
利用靈活尋址，可將數(shù)據(jù)包寫入和數(shù)據(jù)包讀取邏輯分開，以避免爭(zhēng)奪路由資源。
4.大量減少可編程路由資源。 存儲(chǔ)器控制器中有很多 AXI 總線，寬度均為 256 位。因此，如果集成存儲(chǔ)器控制器中提供 32 條在器件中水平路由的通道，就能為 FPGA 設(shè)計(jì)人員釋放可觀的資源，以便用于具有更高價(jià)值的功能。 AXI 交換網(wǎng)絡(luò)如果完全在 FPGA 邏輯中實(shí)現(xiàn)，會(huì)占用 250,000 個(gè) LUT。如果利用靈活尋址，則整個(gè)交換網(wǎng)絡(luò)無(wú)需使用 LUT。
5.與偽通道方案相比，允許設(shè)計(jì)人員更高效地使用 AXI 接口。 HBM 偽通道具有典型的 DRAM 低效特征，例如激活、預(yù)充電和刷新延遲。盡管存儲(chǔ)器控制器確實(shí)通過(guò)重新排序來(lái)提高效率，但是 DRAM不可能達(dá)到 100% 高效。然而，單個(gè) AXI 接口能夠?qū)⒍鄠€(gè)偽通道訪問(wèn)實(shí)現(xiàn)流水線，因此獲得高于HBM 偽通道效率的 AXI 接口效率。在眾多應(yīng)用中，這意味著所需的 AXI 接口數(shù)量更少，能夠釋放更多可編程資源。
能效和熱管理方面的創(chuàng)新
賽靈思客戶非常重視能效性能。 TSMC 16nm FinFET+ 工藝支持雙電壓運(yùn)行，使客戶能夠選擇最高絕對(duì)性能或者最高每瓦特性能。利用此工藝，賽靈思能夠提供業(yè)界最低內(nèi)核電壓，將動(dòng)態(tài)總功耗降低 30%，提供行業(yè)領(lǐng)先的收發(fā)器技術(shù)，以及在 FPGA 中混合多種集成模塊，例如以太網(wǎng)、 Interlaken 和 PCIe。
HBM 技術(shù)使賽靈思能夠取消外部存儲(chǔ)器接口，用中間層上的走線取而代之，從而將節(jié)能設(shè)計(jì)推向新高度。這樣做可降低存儲(chǔ)器接口電容，從而降低多 Tb/s 存儲(chǔ)帶寬所需的功耗，將每比特功耗降低 5 倍。
熱管理方面，賽靈思提供多種獨(dú)特技術(shù)，用以抵消在集成 HBM 之后產(chǎn)生的不可避免的熱密度增加問(wèn)題。賽靈思的 Virtex UltraScale+ HBM 器件采用散熱片就緒型、無(wú)蓋、裸芯片、倒裝芯片封裝，能顯著改善散熱性能，緩和更高熱密度問(wèn)題。這些無(wú)蓋封裝已用于其它 Virtex UltraScale+ FPGA，并在大多數(shù)使用案例中將散熱設(shè)計(jì)改善 10° C 左右。這實(shí)現(xiàn)了更高的計(jì)算性能上限和 / 或更低的散熱設(shè)計(jì)成本。見圖 7。
圖 7 ： 有蓋 vs 無(wú)蓋倒裝芯片封裝
應(yīng)用實(shí)例 ：智能網(wǎng)絡(luò)接口卡
HBM 與高端可編程邏輯的聯(lián)姻在網(wǎng)絡(luò)、數(shù)據(jù)中心、音頻 / 視頻廣播、雷達(dá)、測(cè)試與測(cè)量等眾多應(yīng)用領(lǐng)域中發(fā)揮出巨大優(yōu)勢(shì)。其中一種應(yīng)用是智能網(wǎng)絡(luò)接口卡或智能 NIC。智能 NIC 包含 ：一個(gè)或多個(gè)網(wǎng)絡(luò)端口，一個(gè)連接 CPU 的接口(例如 PCIe? 或 CCIX)，要加速的網(wǎng)絡(luò)功能(例如 OVS、 GZIP、 IPSec、SSL 等)，以及用于數(shù)據(jù)包存儲(chǔ)和鍵值查找的存儲(chǔ)器。傳統(tǒng)的智能 NIC 需要在 PCB 上安裝四個(gè) 72 腳DIMM，以提供足夠的存儲(chǔ)器帶寬來(lái)服務(wù)兩個(gè) 100G 端口。連接四個(gè) DIMM 需要驅(qū)動(dòng) 624 個(gè) I/O，會(huì)顯著增加總功耗。容納四個(gè) DIMM 需要全高全長(zhǎng) (FHFL) 尺寸，會(huì)帶來(lái)一系列功耗和空間效率挑戰(zhàn)。
如果在采用 HBM 的 VU35P 中實(shí)現(xiàn)相同方案，則尺寸能縮減到半高半長(zhǎng) (HHHL)，因?yàn)橥獠?DRAM 元器件被 HBM 堆棧取代(見圖 8)。 VU35P 方案( 圖 9)的功耗約為 50%，因?yàn)楸苊饬?DIMM 接口的 I/O 功耗。若使用包含兩個(gè) HBM 堆棧的 VU35P 器件，那么得益于 HBM 帶寬，查找速度可提升 3 倍，而且搜索條目是市場(chǎng)上的 TCAM 的 2 倍。除了最終解決方案的這些固有優(yōu)勢(shì)外， HBM 方案還能簡(jiǎn)化 PCB并降低存儲(chǔ)器子系統(tǒng)的復(fù)雜性，從而實(shí)現(xiàn)更簡(jiǎn)單、風(fēng)險(xiǎn)更低的設(shè)計(jì)流程。
圖8：現(xiàn)有基礎(chǔ)架構(gòu)
:
圖9：Virtex UltraScale+ HBM 解決方案
結(jié)論
未來(lái)很多系統(tǒng)會(huì)超出 DDR 所能提供的帶寬， HBM 作為最佳選擇，能大幅提高存儲(chǔ)器帶寬，并實(shí)現(xiàn)最佳的單位功耗性能。賽靈思 Virtex UltraScale+ HBM 器件提供恰當(dāng)?shù)拇鎯?chǔ)器帶寬和可編程計(jì)算性能組合。憑借這些器件，賽靈思重點(diǎn)幫助設(shè)計(jì)人員充分利用 HBM 的性能，同時(shí)將經(jīng)過(guò)驗(yàn)證的芯片工藝和架構(gòu)、組裝技術(shù)以及設(shè)計(jì)工具作為設(shè)計(jì)開發(fā)的基礎(chǔ)。設(shè)計(jì)人員和系統(tǒng)架構(gòu)師都會(huì)領(lǐng)略通過(guò) Virtex UltraScale+HBM 器件將 HBM 功能引入系統(tǒng)所帶來(lái)的優(yōu)勢(shì)。
