存在檢測和對象計數等網絡邊緣人工智能應用越來越受歡迎，但設計人員越來越多地要求在不影響性能的情況下實現低功耗和小尺寸的網絡邊緣人工智能解決方案。萊迪思的sensAI技術集合的最新版本， 適用于ECP5和iCE40 UltraPlus FPGA，為設計人員提供了在網絡邊緣實現低功耗、高性能AI所需的硬件平臺、IP、軟件工具、參考設計和設計服務。
目錄
第一章 摘要
第二章 利用FPGA的優勢
第三章 主要更新
第四章 sensAI設計案例
第五章 結論
摘要
低成本、高性能的網絡邊緣解決方案的市場競爭日益激烈。領先的市場研究公司預測，在未來六年內，網絡邊緣解決方案市場將迎來大爆發。IHS預計到2025年，將有超過400億臺設備在網絡邊緣運行，而市場情報機構Tractica預測，屆時每年將出貨超過25億臺網絡邊緣設備。
隨著新一代網絡邊緣應用的出現，設計人員越來越傾向于開發結合低功耗和小尺寸而不降低性能的解決方案。推動這些新的AI解決方案的是越來越多的網絡邊緣應用，例如家庭控制中智能門鈴和安全攝像頭的存在檢測，零售應用中用于庫存的對象計數，以及工業應用中的物體和存在檢測。一方面，市場要求設計人員開發出性能比以往更高的解決方案。另一方面，延遲、帶寬、隱私、功耗和成本問題限制了他們依賴云的計算資源來執行分析。
同時，性能、功耗和成本限制因應用而異。隨著實時在線網絡邊緣應用的數據需求不斷推動對基于云的服務的需求，設計人員必須解決傳統的功耗、電路板面積和成本問題。開發人員如何解決系統對于日益嚴格的功耗(毫瓦級)和小尺寸(5 mm2到100 mm2)要求。單論各種性能要求就已經很難滿足。
利用FPGA的優勢
萊迪思的FPGA具有獨特的優勢，可以滿足網絡邊緣設備快速變化的市場需求。設計人員可以在不依賴云端的情況下，快速為網絡邊緣設備提供更多計算資源的其中一個方法是使用FPGA中本身的并行處理能力來加速神經網絡性能。此外，通過使用針對低功耗運行而優化的低密度、小尺寸封裝FPGA，設計人員可以滿足新的消費和工業應用對功耗和尺寸的嚴格限制。例如，萊迪思的iCE40 UltraPlus?和ECP5?產品系列支持網絡邊緣解決方案的開發，功耗低至1 mW到1 W，硬件平臺尺寸小至5.5 mm2到100 mm2。通過將超低功耗、高性能和高精度與全面的傳統接口支持相結合，這些FPGA為網絡邊緣設備開發人員提供了滿足不斷變化的設計要求所需的靈活性。
圖1：萊迪思半導體的低功耗、小尺寸FPGA提供適當的性能和功能組合，支持網絡邊緣人工智能應用
為了滿足這一需求并加速開發，萊迪思推出了業界第一款技術集合sensAI?，為設計人員提供了開發智能家居、智能工廠、智能城市和智能汽車中低功耗、高性能網絡邊緣設備所需的所有工具。sensAI旨在滿足支持AI的網絡邊緣設備不斷增長的需求，提供全面的硬件和軟件解決方案，用于在網絡邊緣運行的智能設備中實現低功耗、實時在線的AI功能。它于2018年推出，旨在無縫創建新設計或更新現有設計，其低功耗AI推理針對這些新應用要求進行了優化。
這個綜合設計生態系統中有什么?首先，萊迪思的模塊化硬件平臺，如帶有HM01B0 Shield開發板的iCE40 UPduino 2.0和基于ECP5的嵌入式視覺開發套件(EVDK)，為應用開發提供了堅實的基礎。UPduino可用于僅需幾毫瓦的AI設計，而EVDK支持需要更高功耗但通常工作在1W以下的應用。
軟IP可以很容易地實例化到FPGA中，以加速神經網絡的開發。因此，sensAI開發包包括CNN加速器IP， 能讓設計人員在iCE40 UltraPlus FPGA中實現深度學習應用。sensAI還提供完整的CNN可設置參數的加速器IP核，可以在萊迪思的ECP5 FPGA中實現。這些IP支持可變量化。這反過來又使設計人員能夠在數據準確性和功耗之間進行權衡。
Lattice的sensAI技術集合允許設計人員通過易于使用的工具流程探索設計選項和權衡。設計人員可以使用Caffe、TensorFlow和Keras等行業標準框架進行網絡訓練。開發環境還提供神經網絡編譯器，將訓練的網絡模型映射為固定點表示，支持權重和激活的可變量化。設計人員可以使用編譯器來幫助分析、仿真和編譯不同類型的網絡，以便在沒有RTL經驗的情況下在萊迪思的加速器IP核上實現。然后，設計人員可以使用傳統的FPGA設計工具，如Lattice Radiant和Diamond來實現整個FPGA設計。
為加快設計實現，sensAI提供了越來越多的參考設計和演示。包括面部識別、手勢檢測、關鍵詞檢測、人員存在檢測、面部跟蹤、對象計數和速度標志檢測。最后，設計團隊通常需要一定的專業知識才能完成設計。為滿足這一需求，萊迪思與全球各地的眾多設計服務合作伙伴建立了合作關系，以便為AI / ML專業知識不足的客戶提供支持。
圖2：Lattice senseAI是一整套硬件和軟件解決方案，適用于網絡邊緣人工智能應用的開發
主要更新
為了滿足網絡邊緣AI快速增長的性能要求，萊迪思在2019年發布sensAI更新，增強了其性能并優化了設計流程。更新后的sensAI比上一版本的性能提升了10倍，這是由多個優化促成的，包括通過更新CNN IP 和神經網絡編譯器，新增8位激活量化、智能層合并以及雙DSP引擎等特性，優化了存儲器的訪問。
在最新版本中，由于更新了神經網絡編譯器，支持8位輸入數據，存儲器訪問序列得到大幅優化。因此不僅外部存儲器的訪問減少了一半，還支持使用更高分辨率的圖像作為數據輸入。使用更高分辨率的圖像， 解決方案自然更為精確。
為進一步加速性能，萊迪思優化了sensAI神經網絡中的卷積層，減少了卷積計算耗費的時間。萊迪思將器件中的卷積引擎數量翻倍，減少了約50%的卷積時間。
萊迪思在不增加功耗的情況下提升了sensAI的性能，設計人員因此可以選擇ECP5 FPGA產品系列中門數較少的器件。經優化的演示示例可以幫助實現性能提升。例如，針對低功耗運行進行優化、采用CMOS圖像傳感器的人員偵測演示，通過VGG8網絡提供64 x 64 x 3的分辨率。該系統以每秒5幀的速率運行，使用iCE40 UltraPlus FPGA功耗僅為7 mW。第二個性能經優化的演示，針對人員計數應用，同樣也使用CMOS圖像傳感器，通過VGG8網絡提供128 x 128 x 3的分辨率。該演示以每秒30幀的速率運行，使用ECP5-85K FPGA功耗為850 mW。
圖3：這些參考設計展示了sensAI提供的功耗與性能可選方案
與此同時，sensAI給用戶帶來無縫的設計體驗，它支持更多神經網絡模型和機器學習框架，從而縮短設 計周期。全新可定制化的參考設計可簡化對象計數和存在檢測等常見的網絡邊緣解決方案的開發，同時設計合作伙伴生態也在不斷拓展，為用戶提供重要的設計服務。有了這些，萊迪思能為開發人員提供他們復制或調整其設計所需的全部關鍵工具。例如，下列框圖展示了萊迪思提供的一系列全面的組件，包括訓練模型、訓練數據集、訓練腳本、經過更新的神經網絡IP和神經網絡編譯器。
圖4: sensAI的設計流程包括了行業領先的機器學習框架、訓練數據和腳本、神經網絡IP等設計和訓練網絡邊緣AI設備必需的資源
萊迪思還拓展了對機器學習框架的支持，致力于提供無縫的用戶體驗。最初版本的sensAI支持Caffe和TensorFlow，最新版本新增支持Keras，這是用Python編寫的開源神經網絡，可在TensorFlow、Microsoft Cognition Toolkit或Theano上運行。Keras旨在幫助工程師快速實現深度神經網絡，它可以提供用戶友好、模塊化和可拓展的環境，加速原型設計。Keras最初被當做一種接口而非獨立的機器學習框架，它的高度抽象性能讓開發人員加速開發深度學習模型。
為進一步簡化使用，萊迪思更新了sensAI神經網絡編譯器工具，它可以在機器學習模型轉換為固件文件時自動選擇最精確的分數位數。sensAI更新還新增了一個硬件調試工具，讓用戶可以在神經網絡每個層進行讀取和寫入。進行軟件仿真之后，工程師也需要知道他們的網絡在實際硬件上的表現。使用此工具，工程師可以在短短幾分鐘內看到硬件運行的結果。
此外，最新版本的sensAI得到了越來越多公司的支持，他們為萊迪思提供專為低功耗、實時在線的網絡邊緣設備而優化的設計服務和產品開發技能。這些公司通過無縫更新現有設計或針對特定應用開發完整的解決方案來幫助客戶構建網絡邊緣AI設備。
sensAI設計案例
萊迪思這一更高性能的全新解決方案可用于下列四種不同的加速器設計案例。在第一個設計案例中(圖5),設計工程師使用sensAI來構建獨立運行模式的解決方案。這種系統架構能讓設計工程師在萊迪思iCE40 UltraPlus或ECP5 FPGA上開發出實時在線的集成解決方案，具有延遲低、安全性高的特點，其中FPGA資源可用于系統控制。典型的一種應用就是使用獨立運行的傳感器實現人員偵測和計數。
圖5：將sensAI作為獨立運行的網絡邊緣AI處理解決方案
設計人員還使用sensAI開發兩種不同類型的預處理解決方案。第一種情況下(圖6)，設計人員采用了萊迪思sensAI以及一片低功耗的iCE40 UltraPlus FPGA對傳感器數據進行預處理，從而最大程度地降低了向SoC或云端傳輸數據進行分析的成本。例如，如果是用在智能門鈴上，sensAI會初步讀取來自圖像傳感器的數據。如果判斷為不是人，比如說是一只貓，那么系統就不會喚醒SoC或連接到云端作進一步處理。因此，這種方法可以最大程度降低數據傳輸成本和功耗。如果預處理系統判斷門口的對象是人，則喚醒SoC 作進一步處理。這能極大減少系統需要處理的數據量，同時降低功耗要求，這對于實時在線的網絡邊緣應用來說至關重要。
圖6：在此案例中，sensAI會預處理傳感器數據來判斷該數據是否需要發送到SoC作進一步處理
在第二個預處理應用中，設計人員可以使用ECP5 FPGA實現神經網絡加速(圖7)。在此案例中，設計人員利用ECP5 IO的靈活性將各類現有的板載器件(如傳感器)連接到低端MCU，實現高度靈活的系統控制。
圖7：第二個系統架構也采用了預處理，設計人員可以使用ECP5和sensAI預處理傳感器數據，加強神經網絡的綜合性能
設計人員還可以在后處理系統中使用sensAI加速器(圖8)。越來越多的設計案例表明，很多公司雖然已經開發出經過驗證、基于MCU的解決方案，但是他們希望在不更換組件或重新設計的情況下新增某種AI功能。但是在某些情況下，他們的MCU性能相對不足。典型的例子就是智能工業或智能家庭應用，在進行分析之前需要圖像濾波。設計人員可以在這里添加另一個MCU，然后經歷耗時的設計驗證過程，或者也可以在MCU和數據中心之間添加加速器進行后處理，最大限度地減少發送到云端的數據量。這種方法對想要添加AI功能的物聯網設備開發人員尤其有吸引力。
圖8：通過sensAI增強該基于MCU的設計，讓現有的設計支持網絡邊緣AI功能
結論
顯然，未來幾年將是實時在線的網絡邊緣智能設備這一市場發展的關鍵時期。由于應用變得越來越復雜，設計人員將急需能夠以低功耗支持更高性能的工具。萊迪思最新版本的sensAI技術配合ECP5和iCE40 UltraPlus FPGA，將為設計人員提供硬件平臺、IP、軟件工具、參考設計和設計服務，幫助他們戰勝競爭對手，快速開發出成功的解決方案。
