人工智慧(AI)加速器晶片商機被大肆炒作，但這個市場究竟有多大？已經有哪些公司在銷售這類晶片？市場研究機構ABI Research最近發佈了兩份報告，詳細描繪了今日的AI晶片市場狀態，為此EE Times訪問了報告作者，ABI首席分析師Lian Jye Su，請他分享目前在這個商機潛力十足的市場上，有哪些較活躍的公司與技術。

雲端AI市場

ABI的第一份報告聚焦於快速成長的雲端AI推論與訓練服務應用，預期該市場在2024年將從2019年的42億美元成長至100億美元。Nvidia與英特爾(Intel)是此一領域目前的領導廠商，但它們的地位正受到包括中國新創公司寒武紀(Cambricon Technologies)、英國新創公司Graphcore、以色列新創公司Habana Labs以及高通(Qualcomm)等後起之秀的挑戰。

Su表示，Nvidia顯然仍會是該市場的龍頭，主要是因為該公司具備成熟的開發者生態系統以及先行者優勢。此外他指出：「隨著AI模型、資料庫以及工具組持續演變更新，Nvidia扮演優良的後備選項，因為其方案具備通用AI晶片的功能。當然，這些優勢會因為市場逐漸成熟而減退，但Nvidia的地位在可見的未來仍然穩固。」

根據ABI的分析，今日的雲端AI晶片市場分成三塊：一是由AWS、微軟(Microsoft)、Google、阿里巴巴、百度與騰訊等雲端運算服務供應商主導的公有雲市場，二是企業資料中心、即私有雲市場；第三塊則是ABI稱為「混合雲」(hybrid cloud)的市場，也就是結合公有與私有雲的方案(如VMware、Rackspace、NetApp、HPE、Dell等公司的產品)。

此外ABI的報告還定義了另一個新興領域──電信雲(Telco clouds)，指的是電信業者為其核心網路與IT、邊緣運算工作所佈署的雲端基礎建設。Su認為，這個新領域會為AI晶片供應商帶來很大的商機：「我們已經看到如華為(Huawei)等網路基礎建設方案供應商，還有較小程度像是諾基亞(Nokia)等公司，推出為電信網路功能最佳化的ASIC；這是一個很大的市場，Nvidia近來也非常努力想要進入。」

2017~2024年AI晶片年度銷售額。
（來源：ABI Research）

而Su雖然沒看到有任何其他廠商能在短時間內撼動Nvida在雲端AI訓練晶片市場的主導地位，但推論晶片領域則是人人有機會，目前並沒有一家公司獨霸的情況。這有部份原因來自於推論工作在不同垂直應用上會有所不同的本質；他認為，該領域的ASIC會從2020年起呈現強勁成長。

目前AI推論往邊緣裝置移動的趨勢，意味著包括智慧型手機、自駕車以及機器人等裝置，對於雲端的依賴程度將會降低，但Su強調，這並不代表某些雲端服務供應商所認為的、AI推論工作量大於訓練工作量的情況會改變。

「有一些AI永遠不會移到邊緣，例如聊天機器人(chatbots)還有對話AI (conversational AI)、詐騙監測(fraud monitoring)與網路安全系統等等；」他表示：「這類系統會牽涉從規則式(rule-based)到深度學習類型的AI系統，這實際上是增加了推論工作量，而且增加的幅度遠遠可抵銷那些轉移至邊緣的推論工作量。」

還有Google；Google的張量處理器(TPU)可以同時處理雲端訓練與推論任務，被認為是分別由Intel與Nvidia領銜的CPU與GPU技術的強勁對手。ABI的報告指出，Google在TPU上的成功為其他雲端服務業者(CSP)建立了一個自己開發AI加速器ASIC的優良範本；包括華為、AWS與百度等也都已經這麼做。

那麼如果雲端服務業者都開始自己設計晶片，在該領域還有其他晶片業者能生存的空間嗎？對此Su表示：「沒錯，隨著CSP開始自己設計晶片，對於一些新進公司來說這個市場會變得非常具挑戰性；我們預測，到2024年該市場約會有15~18%是由CSP自己填滿，因此雲端AI商機會有更多是來自於資料中心私有雲領域。」

Su表示，金融、醫療機構還有研發與學術領域也會需要執行AI，而且他們會考慮採用為AI工作負載最佳化的晶片，這為包括寒武紀、Graphcore、Habana Labs以及Wave Computing等新進業者提供了一些優勢。他也認為，其他將因此受惠的廠商還包括IP供應商如ARM、Cadence與芯原(VeriSilicon)等，他們將會需要支援比以往更多的晶片開發業者。

邊緣AI市場

ABI的另一份報告則是聚焦邊緣AI市場，指出邊緣AI推論晶片市場在2018年的規模為19億美元；而邊緣訓練市場在同一年度的規模只有140萬美元。Su解釋，會在邊緣執行AI訓練的裝置包括閘道器(用以儲存歷史資料或是扮演設備中樞角色)，還有企業內部佈署(on-premise)伺服器(在私有雲中，但是位於AI資料產生的地方)。

為on-premise伺服器的訓練任務所設計之晶片，包括Nvidia的DGX，還有華為伺服器與閘道器所配備的Ascend 910晶片；包括寒武紀、Graphcore與Habana Labs等公司，也有專門鎖定on-premise資料中心的系統級晶片。Su表示：「邊緣AI訓練市場還很小，因為AI訓練任務還是偏向在雲端執行。」

2017~2024年的AI推論與訓練晶片市場營收。
（來源：ABI Research）

在2019年至2024年之間，整體邊緣AI市場規模估計可達到31%的複合年平均成長率(CAGR)，邊緣AI推論將佔其中大宗；Su指出，邊緣推論會有三大主要應用──包括智慧型手機/可穿戴裝置、汽車以及智慧家庭/白色家電，及三大利基市場。

第一個利基市場是通常需要異質運算架構的機器人，因為這類機器人仰賴各種型態的神經網路，如利用同步定位與地圖構建(simultaneous location and mapping，SLAM)來導航，或是做為人機介面的對話AI、用來偵測物體的機器視覺等；Su表示，所有這些應用都是在不同程度上採用CPU、GPU與ASIC，而Nvidia、英特爾與高通在這個領域中激烈競爭。

「第二個利基市場是智慧工業應用，包括智慧製造、智慧建築與石油天然氣領域；」他指出：「我們看到FPGA供應商在這個領域的表現優異，因為需要採用新技術的是舊有設備，而FPGA架構能提供靈活性與適應性。」

最後一個利基應用是在「非常邊緣」的地方，也就是將超低功耗AI晶片嵌入感測器與其他廣域網路上的小型終端節點。有鑑於此應用的聚焦於超低功耗，這個領域的競爭廠商包括FPGA供應商、RISC-V架構晶片以及其他ASIC供應商。

那麼到目前為止，有那些晶片業者已經取得AI推論應用的設計案？Su的回答是：「因為智慧型手機的出貨量龐大，因此智慧型手機用AI ASIC的供應商，是整體邊緣AI晶片市場實際上的大贏家，包括蘋果(Apple)、海思(HiSilicon)、高通、三星(Samsung)，以及較低程度上也包括聯發科技(MediaTek)；但如果我們只提新創，我認為以色列的Hailo，還有中國的地平線(Horizon Robotics)、瑞芯微(Rockchip)，看來已經取得一些終端裝置製造商的青睞。」

Su也表示，在商業實現與佈署邊緣AI晶片方面，軟體扮演關鍵角色；相較於Nvidia是持續升級其編譯器工具與建構開發者社群，英特爾與賽靈思(Xilinx)等業者採取的作法則與擁有軟體AI加速解決方案的新創公司合作，或是收購他們。

他也建議，「晶片業者應該要考慮為開發者社群提供工具組與程式庫，還有開發者教育課程、舉辦競賽、論壇或研討會等，這些能吸引開發工程師與晶片業者合作並開發相關應用程式；但這對於新創公司來說並不容易。」

除了提供適當的軟體以及為開發者社群提供支援，ABI的報告還指出，AI晶片業者想要成功，得擁有獲得其他技術價值鏈支持、優良的產品開發藍圖，他們也會需要為不同的使用案例創造晶片產量規模，同時要維持具競爭力的價格點。

編譯：Judith Cheng

(參考原文： AI Chip Market to More than Double in 5 Years，by Sally Ward-Foxton)

活動簡介

未來寬能隙半導體元件會在哪些應用成為主流？元件供應商又會開發出哪些新的應用寬能隙元件的電路架構，以協助電力系統開發商進一步簡化設計複雜度、提升系統整體效率？TechTaipei「寬能隙元件市場與技術發展研討會」將邀請寬能隙半導體的關鍵供應商一一為與會者解惑。

贊助廠商

立即報名