大數據(big data)應用持續推動記憶體更密切結合運算資源的架構需求，但人工智慧(AI)和機器學習更進一步展現了硬體和硬體架構如何在成功部署中發揮關鍵作用。然而，關鍵的問題在於記憶體應該要設計在哪裡？

根據美光科技(Micron Technology)最近委託Forrester Research進行的研究發現，有89%的受訪者認為運算和記憶體在架構上密切整合至關重要。Forrester Research的這項調查還發現，針對硬體限制使得AI與機器學習能力受限的討論中，最常被提及的就是記憶體和儲存技術。超過75%的受訪者認為目前的記憶體與儲存技術有必要進行升級或重新架構，才能突破應用上的限制。

特別是AI讓大數據和分析原已面對的挑戰更形複雜，因為機器學習經由神經網路在龐大的資料矩陣上執行乘積累加運算。這些運算不斷地重覆執行，伴隨更多的結果出現，同時從資料處理中學習，最終產生一種每次都能達到最佳路徑和最佳選擇的演算法。

美光科技企業策略副總裁Colm Lysaght說，由於資料越來越龐大，取得足夠可用記憶體的常見解決方案就是增加更多的DRAM。這使得性能的瓶頸開始從原始運算轉移到資料的所在位置。他說：「記憶體和儲存正是資料所在之處。由於這些龐大的資料組合必須處理，我們只得一再地將其傳送至CPU進行處理後返回。」

只要找到讓運算和記憶體更緊密結合的方法，就意味著能夠更加省電，因為資料不必再密集地來回傳送了。Lysaght說，「它還提高了性能，因為更多的處理任務都可以在需要之處才發生。」

美光科技認為，諸如DRAM和3D NAND SSD等現有的記憶體和儲存技術，為AI架構提供了可用硬體。該公司同時還研究其他更新的技術，例如許多新創公司也支援的記憶體處理器(PIM)架構（來源：Micron Technology）

Lysaght指出，有許多不同的方法可以創建更好的架構。例如神經形態處理器，可在內部使用神經網路，並將內部核心數分解為更多的較小核心。他說：「由於必須處理大量的資料矩陣，因此，更理想的解決方案是讓更多核心週而復始地執行相對簡單的運算。」。

例如一家對開發新架構感興趣的記憶體公司Crossbar最近與Gyrfalcon Technology、mtes Neural Networks (mtesNN)和RoboSensing等公司合作，共同成立了一個名為‘SCAiLE’(SCalable AI for Learning at the Edge)的AI聯盟，致力於開發一款加速、節能的AI平台。

Crossbar策略行銷和業務開發副總裁Sylvain Dubois表示，該聯盟將結合先進的加速硬體、可變電阻式記憶體(ReRAM)以及最佳化的神經網路，共同打造具有免監督學習和事件辨識功能的節能解決方案。

Dubois表示，無論是智慧音箱、智慧相機還是智慧電視，許多公司面臨的挑戰在於希望直接將AI導入裝置上，但又不知道如何著手。該聯盟的目標就在於提供一個將所有必要部份整合在一起的平台。

Crossbar的貢獻在於記憶體——特別是ReRAM，它將透過文本、關鍵字、GPS座標以及來自感測器的可視資料(非結構化)等各種輸入，以處理在機器學習系統中產生的資料。

Dubois還設計了一種記憶體陣列架構，讓特定處理程式碼可在邊緣裝置中，以高度平行的方式針對每一個案例進行讀取。他說：「如果彼此匹配，就會知道在邊緣裝置進行哪些處理。但如果無法順利匹配，那麼就成了我們所說的學習曲線。」

在雲端執行更多分析

以相機感測器為例，他指出這種系統將會在ReRAM陣列的備用位置儲存新事件或一組功能。Dubois說：「等到下一次在這台相機面前出現類似的事件時，相機本身就能檢測到，而無需在雲端進行任何訓練。」。

因此，Dubois表示，如果出現了需要快速決策的意外事件，例如具有安全顧慮的交通現場時，這提供了一種全然不同的AI處理途徑，因為它並不必依賴於雲端中的大量訓練能力。

Forrester Research的研究預期，更多的公司將在公共雲和邊緣進行分析，從而在邊緣實現更多的機器學習。51%的受訪者表示目前在公共雲執行分析，這一數字預計將在未來3年增加到61%。此外，儘管目前約44%的人開始在邊緣進行分析，但Forrester預測，這一比重將在2021年增加到53%。

在為美光科技進行這項調查期間，Forrester基礎設施和營運產業資深分析師Chris Gardner一開始對於硬體產品大量「湧現」的程度備感驚訝，特別是儲存和記憶體。

Gardner說：「我本來預期會看到更多與硬體有關的軟體可編程問題，以及管理等問題。當然，這些問題確實也出現了，但並不至於像其他事情的程度。」

Gardner表示，在該研究中衍生而出的是記憶體本身如何完成大量的工作，同時又盡可能避免進行儲存。但值得注意的是，對於記憶體和儲存的需求取決於實際的應用類型。據Gardner解釋，訓練模型需要相當龐大的記憶體和儲存能力，除此之外，你幾乎不需要其他任何東西。

Crossbar最近成立了一個打造AI平台的聯盟，提供針對AI應用的記憶體產品，例如其內建嵌入式ReRAM的P-Series MCU（來源：Crossbar Inc.）

Gardner說，理想上，企業希望擁有一個容量高達數百GB或TB級RAM的儲存環境。但現實上，他們必須自行打造或付費給供應商協助打造，他並補充說，目前業界亟需的是整個硬體典範的轉型。

Gardner說：「我們需要更多以記憶體為中心(memory-centric)的架構。」他進一步解釋，運算需要以記憶體為中心，並儘量減少儲存的必要性，而不再是以運算為中心。

Gardner說：「但這並不表示當今的運算架構及其存取方式很糟糕，而只是強調在執行AI和機器學習方面，它可能不是最有效率的方式。」

Forrester的研究內容還涵蓋了邊緣運算。應用場景之一是內部架設攝影機的主要運動場館，這些攝影機將產生大量需要快速處理的資料，以確定場是否存在危險情況。Gardner說：「目前雖然可以來回雲端傳送資料，但並沒時間進行分析。他們需要的是盡可能迅速地進行處理。」

當然還有一些機器學習任務得在雲端中完成，再將其發送回物聯網(IoT)裝置，但其中的一些裝置將會變得越來越智慧並自行執行機器學習，接著傳回雲端共享後再傳送到其他裝置。Gardner表示，對於記憶體製造商來說，這意味著商品元件製造商正持續轉型以及重新編譯應用程式，以善加利用AI和機器學習工作負載所需的新式記憶體架構。

但我們如今仍處於實驗階段，因為還沒有任何真正的張量(tensor flow)——使用以記憶體為中心的架構可以整合在一起；這種以記憶體為中心的架構要走出實驗室之前還得克服很大的延遲挑戰。

Gardner說：「幾十年來，我們一直抱持著以CPU執行的心態。如今這種極具革命性的想法，將有助於我們擺脫這種心態。」

去年秋天，美光科技宣佈投資1億美元於AI新創領域。該公司如今已在實驗室中開發了一款類似DRAM的產品，目標是在2021年出樣，同時，該公司的研究人員也正致力於研究業界新創公司積極探索中的記憶體處理器(PIM)架構。

編譯：Susan Hong

(參考原文：AI Needs Memory to Get Cozier with Compute，by Gary Hilson)

活動簡介

未來寬能隙半導體元件會在哪些應用成為主流？元件供應商又會開發出哪些新的應用寬能隙元件的電路架構，以協助電力系統開發商進一步簡化設計複雜度、提升系統整體效率？TechTaipei「寬能隙元件市場與技術發展研討會」將邀請寬能隙半導體的關鍵供應商一一為與會者解惑。

贊助廠商

立即報名