部署即時資料串流平台的五大挑戰
2020-03-30
作者
Dave Oswill, MathWorks產品經理
本文重點闡述可能對於平台的使用、操作、維護和安全以及與其相關的資料和裝置產生負面影響之五大挑戰...
為了確保成功部署並採用即時串流平台，系統架構師、資料工程師和安全架構師必須克服多項挑戰。本文重點闡述可能對於平台的使用、操作、維護和安全以及與其相關的資料和裝置產生負面影響之五大挑戰。
挑戰一：選擇資料格式、架構和開發框架
實際上，串流平台是一種變相的大數據(big data)平台，串流資料處理只是其整體功能的某一方面。串流資料通常能夠透過適當途徑進入本地或基於雲端的大型資料儲存庫。分析師和領域專家運用這些資料提取見解、掌握趨勢以及開發演算法，從而即時應用這些演算法處理資料流程，以改善營運並進一步發掘業務價值。資料結構以及分析師、資料科學家和領域專家掌握的工具，將大幅影響整個平台的導入和應用。
由於串流資料通常由一系列帶時間戳記的資料封包組成，因此，IT團隊和工程師應該搜尋支援原生資料類型的工具以處理時序資料。如此一來，資料清理、視覺化以及模式探索將變得輕鬆。此外，這些工具還必須為執行串流處理所需的微型批次處理/視窗化處理提供開發框架。該框架將包括儲存處理結果的臨時狀態配置，以及大規模實施演算法的基礎設施。這些功能不僅有助於提高演算法的開發和營運系統部署效率，還能降低出錯機率。
開發預測性維護演算法——如剩餘使用壽命(RUL)、狀態監測和資產績效管理(APM)應用時，通常需要監控資產的故障資料。經證實，對於高價值資產或安全關鍵應用，過度使用而導致故障的成本太高或者並不切實際。在這種情況下，最好使用系統模擬工具以產生合成資料，補充在演算法開發過程中使用的真實資料。
挑戰二：演算法測試、驗證、部署和生命週期管理
使用靜態資料開發預測性演算法是一方面，工程師還必需思考如何在操作系統中驗證演算法，以確保妥善檢測和報告資產運作狀況。同時，還必須實施演算法生命週期管理，確保生產環節的模型完整性。
為因應這些挑戰，串流平台應當能夠重複執行存檔的串流資料，以便執行演算法測試和驗證。該步驟往往可在測試/驗證系統上完成，作為生產串流系統的小規模試產。務必利用演算法開發環境自帶的除錯功能，充份考量多方面的能力，包括設置斷點、監控變數以及整體考量按生產系統執行方式處理串流資料時演算法的行為模式。
如同在演算法開發階段使用的模擬資料，應該使用系統模擬工具產生並傳輸合成資料，從而驗證不利或極端案例。同時，還可透過模擬將資料輸送至整個生產系統以實現接收測試，以及輸送至線上串流系統作為基準。
鑒於這些系統對於推動指定組織營運的重要性日益提升，必須對部署演算法的整個生命週期進行管理，從而確保完整性及合理使用，這與企業應用程式軟體的管理如出一轍。在開發階段，將涵蓋以下一些能力：評估演算法的準確性和有效性；管理用於開發演算法的資料和評估結果；自動記錄結果和演算法應用相關的資訊。而在營運階段，不僅要管理演算法版本，還要比較性能以及開發階段採集的基準結果，以確定是否需要調整或更新演算法，或者是否全面停用和替換演算法，以確保系統正常運行，這一點非常重要。鑒於這些平台通常全天候運行，系統應支援演算法熱部署、演算法線上更新以及在演算法更新遇到問題時還原。
挑戰三：網路連接不可靠和/或遠端裝置傳回的資料不確定
系統如何處理未按順序抵達或已丟棄的資料封包？如何設計可能並非始終與終端設備相連的系統架構？IT團隊和工程師採用的平台應支援在執行資料封包分析之前的混洗及重新排序。很多時候，處理機器的資料時會採用訊號處理及時域和頻域分析等技術提取特徵。值得注意的是，為了應用這些技術，必須根據原始事件發生的時間而不是注入到串流系統的時間，對資料封包進行排序。另外，還應設計處理環境，使用重新定時、插值和平滑等方法清理時序資料。
系統架構師尋求的平台應支援將演算法部署到各種系統，包括雲端、本地和邊緣/嵌入式裝置。當連接具有間歇性時，該功能支援將部分處理局端至邊緣裝置。如果邊緣裝置與集中串流處理基礎設施之間的頻寬有限，還可以實現資料縮減。
挑戰四：擴展和性能
即時串流系統必須在設置的時間段內對輸入資料做出回應。它們持續運行，並隨著新裝置的上線不斷調整。系統應根據通用串流基礎設施經常採用的分區方式進行擴展。創建新的主題或串流時，還必須創建新的串流處理情境。探索利用雲端和容器技術彈性的強大功能。系統應對資料批次處理實施管理，確保不受I/O約束(暫停等待執行輸入/輸出操作)並充分利用平台運算資源。
挑戰五：安全性
系統架構師必須預先考慮整個工作流程的安全性，從開發到運作系統的部署。串流平台需要與組織內部現有的安全層整合，從而支援單點登錄(SSO)等功能以及根據使用者角色控制資料和系統存取。這也包括控制邊緣裝置的存取，特別是利用串流平台對裝置實施某種監督控制的系統。同時，平台還必須支援實行資料保護，包括加密靜態資料、動態資料以及演算法智慧財產權；特別是，如果演算法可在雲端系統上存取或者在邊緣裝置或系統上運行。由於很多分析平台將演算法作為腳本或未封包的程式碼運行，這可能成為一項挑戰。
串流資料的時間價值
即時分析可提供關鍵見解，但從資料中收集的見解具有時間價值。例如，如果工廠對其設備運行機器運行狀況監控，必須就潛在設備故障發出提醒，為操作人員預留充足的時間進行干預。系統架構師、資料工程師和安全架構師盡可能高效地避免潛在障礙並順利部署即時串流平台，將有助於創造巨大價值。克服上述的種種挑戰，IT團隊將可更有效率地利用系統，毫無延遲地開始提取即時的見解。
