工業4.0時代，由連網攝影機產生的資料對於最大化生產力、簡化操作並產生價值至關重要。但是，如果攝影機生成的資料中，99%都是對人工智慧(AI)電腦視覺無用的冗餘資訊，僅僅1%的可用資訊與改善決策過程相關，怎麼辦？

收集資料可能很簡單，但收集和處理有效資料就不簡單了。而基於事件的視覺技術可以解決這一問題，因為它可以即時、動態地擷取最相關的資訊。

Prophesee推出的工業標準封裝Metavision感測器。

總部位於法國巴黎的Prophesee SA推出了其首款基於事件的視覺感測器，該感測器採用工業標準封裝。Prophesee執行長Luca Verre說，經過5年的開發，「它已經通過了多家客戶的商業測試，在與合作夥伴的攝影機整合方面顯示出良好的前景。」這款產品的發佈距離這家法國新創公司推出Onboard參考系統僅僅18個月，Onboard參考系統旨在供視覺系統開發人員嘗試、測試和瞭解神經形態(neuromorphic)視覺的工作原理。

一種新型的感知範例

李奧納多 . 達文西(Leonardo da Vinci)使用攝影機暗盒(obscura，又稱為暗箱)作為眼睛的模型，埃德沃德 . 邁布里奇(Eadweard Muybridge)設計了拍攝運動中馬的複雜方法，而盧米埃(Lumiere)兄弟發明了電影。這些例子的共同點是，它們是為人類消費而不是為機器消費發明。Verre說，我們需要一種新的感知範例，特別是在這個人工智慧、電腦視覺和巨量資料的新時代。

受人類視覺的啟發，Prophesee的技術開發了神經形態感測器和模仿眼睛與大腦的機器學習演算法。該公司提倡用基於事件的視覺方法進行感知和處理，從而選擇有效場景並忽略不相關的事物。

Verre解釋，在基於事件的感測器中，每個畫素都是非同步且獨立。它不再由固定的時序源(訊框時脈)控制，而是由訊號在幅度域的變化來控制，並在檢測到變化或運動時進行記錄。資訊不是逐訊框發送，而是透過連續的資訊流擷取運動，並且訊框之間沒有任何損失。

Verre指出，這種方法具備三個優點。首先，「它擷取的資料量更少」，從而降低了功耗(< 10mW)、延遲(40~200μs)，以及傳統基於訊框的系統所施加的資料處理要求。其次，Prophesee感測器實現了毫秒到微秒的畫素採集與讀取，達到的時間解析度相當於傳統感測器每秒運作數萬至數十萬訊框的速度。「它的優勢不僅在於提供更少的資料，還在於擷取更多的資訊。」第三，Prophesee視覺感測器的動態範圍超過120dB，可在低至100millilux的場景照度下執行。

工業應用

據Zion Market Research的資料顯示，到2024年，全球工業自動化市場預計將達到3,210億美元，在2018~2024年間的年複合成長率為6.5%。其市場核心即智慧感測器，該感測器與其他技術一起持續發展，以提供有意義的資料並做出明智的決策，Prophesee正巧抓住了這個商機。

Prophesee執行長Luca Verre

Verre表示，Prophesee新的工業級封裝Metavision感測器針對攝影機開發人員，用於實現工業自動化和物聯網(IoT)系統(如機器人、檢測設備、監控和保全設備)中的下一代視覺系統。對於工業自動化，「我們的價值體現在即時資料傳輸的高速檢測和運算，它可以實現超高速計數、振動測量，以及用於預測性維護的監測或運動監測。」Prophesee聲稱其工業級基於事件的覺系統可實現每秒超過1,000個物件的傳送量。

在工業4.0的發展進程中，總體能效已成為焦點，這事關成本與可持續發展的問題。Verre相信，憑藉其感測器，Prophesee可以在智慧建築IoT應用(例如在場檢測、交通監控和自動關門)中發揮很大作用。

尺寸限制

Prophesee的晶片採用13×15毫米mini-PBGA封裝，整合了該公司第三代CMOS影像感測器(CIS)視覺模組。它具有640×480畫素解析度和3/4英吋光學格式的15μm畫素。儘管Verre表示，這些特性應該「為廣闊的整合應用開闢道路」，但目前汽車和行動這兩個主要市場沒有考慮在內。

當被追問有關汽車領域的更多資訊時，Verre說，這是「公司的策略項目」，但是Metavision感測器目前的封裝版本「因為太大而無法整合到主流汽車應用中。」

Prophesee現在正在開發第四代產品。旨在縮小感測器尺寸並提高解析度，以適用於汽車和行動電話等更多主流應用，預計第四代產品將在2020年實現量產。

Verre同時表示，Prophesee正在與合作夥伴合作，將其資料導向的攝影鏡頭技術與光達(Lidar)和雷達整合，以用於汽車應用。「這裡採用的是互補法，利用事件導向技術的好處在於，可以超高的時間精準度和極短的回應時間檢測出與此相關聯的內容，以及應該關注的地方。然後雷達和光達可以對目標進行分類，並使汽車做出正確的決定。」更具體地說，Verre透露Prophesee與合作夥伴正在評估一種多感測器方
法，將雷達或光達與基於事件的攝影鏡頭結合。

規模效益

Prophesee在神經形態工程領域已有35年的研究經驗，已申請了51項專利技術。除了人才與智慧財產權，確保公司的經濟生存能力現在變得至關重要。

2016年，Prophesee(當時稱為Chronocam)的第一代感測器提供給Pixium Vision用於治療失明，Pixium Vision是一家位於巴黎的視覺假體公司。Prophesee瞄準醫療應用和利基市場的做法有助於驗證其技術，Verre說，「第一代和第二代感測器幫助我們確定了其工業可行性和可擴展性。但我們必須考慮規模效益。如果不能以合理的成本生產感測器，就只能承擔風險，僅應用於小產量的利基應用。生產太重要了，當我們開始探索其他應用時，必須先確保擁有正確的可靠流程和測試結構。」

Prophesee的第一個參考設計由其代工廠合作夥伴TowerJazz製造。而Metavision感測器則由台灣勝麗科技(Kingpak Technology，前身為勝開科技)製造，採用0.18μm的專門製程。

迄今為止，Prophesee已向早期客戶提供了「一百多個感測器」。其中，Imago Technologies GmbH(德國弗萊貝格)正在開發的智慧視覺系統就嵌入了Prophesee基於事件的視覺感測器和演算法。「我們還與中國、日本和美國的合作夥伴一起開發工業攝影機。」

Verre說，Prophesee今年計畫工業攝影機的出貨量是幾千台。預計到2020年，產量將增加到數萬甚至數十萬台。

展望該公司的下一個發展週期，Prophesee最近剛與全球經銷商簽署了五份合作夥伴協議，並在矽谷、上海和東京設立了辦事處。現在，它擁有一百多名員工。

在我們開始討論時，Verre闡述了眼睛中複雜而尖端的結構，那些人類尚未探索清楚的部分。「例如，眼睛可以評估光的強度、顏色對比度，以及預處理運動和深度。這些奇妙的生物學是靈感的來源，我們的技術得益於此。」在軟體方面，Verre期望類腦運算架構可以很快出現。Prophesee目前正與英特爾(Intel)和IBM合作，將人造視網膜與人造大腦結合，同時「保證高速率、低延遲和高能效。」

(參考原文： Event-Driven Vision Hits Production Lines，by Anne-Francoise Pele)

活動簡介

未來寬能隙半導體元件會在哪些應用成為主流？元件供應商又會開發出哪些新的應用寬能隙元件的電路架構，以協助電力系統開發商進一步簡化設計複雜度、提升系統整體效率？TechTaipei「寬能隙元件市場與技術發展研討會」將邀請寬能隙半導體的關鍵供應商一一為與會者解惑。

贊助廠商

立即報名