傳統相機製造商如Nikon、Canon與Pentax，在設計系統時會有一個共同目標：追求真實。數十年來，他們了解無論是專業或業餘攝影，都致力於捕捉如同發生那一瞬間般準確且生動的生活點滴。如果這種傳統的寫實主義是一個極端，合成影像──現在更恰當的名稱是「運算攝影」(computational photography)──就是另一個極端。

筆者在不久前參加了高通(Qualcomm)的年度技術高峰會(Tech Summit)，該公司在會中發表了最新的Snapdragon 865應用處理器；採用該處理器的智慧型手機相機可搭載強大的AI引擎，並且能處理多個影像感測器。這讓我突然領悟，我所知的「攝影」已經完全改變其意義。

智慧型手機相機的價值

今日的智慧型手機相機使用者非常喜愛可以直接在手機上即時編輯、改變所擷取影像的功能，只要簡單一個按鈕，就能創造出「另類」的現實。

熱門智慧型手機應用程式Snapchat的開發商Snap資深工程總監Yurii Monastyrshyn在Tech Summit對現場聽眾做出總結：「相機的創造是為了擷取回憶，而Snap重新將相機塑造成一個通訊、娛樂、搜尋以及電子商務平台。」

是的，讓我們歡迎另類現實攝影。對眾多智慧型手機使用者來說，攝影的價值在於快速變化，智慧型手機相機能透過將擷取到的影像進行即時編輯、美顏甚至變形，再立即傳送到全世界，提供及時行樂的快感。

Snap正在利用Snapdragon 865最新的「Hexagon NN (neural network) Direct」功能，可以讓智慧型手機上的Snapchat應用程式即時改變──Monastyrshyn表示其速度接近每秒30 frames──拍照者的臉，變成小朋友的樣子。

Snapchat應用程式最知名的變臉功能，左邊畫面是Snap講者現在的樣子，右邊畫面中的他立即變成童顏。
（來源：EE Times）

另一家智慧型手機應用程式開發商Loom.ai則在高通Tech Summit發表了一種似顏繪(avatar)視訊會議應用程式。利用Snapdragon 865的AI引擎，這款LoomieTalk程式能利用深度學習並在手機上創造出「表情豐富」的3D似顏繪；藉由將似顏繪層疊加在即時影像上方，LoomieTalk能追蹤並映射使用者透過智慧型手機參加視訊會議的臉部表情與動作。

畫面左邊的是右邊講者在LoomieTalk應用程式上的似顏繪影像，而且是表情豐富的3D影像。
（來源：EE Times）

我也是一個不喜歡參加視訊會議的人，但我其實不太能了解為什麼Loom.ai聲稱用似顏繪「替身」來參加視訊會議，可以減輕那種「不適」或是讓會議更有效率。不過我又懂什麼呢？也許我就是唯一那個比較喜歡呈現自己真實樣貌的人。

運算攝影

所有在AI與5G上的努力，並不意味著高通準備放棄對於將專業品質照片與視訊帶到智慧型手機的追求。相反的，高通將新的Spectra 480影像訊號處理器(image signal processor，ISP)整合到在Tech Summit發表的Snapdragon 365中。

高通指出，Spectra 480 ISP具備每秒能處理2 gigapixels的速度，這「帶來了全新的攝影機功能，包括Dolby Vision視訊擷取、8K視訊錄影、200-megapixel照片拍攝，以及同步擷取4K HDR視訊與64-megapixel 照片。」一切看起來都很好，而高該公司把這些花俏的功能放進最新的應用處理器中，透露的一個訊息就是「運算攝影」的崛起。

高通攝影機部門產品行銷經理P.J. Jacobowitz在台上演說時，將傳統相機形容為：「只有一個相機、一個鏡頭、一個影像感測器以及一個影像訊號處理器；很難只用一個相機來創新。」他總結指出，「運算攝影是未來的攝影；」而像是小米的最新款智慧型手機整合了5個攝影機、5個鏡頭、5個感測器與5個ISP，就能實現運算攝影(如下圖)。

如市場研究機構TIRIAS Research首席分析師Kevin Krewell告訴EE Times的：「智慧型手機應用處理器將運算攝影功能賦予那些微小處理器，為傳統相機供應商帶來很大的壓力。」我非常同意他的看法。

「相機產業專注於盡可能以最真實的方式重現攝影師看到的影像(基本上是以非常類比的方式，就算是用數位感測器也是如此)，但現在的目標是將影像分解成畫素，為每個畫素提供(多個)濾鏡，再以純合成的方法重組成影像；」Krewell總結指出：「最終的產品可能會非常有吸引力，但可能與現實不符。」

再一次，讓我們歡迎為後真相時代(post-truth era)設計的攝影。

XR來了！

而直到高通介紹其最新延展實境(extended reality，XR)平台，才真的讓人見識到其厲害之處；該公司表示，預計明年問世的Snapdragon XR2 5G平台，是「5G與AI的首度結合。」

高通號稱XR2能「實現無與倫比的延展實境體驗，讓使用者能以360度球體環景的每一個視角探索擷取了生動細節的虛擬世界。」據了解，Snapdragon XR2是在高通目前被廣泛採用的XR平台上取得大幅進展，強化了CPU與GPU性能、視訊頻寬、解析度與AI。而最引人矚目的是，XR2支援7個同步攝影機(concurrent cameras)以及專屬的電腦視覺處理器。

因為XR2提供低延遲的鏡頭透視(camera pass-through)，使用者能在VR裝置上與混合的虛擬與真實世界互動，提升了「混合實境」(mixed reality)功能。我強烈建議讀者們要看看下面的高通XR2宣傳視訊，長度只有90秒，而且我保證不會浪費你的寶貴時間。

當我看以上片段時，對於混合實境可以帶來的效果真是感到既訝異又驚奇，而且讓人震撼。在其中一個畫面，帶著VR/AR/XR頭戴裝置的小男孩穿過他家跑上樓梯，跳過一堆地板上的衣物，他看到的牆壁是黑色的磚塊或瓦礫，地板上的東西則是需要跳過的障礙物…

當然，對於小孩來說，能像是穿越一個戰鬥區那樣穿越自己的家非常有趣；我自己小時候也常這樣──不需要頭戴裝置。我把這個觀察告訴坐在我旁邊的The Linley Group資深分析師Mike Demler，他也同意，「沒錯，我們小時候會這樣；那不是XR，是想像力。」

VR/AR/XR的功能確實強大，看到科技能如此生動地重建各種環境、提供身歷其境的經驗，讓人在延展實境的虛擬世界中與──定位精確的──真實物體互動，真是非常驚奇。但讓我覺得不安的是，XR是把一個想像的世界「餵」給孩子們。

人類完全具備能自己想像一個天馬行空的場景並且沉浸其中的能力，XR是否會剝奪孩子們自己用想像力創造一個世界的機會？Demler表示：「我認為推動這種(延展實境)技術又不做任何對兒童之潛在影響研究(的科技公司)，是相當不負責任；」我也同意。

我們當然了解VR與AR能成為在工廠或惡劣高溫環境中進行車輛維修或是管道疏通的有用工具，但我們卻可能因為這樣的科技而讓孩子們失去想像的樂趣？是誰改變了這一切？

同樣的情況也發生在我前面提到的攝影。科技能讓我們輕鬆編輯與變化所拍攝的影像是很棒，但，是誰帶來了這些改變？我們在智慧型手機上對影像做變化與編輯的方式，都是熱門的應用程式預先定義的。

在一個越來越多人只是做剪貼、然後用第三方應用程式預先產生的訊息來社交的世界，越來越少人打造自己的訊息；高通似乎成為「機器中的幽靈」(the ghost in the machine)。讓你自己看起來像8歲小孩很有趣，那如果你想扮演的是古代中國皇帝…或是跳舞的鴨嘴獸呢？你會在腦海中想像自己可能看起來很傻的樣子，還是等待某家公司賣你特定的App？

喔…還有頭戴裝置。

編譯：Judith Cheng

(參考原文： Smartphone Photos in a Post-Truth Era，by Junko Yoshida)

活動簡介

未來寬能隙半導體元件會在哪些應用成為主流？元件供應商又會開發出哪些新的應用寬能隙元件的電路架構，以協助電力系統開發商進一步簡化設計複雜度、提升系統整體效率？TechTaipei「寬能隙元件市場與技術發展研討會」將邀請寬能隙半導體的關鍵供應商一一為與會者解惑。

贊助廠商

立即報名