資訊科技

電視節目變立體 裸視3D即將走入家庭

你能想像進電影院看3D電影的視聽經驗,以後在家裡就可感受?不用選片,不用搶位,而且不必變成四眼田雞!

撰文/呂怡貞
審稿/鄭芳炫(中華大學資訊工程學系教授)

資訊科技

電視節目變立體 裸視3D即將走入家庭

你能想像進電影院看3D電影的視聽經驗,以後在家裡就可感受?不用選片,不用搶位,而且不必變成四眼田雞!

撰文/呂怡貞
審稿/鄭芳炫(中華大學資訊工程學系教授)

  近幾年走進各大賣場與資訊展,3D電視的攤位總是吸引人潮駐足觀望,螢幕前,人人戴著一副酷炫的立體眼鏡,體驗立體影像帶來的震撼。雖然人們已習慣於進電影院戴眼鏡看3D電影,但若是能在家裸視觀賞,才是更輕鬆無負擔的現代化視聽享受。


影像軟體開發 搭配裸視平面式立體技術


  市面上早已出現五花八門的立體顯示技術(見〈戴上眼鏡 看進立體世界〉)、(見〈丟掉眼鏡 當機不「立」斷〉)) ,其中,相較於360度真實3D技術,平面式立體顯示技術較成熟,其軟硬體設備的規模與價格也較容易直接進入家庭。但要進駐家庭,還必須克服兩個很重要的問題:縱使有了先進的「立體電視」,卻缺乏「立體電視節目」可看,另外,也無法多視角觀看,最後全家人只能不嫌熱地全部擠在沙發正中央,看著沒太多選擇的幾部特製電影。


  對此,中華大學資訊工程學系教授鄭芳炫表示,3D電視若要普及,勢必得增加可立體觀賞的影像內容與增加視角數目。然而,現在有另一種方式來讓觀眾觀看3D影像節目,就是將現今仍為2D影像的電視節目轉換為3D影像,並搭配其他硬體的相互支援與精密配合。這種「3D立體影像轉換技術,搭配裸視平面式立體顯示器」,是目前顯示科技發展的主流。


  鄭芳炫與學生就是以「利用影像深度地圖即時產生雙眼立體影像」,獲得2011年瑞士日內瓦國際發明展銀牌,他們成功地開發出將2D圖片與影片自動轉換成3D立體影像的軟體技術,並研發出可即時處理多視角立體影像的晶片,讓台灣在裸視立體顯示技術上領先國際。


2D轉3D 電視節目都很「阿凡達」


  要從2D影像「幻化成」3D影像,除了原本的2D影像訊號,需再加上深度(遠近)資訊,而運用視差是最直接獲得深度資訊的方式。傳統上製作3D影像,是以單機雙鏡頭模擬雙眼,實際拍攝出同時呈現左右眼視角的影像。但如果原本就是單純的2D影像(原始單眼影像),則必須先得知此影像內物體的遠近關係,再利用影像處理的方式,後製出原先不存在的不同視角的部份,以形成深度資訊。


  鄭芳炫團隊從原始單眼影像建立相對應的影像深度地圖(image depth map)的方法,是以灰階方式表示影像內的物體遠近關係,再以此為基礎,對原始單眼影像中的物體做位移處理,模擬人的兩眼分別看到的影像(也可以說是模擬以單機雙鏡頭所拍攝出來的畫面)。如欲產生多視角,則可搭配觀賞者所使用的顯示器規格,選擇適合的視角數目,再從左右兩視角中間內插其他視角方向(即計算出不同方向的不同位移量)。但是因為多視角數會犧牲解析度(註),且遷就於現有Full HD的畫質(1920 x 1080畫素),目前研究團隊最多做到九個視角,解析度為640 x 360,相當於DVD的解析度,仍是一般觀賞者可接受的畫質。


  位移處理的過程則運用建構虛擬場景模型的演算法,計算出雙眼視角影像畫素所對應的座標位置。一般3D影像設計,大多只計算風景的遠近距離,鄭芳炫團隊則將影像與場景型態做分類,如人體靜物、花草樹木、巷弄街道、遠山背景等,景深都不同,找出深度走向與物體前後關係,經由精密計算後顯示的立體影像更具真實感。


  最後,以影像填補(image inpainting)技術,將先前因模擬視差位移而產生的空洞填補起來,過程也是經由精密計算後,往空洞區域中填塞合理的畫素,填補後的左右眼影像會接近人的雙眼所看見的影像,以達到立體視覺的效果。



左圖為原始2D影像,右圖為影像深度地圖,已將原始影像內的物體以灰階值(0~255)表示,越近的物體數值越大、顏色越淺,越遠的背景數值越小、顏色越深,以此方式表示影像內物體的遠近關係。(影像來源:鄭芳炫)


原始2D影像模擬產生人眼視差示意圖。左眼圖內的所有物體向右位移,右眼圖內所有的物體向左位移,越近的物體位移量越大,越遠的物體則漸漸沒有視差。左右眼兩圖最右方放大觀看後的蘋果顯示因位移而產生的空洞問題。(影像來源:鄭芳炫)


空洞填補示意圖。以影像填補技術,將先前因位移而產生的空洞補上畫素,做法是以空洞周圍的紋路與結構為基礎,沿著空洞的輪廓邊界,搜尋且複製周圍相似的小區域填補到空洞中,在空洞區域中填塞合理的畫素。(影像來源:鄭芳炫)


  由於上述2D影像轉換成3D影像的運算量十分龐大且費時,研究團隊已研發出晶片,可相容於現有的平面顯示裝置上,當接收2D資訊時,晶片可立即快速產生不同視角影像(即深度訊息)。未來待技術成熟,不僅原有2D顯示系統的模式與規格不需更動,新舊影片與電視節目也不需再投入大量人力物力重製或特製,甚至目前的數位相機或DV拍攝的影片,都將非常「阿凡達」。



  鄭芳炫預測,五年內裸眼3D電視會上市進入家庭,而2D/3D轉換晶片更是未來3D電視內的基本配備,讓全家人共享立體視覺饗宴。




註:幾個視角即要產生幾個方向的影像,越多視角則代表越多方向的影像同時瓜分同一畫面,每個方向所看到的畫面解析度當然會降低。也因此,顯示器尺寸越大,內含畫素數越多,視角可切越細而不致使解析度降低太多,反之,顯示器尺寸越小,如手機、數位相框、掌上型遊樂器等,視角就不能太多。




延伸閱讀

........................................................................................................................

〈戴上眼鏡 看進立體世界〉,呂怡貞撰文,科學 Easy Learn 網路版

〈丟掉眼鏡 當機不「立」斷〉,呂怡貞撰文,科學 Easy Learn 網路版

〈更順暢的3D動畫〉,吉布斯(W. Wayt Gibbs)撰文,《科學人》2006年9月號

〈改造繪圖處理器〉,曾尚文撰文,2006年9月號

〈空手玩電玩〉,科辛斯可司(Susan Kuchinskas)撰文,《科學人》2010年3月號

《顯示色彩工程學》,胡國瑞等著,全華圖書出版



更多相關文章

2018年8月198期跨越量子 走進現實 雜誌訂閱

本期最新文章