資訊科技

放大吧!動作顯微鏡

肉眼看來靜止不動的人或物體,如今可透過「動作顯微鏡」增強顏色變化,我們就能明察其中細微的動作。

撰文/杜然德(Fredo Durand)弗里曼(William T. Freeman)魯賓斯坦(Michael Rubinstein)
翻譯/鍾樹人

資訊科技

放大吧!動作顯微鏡

肉眼看來靜止不動的人或物體,如今可透過「動作顯微鏡」增強顏色變化,我們就能明察其中細微的動作。

撰文/杜然德(Fredo Durand)弗里曼(William T. Freeman)魯賓斯坦(Michael Rubinstein)
翻譯/鍾樹人

重點提要
■雖然有時候物體或人看起來完全靜止,卻有肉眼無法辨識的動作。這些動作非常細微,可能也非常重要,嬰兒的呼吸就是一例。
■研究人員增強了影片中像素的顏色變化,研發出「動作顯微鏡」,讓人一睹這些細微動作。
■這些放大後的影片動作可以顯示關鍵的健康徵兆,例如脈搏或血流的變化,或即將發生的安全問題,例如重型機械的異常振動。

人類在16、17世紀發明了顯微鏡,使得看似完全透明的玻璃板,變成了充滿細菌、細胞、花粉和複雜晶體的大千世界。透過這些視覺輔助工具,人們首度由一滴血中發現細胞。從那時起,顯微鏡為科學家敞開了肉眼看不見的眾多美景,讓他們一頭鑽進細胞,乃至於原子的詭異現象。

我們相信,這個新型顯微鏡即將揭開另一個迷人的新世界:人或物體的某些動作和顏色變化因太細微而無緣一見,舉例來說,脈搏讓人臉忽而變紅、忽而變淡;風讓工地的起重機輕輕搖晃;嬰兒的呼吸常常太輕微而看不出來。人或物體的這些動作幾乎細不可辨,但可能無比重要,例如,脈搏可以顯示我們的健康狀態,或重要機器在故障前會發生振動。我們和學生以及共同研究者研發出所謂的「動作顯微鏡」(motion microscope),這項工具搭配了攝影機和特殊運算軟體。人或物體的一些動作在肉眼看來是完全靜止,但我們的這一套動作顯微鏡能放大影片中的這些動作。

算出顏色

動作顯微鏡是意外發現的產物。我們一直在進行一項視訊計畫,想測量那些肉眼無法辨識的細微顏色變化。2010年,美國麻省理工學院(MIT)媒體實驗室的科學家傅明哲(Ming-Zher Poh)、麥杜夫(Daniel McDuff)和畢凱(Rosalind Picard)已經利用攝影機測量脈搏,因為人臉會隨著血液循環而有細微的顏色變化,與心跳同步,偵測這個顏色變化就能測得脈搏。(他們已經把這項技術轉化成測量脈搏的智慧型手機應用程式,名為Cardiio。)但我們覺得這個計算過程非常麻煩又複雜,牽涉到高等線性代數,於是尋找更簡單的執行方式。

我們面臨的主要挑戰是,影片中個別像素因血液流動而造成的顏色變化微乎其微,隨著脈搏的變化只有0.2%。不幸的是,攝影機無法記錄精確的數值,通常具有高於0.2%的隨機雜訊,這些雜訊大幅掩蓋了顏色變化。

尋找更簡單的方法時,我們和當時的學生吳浩宇(Hao-Yu Wu,音譯)、MIT的研究人員古塔克(John Guttag)、廣達研究院劍橋分院(Quanta Research Cambridge)的施英豪(Eugene Shih,音譯),決定把代表每個像素顏色的數值置換成所有鄰近像素的平均值。這個方法大幅降低了雜訊,因為在一大群的像素裡,這些隨機變動就會彼此抵消。如果顏色的變化太快或太慢,超過一般成人平時的脈搏數,我們也會過濾掉它。

這個簡單的方法成功把像素的變化轉換成每分鐘的心跳,但我們想要親眼目睹這些肉眼看不見的顏色變化。影片中每個像素的紅色數值一直在改變,利用這些方式去計算其變化,然後放大100倍,就能清楚看見人臉隨著心跳而變紅。

這項技術也可以運用在嬰兒身上。我們和曾任職於麻州溫徹斯特醫院的醫師布里辛斯基(Donna Brezinski)和麥卡蒙(Karen McAlmon)以新生兒為測試對象,用一般數位攝影機拍攝了一段影片。透過這個方法,我們發現影片裡嬰兒的脈搏幾乎跟他們小手指上連接的傳統脈搏計完全同步。這項觀察提高了非接觸性測量脈搏的可能性,對脆弱的早產兒來說很重要,因為任何的接觸都可能傷害到他們。對成人來說,這些視覺處理未來可望檢查出有健康疑慮的血流異常,例如人體兩側不對稱的血液循環。