人臉動作模擬

內容簡介

3D動畫在多媒體世界中快速發展,其中,人體以及虛擬人物的動作,表情更佔有舉足輕重的地位,不論在電玩、虛擬實境、以至於電影製作方面,如何製作一個逼真模型並使其產生各式各樣栩栩如生動作十分重要。目前提出建構3D人臉架構方法中,主要分成兩種不同類別:第一類為以電腦圖學技術為基礎,如幾何曲線、多邊形和簡單幾何圖形。第二類為藉量測真實人臉方式進行,如雷射掃瞄,利用硬體直接取得。

我們使用立體成像方法來建立人臉的3D模型。我們之所以能夠看到有"深度"的立體影像,主要是由於人類雙眼看同一個物體角度的不同,由於兩眼看物體的角度不同,所以物體前後關係在兩眼「左右」方向上會有一點點的差距,因此可以利用兩張或是更多不同方位相片或影像呈現出立體效果,若使用兩張影像,則這兩張影像即是各自模擬左、右眼睛所攝製成影像。為了達成立體影像的效果,基本上兩張影像必須要非常相似,換言之,幾乎在一張影像中的每一個特徵點於另外一張影像中都有一個對應點,只要左右兩張影像特徵對應點座標值差確定而且兩台照相機中心點距離和焦距已知,即可導出對應特徵點空間三維資訊。

我們利用兩個CCD攝影機同時左右拍攝標準人臉喜怒哀樂所呈現出臉部表情變化,將此兩個標準影像序列儲存後,於空間域中尋找特徵對應點,使用立體成像方法得到深度資訊以建構三度空間人臉模型;在時間域上進行特徵點比對,使用同一CCD攝影機連續前後兩張影像對應特徵點座標以推導特徵點位移向量,即可以得到二維人臉動作。每一特徵點經由空間域比對可得到三維資訊,並於時間域比對中推算每一特徵點運動向量,結合三維資訊及運動向量即可建構一三度空間人臉模型之運動序列,於建立各種人臉表情之三度空間運動序列之前處理資料後,只要將其他人二度空間影像,與資料庫中標準人臉平面正照建立特徵點對應關係後,即可承襲原特徵點深度與運動向量,將由標準影像得到3D資訊和位移向量資訊對應在其他平面正照上,使其成為三度空間模型,並模仿標準人臉動作,此一建立三維人臉模型運動序列資料庫,再將二維測試人臉影像對應至標準影像序列之方法對於日後建立人臉模型與模擬表情動作非常方便,其他測試影像平面只要與資料庫中標準影像正面建立特徵點對應後,即可承襲標準影像3D資訊和運動向量,過程中建立特徵點對應完全由電腦自行處理,不需人工經驗處理,非常節省人力。

第一年執行結果

標準影像
測試影像1
測試影像2
更多資料 以實際影像序列為依據之人臉動作模擬
程式下載 程式下載 (Program.zip 24.1MB)
投影片  

第二年執行結果

 
更多資料 以實際影像序列為依據之人臉動作模擬
程式下載 其他資料及程式下載 (32MB)