一幅數位影像是指一影像在空間座標和亮度上都數位化後影像。數位影像可視為一二維矩陣。每一行和列值確定了影像中一個點,而其對應矩陣元素值即該像素點的顏色值。人們對數位影像處理方法之興趣起源於兩個主要應用領域:改善影像資訊,使人能理解;及處理景物數據,使得機器能自動感知。影像處理技術已被廣泛應用,例如在醫學上,藉由計算機處理,增強了影像對比度,或將亮度準位編碼成彩色,使醫生易於解釋醫學影像。地理學家使用類似技術,研究由航空或衛星所拍攝得影像,判斷地層變化的狀況。在考古學中,使用影像處理技術,復原已損壞珍奇文物影像。在二維條碼辨識上,利用影像處理技術對條碼圖形做校正、復原與條碼辨識。



執行中計畫

目前本實驗室已實行之計畫有2016~ / 2011~2015/ 2006~2010
中醫舌診分析結合智慧型手機基於Dark Channel Prior夜間影像消除光暈及低光照影像增強演算法高、低解析度手機雙鏡頭之影像融合連續服用中藥或西藥與慢性腎病發生之關聯:全民健保資料庫研究有效改善舌象特徵分析方法之研究B型肝炎病毒感染與癌症發生之關聯:全民健保資料庫研究由影片自動推導移動平台控制參數之技術自動化舌診系統之雲端管理技術小兒科急診之效益評估:全民健保資料庫研究夜間影像除霧舌下絡脈特徵自動化擷取系統自動化舌診系統舌部輪廓提取之優化方法全民健保資料庫研究乳癌預後之中醫舌診指標以Mashup技術為基礎之中醫舌診動態評量系統以視覺為基礎之體感動作編寫工具水下影像強化基於三維立體視覺之甲襞微循環靜態及動態特徵分析自動化舌診系統與中醫師診斷之一致性研究自動化舌部特徵擷取全狀況掌控之沉浸式監視系統突起物平面影像資料疊合及鑑別基於比例-失真度準則之影片摘要以空間關係相鄰圖為基礎之空間關係相似性量測方法群眾模擬之一致性方法個人化向量字型空間關係分類以及相似性量測之範用結構人臉動作模擬中醫舌診系統紅外線投射物尋標系統影像資料庫多範例影像資料庫非真實照片式繪圖(NPR)虛擬按鍵印刷樂譜辨識系統(OMR)個人化字型系統影像檢索加入空間限制判斷 快速運動與模式預估影像註解之資訊探勘方法快速模式決策方法影片資料庫擷取系統混合式浮水印技術應用於視錯誤偵測和隱匿

中醫舌診分析結合智慧型手機

基於自動化舌診系統與雲端舌診系統奠定雄厚根基,智慧手機舌診系統之研究順勢衍伸而出。於智慧型手機端拍攝影像時,根據影像品質進行初始判斷,篩選符合品質較佳之影像。捨去過往需要持有色卡進行色彩校正方式進行影像色彩校正。搭配資訊雲端分析技術突破局限於單機作業之受限,可避免舌診分析時需耗用大量硬體資源且有效提高效率,節省耗費大量手機硬體資源,透過雲端舌診系統 MVC 架構下開發的 Web API 端口與智慧形手機端進行資料傳遞,達到雲端運算功能。分析後資料立即傳回手機端並保存於雲端資料庫供日後查詢比對。智慧型手機舌診之研究可有效提升中醫舌診之普遍性及便利性,使民眾便於操作與即時分析。

基於Dark Channel Prior夜間影像消除光暈及低光照影像增強演算法

本文基於Dark Channel Prior演算法,利用負片系統,將DCP消除濃霧之特性,轉化成對暗處影像之光源補償,藉此強化低光照影像。首先,需要移除人造光源,修正受人造光源影響之區域,再將影像轉成負片,利用DCP推算物體景深 (Scene Depth) 及透射率 (Transmission),並使用導向濾波器 (Guided Image Filtering) 使透射率更趨細緻,再透過大氣散射物理模型補償光源,最後,將影像由負片轉正,對補償後影像進行色彩校正,即可有效強化低光照環境之影像。

高、低解析度手機雙鏡頭之影像融合

利用高、低解析度雙鏡頭結合小波轉換之影像融合技術達到於各光照環境下皆能提升成像品質之效果。首先利用高、低解析度雙鏡頭取像,參考相同時間與空間之高、低解析度影像進行融合,能兼顧高、低解析度鏡頭特性。將來源影像經小波轉換,對不同頻域依其特性設計融合規則,於低頻區域結合過曝與欠曝分析、細節紋理、噪點多寡與最小可覺差等來源影像評估方法;對於高頻區域則使用區域最大值法,保留影像變化情形。透過給予各區域對應之融合規則將各區域優勢訊息融合為一,使低解析度鏡頭成像之低雜訊與低動態模糊優勢加入高解析度鏡頭成像中,保留高解析度鏡頭之影像細節,並於低光照拍攝環境中,使用低解析度鏡頭捕獲場景內微量光源補足高解析度影像所喪失之亮度資訊,以提升高解析度成像於低光源時之暗區細節,最後逆轉換至影像資料,完成可靠且快速之影像融合。

連續服用中藥或西藥與慢性腎病發生之關聯:全民健保資料庫研究

本研究目的為評估台灣連續服用中藥或西藥與慢性腎病之關聯性,通過數據分析,於2005-2010年間,由全民健保資料庫共1,000,000人中,搜尋2010年第一次被診斷出得到慢性腎病患者共810人,探討連續服用中藥或西藥是否會增加得到慢性腎病之風險。研究顯示,連續服用中藥比例隨著服用天數增加而增加,連續服用中藥時間越長,則有越高比例病患被診斷罹患慢性腎臟病;而連續服用西藥比例隨著服用天數增加較無明顯差異。另外,本研究更進一步搜尋慢性腎病患者停止服用藥物到發病天數及服用中藥或西藥前五名藥物與劑量,並依據性別、年齡、是否有高血壓等因素進行統計,透過研究提供分析資料,提早預防得到慢性腎病的可能性,以適當的被規劃和預測。

有效改善舌象特徵分析方法之研究

為提升舌正面特徵擷取準確性,本研究在自動化舌診系統之基礎上加以改進,透過高析解度之拍攝裝置拍攝受試者舌部影像,經色彩校正與色彩補償技術統一影像品質;而後,經由分析舌頭、嘴唇及皮膚部位之RGB色彩分量表現,轉換為易於人眼認知之HSI色彩空間,依色調、飽和度及亮度特性,利用移除皮膚、矩形檢測、牙齒區域與口腔暗區檢測、控制點偵測後,使用主動輪廓技術擷取舌體,之後藉由型態學、臨界值法、連通物件標記等技術,依序擷取津液、苔色、舌色、舌苔厚薄、舌形、裂紋、瘀點、朱點及齒痕特徵,最後依五個臟器分區,進行量化特徵之數目、面積或長度,並利用統計分析結果產生舌診報告表,提供中醫師作為臨床上診斷之參考。

B型肝炎病毒感染與癌症發生之關聯:全民健保資料庫研究

肝癌在台灣約佔10%總死亡率,肝癌感染原因大部分源於肝炎病毒A、B、C、D和E。其中,B型肝炎和C型肝炎被認為是導致肝癌的罪魁禍首,B型肝炎或C型肝炎的後續發展研究已引起學者們的關注,肝炎病毒和癌症之間的關聯性可能跟地區或物種因素有關。儘管B型肝炎和肝癌之間相關性已被證實,但是目前研究針對B型肝炎和非肝癌以外之癌症探討關係卻較少被研究。因此,這項研究的目的為評估台灣B型肝炎病毒感染對癌症之發生率和風險,探討B型肝炎是否會增加癌症之風險和癌症之發病率在台灣,並且通過這項研究提供的資料,使治療和預後可以適當的被規劃和預測。

由影片自動推導移動平台控制參數之技術

虛擬實境系統常被用在娛樂,藉由無縫式影片播放技術,結合移動平台運動機制,使用者更能產生身歷其境之體驗。影片拍攝時,多根據攝影師個人經驗,改變攝影機視角、鏡頭和變焦係數,由不同角度進行取像。另一方面,為將影片於配置移動平台之劇場放映,目前仍需以人工方式,逐一影格觀看影片畫面場景變化,進而回推原攝影師之拍攝角度及軌跡,以手動調整控制移動平台之擺動方式,需花費大量編寫時間與人力成本。本研究透過影像處理技術,藉由?續攝影機移動所拍攝之畫面推導,自動產出移動平台參數,利用影片分鏡變換偵測將影片分割出各分鏡,再推導同一分鏡中攝影機畫面拍攝參數或分鏡與分鏡間之運動軌跡及速度,據以產生控制移動平台上下(Heave)、左右(Sway) 與前後(Surge)方向之平移運動參數,以及前傾(Pitch)、翻滾(Roll)、扭轉(Yaw)之轉動運動參數。完成影片自動化分析,取代大部分人工調校,提供快速與準確移動參數。

自動化舌診系統之雲端管理技術

過去自動化舌診系統藉由科學方法,研發能輔助醫師診斷之系統,然而世界上所存在之病症無法盡數,若醫師受到地域之影響,接收到的病症知識亦則受限。因此本研究將自動化舌診系統改為在伺服器上進行雲端運算,並以 Model View Controller 作為基礎架構。Controller 可將被上傳之影像交付給儲存影像數據之 Model,而位於系統後台之 System Service 會定期到Model抓取影像,並進行分析處理後,將分析數據儲存回 Model,等待 Controller 將 病例分析數據從 Model 交付給 View 呈現給使用者查看,讓使用者以不修改病例為前提,可以同時查看多份病歷,增進多種病症之知識。

小兒科急診之效益評估:全民健保資料庫研究

近年全球公共衛生進步與少子化影響,帶動兒童醫療變遷,兒童醫療重心由量轉為品質要求。透過急診給予患者緊急診治,以拯救生命、縮短病程,保留肢體或維持功能為目的。小兒科急診屬急診之一環,我國小兒科急診佔急診總數20%左右,平均每100人1年利用急診醫療28.2次。但國內急診醫療資源城鄉差異高,都會區急診室患者輕病急診,造成人滿為患;鄉間又缺乏專科診療,因此兒科急診醫療品質相對不良。據統計國內僅38%小兒急診由小兒科專科醫師診療;在國外,根據醫學雜誌"小兒科學"指出:美國4000個急診部門中,僅6%完美滿足由美國小兒科學會、美國急診醫師學院、美國急診護理協會共同認定之162項準則。如何持續提供更完善之小兒科急診醫療一直是國內外兒科醫療界需面對改善之問題。

夜間影像除霧

隨著人民安全意識覺醒,對於居家住宅、辦公大樓、商業店舖與都市公共區域(如車站、公園、道路、地下鐵)之安全監控需求提高,但犯罪及車禍之發生多於光線不佳、視線不良之夜間發生,因此夜間影像之品質攸關重大,為掌握證據、判斷真相之關鍵,惟習知影像處理多針對白天環境,鮮有就夜間人造光源、色散等影像失真進行補償,導致空有監控畫面,卻因光線不佳、色彩模糊,無法加以判讀,於事無補,而徒嘆負負;夜間影像之處理並無法直接循既有之白天環境處理模式,以除霧演算法之主要資訊為景深,現以Dark Channel Prior(DCP)自單一影像中估算景深最為熱門,白天中遠處對應至主要光源─天光,亮度最大,而較近處則亮度較低,透過背景光之量化推導影像深度,反觀夜間場景中光源並非天光,而多來自人造光源,遠處並無非至最大亮度反而漆黑一片,因此,DCP無法適用於夜間場景中,夜間影像除霧及品質增進之系統性研究尚付之闕如;本文針對改進夜間影像品質之殷切需求,提出結合大氣散射模型與人造光源資訊進行夜間影像除霧,並分割、追蹤影像序列中各移動物體進行亮度補償,使其還原後如同處於白天場景般清晰。

舌下絡脈特徵自動化擷取系統

近年來,醫療研究相繼指出舌下脈絡與人體臟腑關係密切,藉由觀察舌下絡脈變化,判斷人體臟腑是否發生病變,進而及早治療。惟臨床舌下絡脈診判讀往往取決於醫師主觀判斷、經驗累積以及當時所在環境因素,其結果易囿於知識、經驗、思維模式、診斷技巧、對顏色感知及詮釋等主觀判定影響,不同醫師對同一舌象可能做出互異判斷,重複性不佳。因此藉由科學方法輔助醫師進行診斷,循標準化判別程序,獲得可靠斷證結果,以提高中醫臨床應用價值,為一重要課題。系統流程分成兩部分,第一部分分離舌診影像中舌部區域後,第二部份再進行舌背上特徵之辨識。首先拍攝患者舌背影像,並經過色彩校、皮膚移除、牙齒偵測、暗區偵測及內外控制點後,可決定出舌背輪廓並提取舌背區域。舌背上特徵包括舌下絡脈,囊柱、囊泡、瘀點及瘀血絲,舌下絡脈又區分為顏色、高度、寬度、曲張及分支等判斷。最後整合特徵結果並分析舌脈狀況,提供中醫師做為臨床診斷之參考。

自動化舌診系統舌部輪廓提取之優化方法

中醫診斷以「望聞問切」四診作為疾病之辨證依據,望診位居四診之首,舌診為其重要診察項目。舌診之結果係經中醫師對舌頭特徵判讀而來,臨床診斷上常因醫師所學及經驗而有所差異,過去自動化舌診系統已透過科學方法,研發具標準判別程序之輔助系統,協助醫師診斷。然而,舌體擷取流程仍不盡理想,影響系統對舌體特徵之判讀。本文提出以器官特徵結合色彩分析為導向之邊界修正演算法,透過拍攝患者舌部影像進行舌部、嘴部區域分割作業。首先,移除嘴部以外區域,再分析牙齒、口腔暗區與嘴唇之色彩分布,依HSI色彩空間特性,利用統計臨界值、數學形態學、連通元件和極座標轉換等技術將其排除,最後以極座標控制點偵測以提取舌體,俾利自動化舌診系統後續特徵判斷。

比較非睡眠呼吸中止失眠與睡眠呼吸中止失眠罹患腦中風與急性心肌梗塞風險比例: 全民健保資料庫研究

我國目前全民健保納保率達到99%以上,使得健保資料成為醫藥衛生相關領域研究中具有代表性的實證資料,其研究成果可作為醫藥衛生政策的參考,為重要的研究資源。本文利用健保資料庫釋出100萬人樣本,探討2004-2010年中成年失眠人口當中,是否會因為失眠種類不同影響罹患急性心肌梗塞與腦中風患病風險。本實驗將失眠分為非呼吸中止與呼吸中止失眠,利用卡方檢測比較兩失眠族群於混雜因素差異度。使用Cox’s proportional hazard分析性別、年齡、合併症狀等混雜因素,比較失眠種類是否會影響急性心肌梗塞與腦中風患病風險比。利用Kaplan-Meier curves建立兩群族每年可能罹患急性心肌梗塞與腦中風患病趨勢圖。

乳癌預後之中醫舌診指標

乳癌為全世界女性死亡率排名第二之癌症,多發性之乳癌,治癒後仍有機率轉移造成身體損害。為了預知乳癌是否轉移,早期治療病患以增加存活率,乳癌預後相對重要。本文共蒐集162位乳癌病患與70位正常人舌象特徵,由自動化舌診系統依脾胃區、肝膽左區、肝膽右區、腎區、心肺區等舌面分區,分別擷取舌色、舌形、津液、舌苔、舌質、裂紋、瘀點、齒痕、朱點等九項特徵。經Mann–Whitney Test推導乳癌病患與正常人具顯著差異之舌頭分區特徵(p<0.05),將蒐集之資料區分為訓練資料和測試資料兩群組。將Mann–Whitney Test中具顯著差異之舌象特徵視為因子進行邏輯迴歸分析,移除一項最不顯著之特徵(p>0.05)並進行邏輯迴歸分析,透過三次特徵之移除和分析,檢定出獨立顯著特徵,並建立預測罹患乳癌與否之邏輯迴歸模型。

以Mashup技術為基礎之中醫舌診動態評量系統

傳統中醫四診合參,醫生可獲得對病人初步辨證。中醫診斷與研究相當仰賴教育學習與臨床經驗累積,教學方式多仍依循傳統教法,傳統教學及評量皆為靜態形式,靜態之評量內容一經編排後,無法彈性視學習者需求,動態變更測驗試題,亦無法即時動態更新教學輔助教材,學習之地點、時間及型態皆為受限,教學及評量方式均有改善空間。本研究旨在運用電腦技術,以中醫望診中舌診為例,針對上述缺失提出以Mashup技術為基礎之中醫舌診動態評量系統(DASTD),提供動態適性評量與即時性教材,建立一有效之教學評量架構,提供中醫教學者及學習者一個數位化多元學習資源及評量平台。

以視覺為基礎之體感動作編寫工具

以視覺為基礎之體感動作編寫工具(ATVISA) ,不同於以往系統只能單判斷預先設定於資料庫之固定動作並回應固定事件,乃是結合人機交互介面、體感設備與編寫工具之特色而成之系統,由人機交互方式提供介面供使用者於編寫工具介面定義人體動作序列,其中結合編寫工具之特色,介面提供大量圖形物件與文字,使編寫者能更迅速定義相關動作之時間及空間關係,定義完成之人體動作序列,藉由體感設備可判斷人體關節位置之特色,由體感設備提供人體之影像與骨架位置,經由比例轉換顯示編寫之範例人體動作序列讓使用者模擬動作,模擬過程中,透過位置、速度、連續程度與擺動幅度以判斷動作正確性,並提供相關資訊給使用者。

水下影像強化

色散及色偏現象為造成水下攝影失真最主要的原因,其中色散現象為物體反射光線經水中粒子吸收與多次漫射後抵達相機成像;色散現象會造成影像能見度與對比降低的影響。色偏現象則為光線於水中傳播時,因不同波長具相異之能量衰減程度,而令水下環境呈現偏藍色調。 本文針對水下影像之色散與色偏失真提出結合除霧演算法及波長能量補償之影像強化演算法,首先以Dark Channel Prior估測物體至相機距離並產生物體至相機距離深度圖(depth map),接著以影像前景與背景之亮度差值來判斷影像拍攝時是否存在人造光源照射;於移除人造光源的影響後,使用除霧演算法移除色散造成之霧化效應,再以水下背景光之各波長能量剩餘比率估測拍攝場景之水下深度,最後根據各波長能量衰減進行逆向補償,以還原影像之色偏失真。

自動化舌部特徵擷取

近年來中醫在西方醫學界中引發一波新潮流,而中醫乃是以望聞問切四診對病人進行診斷,望診又居四診之首,其中舌診乃中醫望診中重要之項目,舌診之結果乃根據醫師對舌頭特徵加以判讀而來,而舌頭特徵觀察重點為舌形、舌質和舌苔所構成之舌象。舌形病理計有中、胖、瘦及歪斜等;舌質病 理中,舌色包括淡白、偏淡、淡紅、偏紅、紅、絳、黯及瘀斑、裂紋、齒痕及朱點等特徵;舌苔病理可區分為白、黃、黑、膩、厚、薄、剝或無等。臨床上中醫師多依個人知識與經驗,透過眼睛觀察特徵而推斷病人身體主要病症,診斷結果易囿於知識、經驗、思維模式、診斷技巧、對 顏色感知及詮釋等主觀判定影響,不同醫生對同一舌象可能做出互異判斷,重複性不佳。因此藉由科學方法輔助醫生進行診斷,循標準化判別程序,獲得可靠斷症結果,以提高中醫臨床應用價值。藉由電腦判讀達到客觀化及定量化之目標,故中醫舌診電腦化研究是必然發展趨勢。

近年國內、中國大陸執行許多舌診研究,但在臨床舌診判讀上絕大部分仍缺乏客觀指標,而無法達到研究上可重複性之要求,因此為了中醫舌診能往現代化、定量化方向發展,發展一套現代化舌診儀是件刻不容緩之工作。舌診儀包括置放下巴之舌診檢查部及架設相機之支撐部,二者間以可調式水平滑軌連接 ,可視相機及鏡頭種類,彈性移動相機支撐部,改變其與舌診檢查部間距離;亦可根據相機高度調整可調式垂直滑軌來改變舌診檢查部之高度,找到最適合之拍攝位置;校正色卡位於舌診檢查部左側,由12個標準色塊構成,可提供整張影像顏色校正之參考。考量光源之色溫、體積及耗電量,因此採用可裝載 於相機鏡頭之環形發光二極體做為取像時主要照明光源,受測者坐在舌診儀前,將下巴靠在舌診檢查部上,並由高解析度數位相機進行攝影,攝影後將影像傳至自動化舌診系統。


自動化舌診系統乃是先分離舌頭部位,再擷取舌面上之特徵,如津液、裂紋、瘀斑、齒痕、朱點、舌苔及舌質、舌苔厚薄度與腐膩度、舌色等。流程如下:首先須由患者嘴部擷取舌正面影像作為輸入影像,經由亮度與色彩校正分別補償亮度、色彩偏移得到校正後之影像;接著,自校正後影像擷取舌部區域, 本論文經由分析舌頭、嘴唇及皮膚部位之RGB色彩分量表現,轉換為易於人眼認知之HSI色彩空間,經由移除皮膚、矩形檢測、牙齒區域與黑色區域檢測、控制點偵測後,使用主動輪廓技術擷取舌面輪廓。分離舌頭部位後,根據RGB色彩分量變化,色調、飽和度及亮度等特性,藉由拉開對比、臨界值法及連通 影像元件檢測舌部相關特徵,如津液、裂紋、瘀斑、齒痕、朱點、舌苔及舌質、舌苔厚薄度與腐膩度等,最後進行特徵分析,量化特徵之數目、面積或長度,並統計特徵分析結果產生舌診報告表,提供中醫師作為臨床上診斷之參考。


基於三維立體視覺之甲襞微循環靜態及動態特徵分析

本研究透過電腦視覺技術對顯微微循環影像序列進行因活體晃動之影像位移補償自動穩定影像序列便不需手指夾具完全固定。再擷取血管區域以量測及分析其靜態及動態病理特徵,進而診斷人體健康狀況。將三維電腦圖學建模技術加以融合,重建擷取之血管區域及靜態特徵,並偵測血流流動變化,推算血液流速、流向等動態資訊,藉此診斷人體末梢血管循環狀態。將動態血流資訊整合至三維血管模組,呈現三維血管動態血流視覺,透徹觀察微循環靜態及動態特徵。

全狀況掌控之沉浸式監視系統區分為三階段:

第一階段:三維場景建構與動態立體場景
以監視區域之衛星影像為基礎,結合建物高度、樓層數、各樓面、房間配置等資訊,並貼上靜態材質,視監控需求,建立詳細程度不等之監視區域三維靜態場景 ,並將監視區域中各攝影機擷取之即時二維影像對應至所建構之三維場景,以單一監控環境呈現所有攝影機畫面,建構立體動態監控場景。

第二階段:多攝影機間之協同偵測
影片畫面具監控意義之移動物體通常屬於前景,故必須將前景與背景分開再針對前景部分做處理;分析由各監視器回傳之監控影片,針對影像序列中每一張影像根據以像素穩定度為基礎之背景更新演算法計算背景,以此背景過濾前景以進行前景偵測擷取前景明顯移動物體,藉前景擷取結果以connected component labeling過濾前景破碎小區塊並記錄各區塊相關資訊,接著針對各攝影機所擷取出之前景以RGB分量百分比與其區塊內對應位置資訊進行人物辨識,並將各人物區分為5種state(Enter、Leave、Match、Occlusion、Fraction)進行追蹤,於自行建置之三維動態場景勾勒出每個人於此攝影機之視野範圍中實際移動路線,再分析攝影機與攝影機間所擷取出之移動物體關連性,若人物位於Camera View重疊區域則進行雙重確認,若人物離開一Camera View並於另一Camera View中出現,則進行虛擬行走路徑規劃,融合多攝影機進行協同偵測完成全域場景人物即時監控目標。


第三階段:虛擬巡邏、夜間影像增強等應用
使用者可依自行設定之巡邏路徑主動進行固定頻率巡邏,同時參考廣角鏡頭之大範圍涵蓋特性及長鏡頭細部影像擷取能力,巡邏途中可以不同角度及距離觀看場景或特定物件,如虛擬實境般置身場景進行巡邏。

傳統監視器固定設置於同一地點,因晝夜變化或環境光亮暗等限制,同一空間不同時間點所拍攝之監視影像不盡相同,於白天時段所攝錄之監視影像光源足夠,其視野範圍多屬明顯易見,相較於此白天影像序列,夜間影像則因場景光源亮暗分佈不均而顯得模糊不清,光用人眼無法輕易追蹤,為保證夜間時段監控安全效益,使系統亦能於陰暗環境底下清楚辨識移動物體,本論文使用模糊理論將夜間監視影像之亮度值轉成模糊矩陣,針對此矩陣做即時模糊強化並保留各像素原飽和度資訊,目標在於清楚辨識監視器視野範圍中陰暗部份之移動物體,並將結果貼上訓練完成之白天背景再分割成天花板、地板、牆壁三部分以貼材質方式貼進3D場景,擷取出夜間移動物體將有利提昇整體監控安全性。

視訊檢索主要分為三大部分,分析階段、組織階段和相似像量測。分析階段本論文採用失真變異度進行分鏡與關鍵影像擷取,組織階段採用N-cut分群將關鍵影像分類並且建立時間情境圖,相似性量測則分為兩大部分,視訊結構與視訊內容,在視訊結構上,以時間情境圖來顯示,利用最短路徑移除和記錄將二維有向圖轉成一維字串,利用Edit-distance概念進行字串比對,而視訊內容則以碎形正交基底為做相似性量測。

將不同聚焦成像位置之複數高倍數、短景深金屬平面影像藉由物件邊緣偵測和影像二值化,建立各影像平面間之像素對應(correspondence),再透過影像處理及圖像投影重建技術疊合多張平面影像,建構三維立體結構,視覺化顯示其結構空間與組織分佈之相對位置,透過三維立體結構,使用者能夠有效率地測量出結構屬性資料,諸如種類,形狀,面積,長度,顏色紋理,組織分佈起伏,瑕疵等資訊,並且可選取工具選項,擷取三維結構之特定剖面圖,更能清楚地看清內部與表面高低起伏影像,亦可以放大旋轉視野將結構面一覽無疑,並且可以針對使用者所需切面資料亦可詳細顯示。針對聚焦最清晰影像做元件連接分析,進而將同區域之高度計算平均值,並且標記與平均值差異太大之位置,鑑定為突起物之缺陷處。

影像摘要一直以來都是熱門研究話題,其主要目的在於尋找最具代表性之關鍵影像,本論文以比率-失真度準則產生影片摘要,藉由影片摘要重建影片序列與原影片序列之差異度稱為失真度, 除了影片摘要之品質影響失真度,影片摘要之比例也影響著失真度,影片摘要之比率越高,重建影片序列越近似原影片序列,失真度也就越低;反之,影片摘要之比率越低,失真度越高,因此如何在不同比率下產生最具代表性之影片摘要為本論文之重點。

良好搜尋影像資料庫,主要分為兩大技術,擷取特徵與比對方法。藉由影像內容以空間關係特徵為主,與Interval Neighbor Group上空間關係節點相對應,提出以節點間最短距離為基礎之空間關係相似性範用結構 ;加上輸入多張正負相關影像使用Multiple-Instance Learning技術,去除查詢影像中不相關之部分,以利擷取共同特徵給予比對,以期建構出一正確且更為有效影像搜尋資料庫系統。在此考量下,無論兩影像間一對一、一對多、多對一和多對多空間關係,皆能進行相似程度計算,讓使用者能夠依照明確之空間關係特徵,搜尋出符合需求 之資料庫影像。

 

即時手勢辨識系統以基因演算法改良粒子追蹤器進行影像追蹤。經由膚色模型將手部影像與背景分離、二值化後取得影像輪廓。為避免仿射轉換影響,以傅立葉描述子將所得特徵轉換成頻率域,再利用K組平均法(K-Means)取得各預設手勢之特徵向量組合,最後比對輸入影像與預設手勢於特徵空間之相似程度決定手勢之含意。並根據應用系統類型,如動作遊戲,影視操控等需求,傳送手勢辨識所得之對應事件。

行人模擬之研究可以說是以agent-based modeling此種方法主,而agent-based其做法是將每個要進行模擬之個體其移動、其所遭遇之狀況,皆分開單獨計算做個別考量;因此單純之agent-based modeling勢必會造成大量計算,使得效率不佳;此外還有leader-follower制度,也就是在一個要進行移動之團體中,一定都會存在著一個leader,而這個leader會來帶領整個團體往目的地作移動,而團體中其他成員,就是所謂follower,這些follower他們會在leader 進行移動時,緊緊跟隨在leader附近一起進行移動。

 

 

中文字型之個人化處理共可細分為標準字元處理、手寫字元分析及特徵對應三步驟,先透過字元、字根及筆畫所組成之階層結構,將電腦配置之標準中文字集中每一字元均拆解為組成字元之字根、構成字根之輪廓與形成輪廓之線段、控制點數目及控制點相對關係,再於使用者書寫預設數目之指定中文字元後,擷取手寫字元之各組成字根長寬比例、構成字根之筆畫長度及斜率等特徵,最後依所擷取手寫字元特徵,據以修改標準中文字集中組成每一字元之字根長寬比例、構成字根之筆畫長度及斜率,將標準中文字集之字元轉換成具有個人手寫特徵之字元,產生獨一無二之個人化中文字型。




以往之影像資料庫檢索,多以文字進行搜尋,這種方式不但耗費大量人力對每張影像進行註解,更出現文不對圖之情況。近年來提出以影像內容進行搜尋,擷取出影像中之特徵。然而單一影像特徵並不明確,無法確實地表現出使用者最有興趣之特徵,而使得檢索結果不理想。因此實驗室以Multiple-Instance Learning為基礎,著重於影像資訊在空間關係之比對研究及分類之合理性,更於分類後更提出影像相似性量測之模組,以計算影像在空間關係上之相似性。而在分類和合併後,除了考量空間關係彼此間之相似性和物件差異之外,更加入正負相關影像之空間資訊對相似性之影響,在此考量下,計算出各個空間關係間之相似性值,並以此值作為檢索標準。

3D動畫在多媒體世界中快速發展,其中,人體以及虛擬人物動作,表情更佔有舉足輕重的地位,不論在電玩、虛擬實境、以至於電影製作方面,如何製作一個逼真模型並使其產生各式各樣栩栩如生動作十分重要。要實現人臉模擬,必需先瞭解人臉肌肉在各種不同表情動作,若使用電腦圖學技術建構,不僅3D模型建立耗時,各控制點之運動模擬亦不逼真,若以機器視覺方式於人臉貼上定位點,拍攝後再加辨別,則受限於定位點數目而無法模擬細緻之人臉表情變化。我們利用兩個CCD同時左右拍攝標準人臉喜怒哀樂所呈現出臉部表情變化,將此兩個標準影像序列儲存後,尋找特徵對應點,使用立體成像方法得到深度資訊以建構三度空間人臉模型,完成之模型,可以套用任何特定演員臉部,模擬各角色之各種臉部表情。

「辨舌質,可辨五臟之虛實。視舌苔,可現六淫之深淺 --《辨舌指南》」。就中醫師而言,舌頭是反應身體內狀態的鏡子,臟腑病變可由舌部之變化而得知;「中醫舌診」即是通過對舌部之觀察而探知體內狀態,在中醫舌診病情診斷上,主要是根據舌苔與舌質上之特徵來進行判斷。我們以電腦影像處理技術暨模糊理論來對傳統舌診進行電腦化,由數位化舌診影像中擷取出舌頭部位影像,並將其分離為舌苔與舌質兩大特徵,以模糊理論分析舌診特徵並做綜合判讀,目前已能根據舌苔舌質面積及色調差異對苔多寡、偏全變化、苔厚薄進行定量並判斷其程度深淺。

 

紅外線尋標系統主要為賦予投射物判讀紅外線影像能力,能從影像中選擇移動目標物,以適時修正飛行狀況。所發展之多頻譜信號偵測技術除可配合國防武器應用外,亦可使用於將分散各地震區域地震檢波器偵測得到地震訊號、處理海洋中串聯水聽器偵測得到聲音訊號、通訊時電子訊號偵測等其他領域,尤其是消費性電子通訊產品,例如無線電、行動電話,於接收端所測得之多通道訊號,亦可以資料融合方式增加接收信號研判時之可靠度。

 

條碼是用來方便人們輸入資料的一種方法這種方法是將要輸入電腦內的所有字元以寬度不一的線條(Bar)及空白(Space)組合來表示每一字元相對應的碼(Code)。其中空白亦可視為一種白色線條,不同的條碼規格回有不同的條組合。在一個條碼的起頭及結束的地方,都會放入起始碼及結束碼,用以辨識條碼的起始及結束。 二維條碼的識別有兩種方法:(1)透過線型掃描器逐層掃描進行解碼,(2)透過照相和圖像處理對二維條碼進行解碼。對於堆疊是二維條碼,可以採用上述兩種方法識讀,但對絕大多數的矩陣式二維條碼則必須用照相發法識讀。 在二維條碼影像處理的過程中,我們先由電腦自動化找出適當之臨界值,將條碼影像二元化,接著利用一些條碼應有的特徵,從影像中定位出條碼正確所在位置,再將其旋正、去雜訊、分離各個模組、解碼最後將條碼資料還原。

 

將印刷樂譜數位化通常有三種方式:一種是利用音樂編輯軟體,依照樂譜一個一個音樂符號 逐次輸入,這種方法不但費時,而且容易有人為疏失;另一種則是吟唱或彈奏一段旋律,藉由麥克風或MIDI鍵盤等輸入裝置將旋律輸 入,再經由軟體轉換成電腦可讀格式,此種方法速度較快,但是硬體需求較高,而且目前技術發展尚未純熟,尤其當和絃或同時多個 聲音輸入時,易產生干擾造成辨識錯誤。而光學印刷樂譜辨識系統可以避免上述問題困擾,並且可以減少人工作業時間。 我們利用了兩個領域的知識:一者為影像處理技術,主要使用投影法擷取水平與垂直線段以縮小辨識範圍,再以型態學法辨識各種音樂符號,另一者為樂理知識,用來提供分析上之輔助,並修正辨識錯誤之處。

 

數位化影像、音樂或軟體在網路上傳輸十分容易,而增加了被大量非法複製或散播的機會。為了解決著作權保護的問題,資訊隱藏浮水印技術是目前最常被採用的方法之一。我們利用碎行正交基底(Fractal Orthonormal Basis)壓縮原理以及其產生的碎形碼,來實現浮水印的資訊隱藏。其中在碎行正交基底壓縮碼產生的過程中,利用取代原Range區塊的數個Domain區塊所組成之線性組合係數,因為其間相互獨立且含有正交性,調整各項係數並不會互相干擾,所以可在其中隱藏大量的資訊。在嵌入過程後,僅保留壓縮後的部分壓縮碼以及其亂數種子,屬於半盲型(semi-blind)的浮水印技術,不會佔太多儲存空間;另外以上所保留的兩者,可做為密鑰。最後經過實驗證明,我們的技術在大部分一定程度的影像破壞處理後,仍能擷取出可靠的浮水印資訊。英數文字,其字元數量少,一般常見之個性化處理方式就是針對各個字元影像作輪廓擷取處理。至於中文字部份,透過相同方式亦能夠完成,不過由於中文文字數量十分龐大,一一做處理是耗時且不符合效益。然而中文字元的組成,可以由多個字根共同組合成一個字元,而一個字根也可以供多個字元所使用,具有階層式架構以及可重複使用之特性。因此若是將處理的層級由字元降至字根層級,使字根個人化後再供給其它多個字元所使用,便能利用較少的輸入去修改大量的字元集。而且降低至字根層級後,組成筆畫的複雜度亦較字元時低,便於對字根中的各個筆畫作詳細的處理,最後再將各個個人化字根套用至所有使用到這些字根之字元中,得到最後的個人化字型。

連續視訊序列包含靜態或是移動中的相同物件,運動預估(Motion Estimation)為了要求得物件的移動向量(Motion Vector)以代表物件可能的動作,針對視訊序列中某物件檢視其運動軌跡。運動補償(Motion Compensation)利用已求得之運動向量來達成資料壓縮。畫面間編碼技術(Interframe Coding)中,由於畫面與畫面間存在高相關度,運動預估與運動補償成為消除畫面間時間冗餘的有效技巧。本研究在H.264編碼器進行,其流程如下,輸入為欲編碼之其中一張視訊畫面,切割成若干16x16區塊,接著進行motion estimation;若在GOP中為第一張frame則進行intra prediction,否則進行inter prediction,對產出的預測值進行transform與quantization,最後經由CABAC(Context Adaptive Binary Arithmetic Coding)產出解碼端可解讀之bit stream。

傳統的content-based image retrieval system,有些是利用顏色、形狀、紋理來做搜尋影像內容的依據,但對於一般的使用者來說,利用這些低階的特徵來做搜尋是有困難的,而且大部分的使用者比較偏好利用文字來做搜尋。例如,Google的image search 雖然它的名字叫做image search ,但事實上卻是一種標記的搜尋,是靠影像的註記來做搜尋,而不是以影像的內容做為搜尋的依據。隨著對影像註記的需求愈來愈殷切,MEPG 7訂定Multimedia Description Schemes (DSs)影音註解的標準,可是目前影像的註解,大部分還是要依靠人力,非常的耗時,如何對於影像下適當而且自動的註解是非常重要的。所以我們提出一個方法可以對影像做自動的註記,我們的方法是擷取出每一張影像的fractal features,再利用Diverse Denisty Algorithm做為訓練分類的方法,讓使用者和系統可以做即時性的互動式學習,最後可以利用已經訓練好的models對影像做自動註解。

在現今國際舞台上,視訊壓縮編碼標準主要是由兩個組織分別所制定而出,一是H.26x系列由ITU-T組織所製定維護,另一則是MPEG系列由ISO/IEC JTC孕育而生。 在西元2001年12月,由這兩組織攜手合作,成立聯合視訊小組(Joint Video Team, JVT),旨在發展新視訊壓縮編碼標準格式,此種格式在ITU-T中稱為H.264,而在ISO組織中則被納進MPEG-4 Part-10 (ISO/IEC 14496-10)並且被命名為Advanced Video Coding (AVC),一般而言通常將之合稱為H.264/AVC。 由於H.264/AVC模式選擇利用高度地彈性以取得影像壓縮後高品質要求而導致其計算量十分地龐大,這會使得影像在編碼時期得耗費大量時間使得即時編碼要求變得是一項十分嚴苛的挑戰,因此本篇論文將著重於改善H.264/AVC影像壓縮時期演算法,以期能降低即時編碼所面臨的挑戰。 本篇論文以Frame Difference為基礎,用以動態決定出一組Threshold,再以標準差來動態決定此組Threshold應用方式,最後依此組Threshold以及其應用方式來劃分Current Frame上面所有Macro-Block模式,而完成了本次研究目的。

 

利用影像為鍵值進行影像資料庫索引技術,如根據透過碎形(fractal)正交基底編碼,雖可適用特定CBIR (Content-Based Image Retrieval)處理領域,但是並無法保證有效判斷相似特徵在空間上相關資訊(比例大小、位置、方向),比對結果可能會產生與使用者觀點不相符情形。為了能夠從影像資料庫中尋找出符合資訊,必須有能力推論組成影像中代表物件彼此間空間關係。於是將空間上限制被應用在影像資料庫擷取,以更明確界定搜尋、比對條件。所以利用碎形正交基底對影像編碼為基礎並利用Multiple-Instance Learning自動找出更為明確搜尋影像特徵條件,最後結合有效空間關係判斷,即針對原始影像中擷取相關物件(objects),利用類似二維字串(2d-String)空間索引方法,儲存物件投影在X軸與Y軸一維空間量值,以用來判斷影像物件所對應空間關係,並利用此空間關係比對出相似影像。

 

在數位時代中,影片資料在生活中也越來越普及。當使用者與影片資料量越來越多時,對於影片資料之管理也越來越重要。因此影片資料庫系統之實現,提供使用者查詢並擷取影片資料。 本論文使用碎形正交基底編碼(Fractal orthonormal bases)技術結合支援向量分類(Support vector clustering)找出場景變化處,在從各場景中找出各別的關鍵影格作為資料庫索引,建立影片資料庫,每張資料庫內影像之特徵均由對碎形正交基底之投影向量值表示。正交基底是由碎形迭代函數透過target及domain blocks比對所訓練導出,可證明相似影像具相似碎形函數,而且不相似影像具相異碎形特徵向量;換言之,特徵點相距越遠,保證其對應影像內容一定不相似,然而特徵點較靠近,則保證其影像內容相似。因此,使用碎形正交基底函數線性組合所得係數為搜尋資料庫索引鍵值,可取得相似影像,並避免找出不相似影像。 由於欲搜尋之影像很難根據單一張搜尋影像(query image)代表所有可能之形狀、大小或方位,為使搜尋條件更為明確,藉由輸入多張與目標影像正、負相關搜尋影像,透過Multiple-Instance learning 法則自動地找出與正相關影像(positive examples) 相似且與負相關(negative examples)不相似之碎形正交基底投影向量特徵,使搜尋條件更為明確,將使用者最有興趣之部分,結合具有良好索引檔之碎形正交基底之技術。 影像比對時,方法是依據MIL所擷取之特徵,找尋資料庫哪些影像具有相似特徵,計算相似度,依此作排名輸出。詳細比對時,將資料庫中有著搜尋特徵之影像,找出該所屬區域,將擷取之特徵群正規化,求得每個特徵群佔所有搜尋特徵群之比例關係,再以依正相關特徵群之比例和資料庫影像特徵群比例,類似計算histogram之方式求得特徵比例相似度之外;另外還加入計算所求得特徵群之間結構關係,與正相關範例影像之特徵群結構關係亦計算特徵結構相似度;在加入每個特徵群區域之分散程度,及簡單計算其區域變異數亦和正相關範例做比較,於上述三者加入相似性量測中。

随著視訊傳輸在網路上之應用越見頻繁,除了傳統在壓縮視訊研究,促使所需傳輸條件降低與視訊品質增進外,現今要求也在於視訊必需具備某種程度錯誤控制功能。在信任度不足傳輸頻道傳送視訊,如無線網路,常會因為某些不穩定狀況而使得視訊受到傷害,進而在接收端無法正確解碼視訊,這對於發展視訊通訊是一個極待解決之問題,因此提出基於混合式浮水印技術應用於視訊錯誤偵測與隱匿之系統。