VR/AR前瞻互動技術之研究及其在文化資產之活化應用

本計畫將結合環繞音場、腦波訊號偵測與觸覺回饋等VR創新技術,設計一視聽觸覺回饋之VR體驗示範系統,提供使用者高品質的沈浸式體驗,並展示其在藝術賞析、感官刺激與放鬆紓壓等各種不同應用的可能性。
獲獎:Best Demo Award in UIST 2016Laval Virtual Award in SIGGRAPH 20173D Games & Entertainment Category Award in Laval Virtual 20183rd Best VR/AR Technology Award in SIGGRAPH ASIA 2018

VR/AR/MR 導入博物館之創新應用 - 臺灣史前文化博物館南科考古館之館藏活化

本計畫與科技產業合作,牽起科技業與博物館產業的鏈結,將 VR/AR/MR 創新技術導入臺灣史前文化博物館南科考古館中,運用 VR 敘事電影、AR 互動導覽、MR 虛實整合導覽等互動內容開發,以活化南科考古館之館藏文物,打造創新的博物館導覽體驗模式。
獲獎:2018 Computer Graphic Workshop VR Battle 第一名展示:2020 TCCF創意內容大會2019-2020 南科考古館2018 亞太地區混合與擴增實境研討會 (APMAR)2018 電腦視覺圖學及影像處理研討會 (CVGIP)

高創新虛擬實境內容與系統製作(國立故宮博物院、太極影音科技股份有限公司)

本計畫基於故宮典藏『坤輿全圖』、『富春山居圖』與『百駿圖』,結合太極影音、國立臺南藝術大學、臺灣聲響實驗室等多個團隊之努力,共同合製『坤輿遨遊VR』、『神遊富春江VR』、『四季百駿VR』等三部VR互動體驗作品,結合眼動追蹤互動、AI風格轉換、沉浸式音場等前瞻VR技術,製作具有創新性的VR內容。

印象太陽 ─ 林良作品虛擬實境VR互動展示計畫

本計畫與國家圖書館合作,以知名散文作家林良的經典文學作品「小太陽」為故事題材,製作之虛擬實境作品。使用者可以隨著文字的帶領自然地轉動其視角觀看故事動畫,並運用手繪風格的繪畫美術風格呈現手法,轉譯出林良文章中溫暖動人的內涵。
獲獎:2020 XR創新金典大賞 最佳XR文化藝術應用 大獎2020 Laval Virtual Revolution Student Competition 入選

Ego-Positioning of Moving Cameras Based on Deep Learning

本計畫的目標在於研究如何運用深度學習於視覺式的自我定位。除了進行深度學習特徵運用在自我定位方法之效果分析之外,我們也會進行單一影像與連續影像之攝影機定位方法的研究及其效果分析。本計畫所開發的基於深度學習的單一影像與連續影像定位法在未來可應用於ARVR、機器人等需要自我定位的科技產品中,提升這些產品的定位穩健性。

Wearable Tai-Chi-Chuan Learning System Combining Enhanced Mixed Reality and Gamified Social Persuasion

本計畫的目標為一套太極拳MR輔助學習系統,使用者可以在混合實境中看到環繞四周的虛擬教練,從不同的角度觀察並模仿教練的動作。同時,我們藉由相機拍攝使用者,進行人體骨架的估測後,將結果回饋給使用者,以幫助他們改善自己的姿勢與動作。

Research on Video Stabilization and Frame Interpolation Techniques

本計畫與聯發科技合作,開發深度學習方法,來處理視訊穩定與補幀之研究議題,內容包含擴充訓練資料集以提升監督式學習方法的效能、運用基於深度學習之內插技術,研發降低裁切率之穩定方法以及結合視訊穩定與視訊補幀的方法,產生既穩定又流暢的視訊。

Large-Scale Scene Modeling and Ego-Positioning for Outdoor Environments

本計畫與台達電子合作,目標為開發室外的攝影機定位技術,以期能克服不同光照、天氣條件,並將其應用於戶外的AR/MR應用中。