前瞻技術產學合作計畫
計畫名稱：鈊象臺科AI遊戲研究中心
計畫主持人：國立臺灣科技大學 姚智原 副教授
合作企業：鈊象電子股份有限公司
成果介紹：

2022年被視為元宇宙元年，打通了虛擬空間與真實空間的界線，各式虛實整合創新科技帶來新的五感體驗，使得多元互動介面、虛擬實境應用等技術成為後疫情時代新商機，科技大廠相繼推出相關功能，預計將帶動從工廠、醫療、城市、娛樂等數位經濟、技術創新的變革契機。

本計畫由臺灣科技大學姚智原教授與鈊象電子合作成立「鈊象臺科AI遊戲研究中心」，共同開發核心技術，聚焦於六大應用技術領域，分別為實景重建技術、實物重建技術、電腦視覺應用、擴增實境應用、數位內容開與精準運動科學 ，根據此六大應用技術領域，養成基礎學科之人才，包括電腦圖學、電腦視覺、人工智慧與前後端平台設計 等，希冀藉由中心豐沛之研發量能，橋接學研與產業應用，具體落實研發能量於產業，分別介紹如下：

實景重建技術

目前在國際上已有許多商業產品可擷取環境圖與3D模型，例如：Apple 3D Scan、Matterport、Insta360…等知名廠商，但到實際落地之應用，尚須考量整體效能與客製化之需求，而中心提供這最後一步之技術，讓廠商可快速將掃描成果放至網頁上，並供使用者後續使用 ，其對標之應用包括房產、智慧工廠、智慧導覽、百貨精品、公共工程檢視、環安訓練…等相關應用，其對應商機相當可觀。目前本中心可支援2D環景圖與3D點雲兩種格式，如下圖所示：

圖片:2D環景圖轉3D格局

圖片:3D點雲轉3D格局

實物重建技術

3D實物掃描重建 一直是電腦視覺十分重要之議題，而在元宇宙的議題被拋出之後，此議題之重要性更是不言可喻，然而過去複雜的流程，往往是一般使用者無法跨過的高門檻，因此當深度學習導入之後，單張照片建模也成為火紅的議題之一。實物重建技術門檻高，但卻是未來元宇宙不可或缺的核心技術之一，也是本中心的重點發展技術之一。 如下圖所示為各種影像格式輸入建模之成果，分別是深度影像、多張RGB影像與單張RGB影像。

圖片:各項影像建模成果

另外除了使用影像重新建立3D實物之外，本中心亦針對重建完成的模型發展3D重構之技術，讓3D網格可更便於後續各項應用 ，包括數值模擬、擬真成像、娛樂串流等等，相關成果如下：

圖片:3D幾何重構技術

電腦視覺應用

電腦視覺一直為全世界學術機構與產業界持續發展之技術，尤其在深度學習之技術被提出後，電腦視覺的發展更是一日千里，然而現階段的電腦視覺皆須依附在大量算力的平台上，但這卻與業界產品化之需求，有著極大的落差，為使相關技術能為業界所使用，中心在各項電腦視覺技術中，著重在效能優化這個單點上，以期讓現有之前瞻電腦技術更快落地至商品化。中心針對商業之商標，衍生出各項對應之應用，如下圖所示：

圖片:視覺商標之應用

另外在光源複雜的場域上，往往是電腦視覺演算法之痛點，中心特別針對遊戲場域亦發展各項人臉情緒辨識之演算法，如下圖所示：

圖片:人臉情緒辨識與光源還原演算法

擴增實境應用

在實境/實物重建技術上，中心已有成熟之技術，而有了對應的實境重建後，衍生而來之應用便是擴增實境，在此應用領域上，目前中心已有相關合作廠商，主要為車用擴增實境與AI訓練模擬器兩大項，後續相對應之應用包括智慧工廠、工廠教育訓練、工安意外模擬…等等，未來這些也都會是中心重要之發展方向，如下圖所示：

圖片:各種擴增實境應用與AI訓練資料模擬器

數位內容開發

3D電腦圖學為本中心的核心價值所在，參與本中心之成員，多為懷抱遊戲夢想之學生，也因此雖然遊戲業在台灣發展嚴峻，但本中心從未放棄發展電腦圖學相關產業之核心技術，而在本中心的催生之下，數年來亦培養為數可觀的電腦圖學工程師，亦協助獨立遊戲開發團隊完成廖添丁- 稀代兇賊の最期，並獲得國內外各大獎項。而團隊亦協助台灣外貿協會完成台灣新南向形象展，應用中心之前瞻前端技術，滿足台灣所有廠商可在虛擬線上展完整呈現所有產品之需求，相關成果如下圖所示：

圖片:各項數位內容成果展示

精準運動科學

民眾健康運動與競技運動選手的訓練，結合運動科技的理論與方法已經蔚為國際趨勢，包括了運動員科學選才、運動技術分析、訓練與健康監控、身體機能評定、體適能調整、運動營養學、運動心理學與運動傷害防護與治療等相關領域，以期能達到健康促進及訓練的最大效益。本中心基於電腦視覺、電腦圖學之專業核心技術，並配合政府政策，致力發展運動科技，藉以強健台灣人民之體魄。目前中心主要利用各種骨架擷取與姿態辨識之技術，協助國手們做各種情蒐分析與姿勢矯正，讓教練能依據情蒐系統之科學根據，給予選手們更快速且正確的建議，相關成果如下圖所示：

圖片:運動科學情蒐分析系統

而運動科學除了對運動員的幫助之外，相關轉播與廣告收益更是維持職業運動能長期運營的關鍵之一，因此中心亦可協助廣告商能在比賽過程中，置入各種各式各樣之廣告，且不影響觀賞比賽之節奏與感受，如下圖所示：

圖片:虛擬廣告演算法示意與成果圖

臺灣科技大學與鈊象電子於本次產學合作計畫已邁入第二年，累積培育碩、博士研發人才57人，研發中心整合臺科大校內外跨系所之資訊科技與創新服務研發等相關研究資源，以及國內外相關產、學、研、官方機構與公協會組織之資源，進行跨領域研究團隊組成與合作，技術與產品創新研發以協助企業解決問題，並培育產業界所殷切需求之全面性創新資訊服務應用人才，進而加乘研發成果的潛在價值，促進產業升級並引領國際，提升國家經濟發展之整體競爭力。