電子報
2024年02期 元宇宙/前瞻智慧互動實境顯示
▎國科會訊息
▎超高速綠光微型LED—讓智慧顯示器也能進行光通訊！
資料來源：國科會新聞資料
林恭如教授與郭浩中教授及日本東京大學特約研究員程志賢博士聯手合作，以超快綠色微型發光二極體陣列元件，達成自由空間中超過五十億位元/秒（5-Gbps）可見光無線通信數據傳輸的全球最快紀錄。
國科會長期深耕基礎研究，並積極推動資通訊及顯示技術之研發，在國科會支持下，國立臺灣大學光電所林恭如教授與國立陽明交通大學郭浩中教授及日本東京大學特約研究員程志賢博士聯手合作研究成果，以超快綠色微型發光二極體陣列元件(Green Micro-LED)，達成自由空間中超過五十億位元/秒(5-Gbps)可見光無線通信數據傳輸的全球最快紀錄。
這個超高速綠光微型LED陣列的研究成果，是繼高速藍光與紅光微型發光二極體元件的開發後，完成讓智慧顯示裝置也能進行自由空間光通訊研究發展的最後一哩路！該篇論文獲美國光學學會接受發表，並從該學會每年近一萬篇出版論文中選錄為至多僅1%之焦點論文報導於美國光學學會光學聚焦(Spotlight on Optics (osapublishing.org), Optica)，2021年所有獲選文章中僅有2篇來自台灣，本篇論文為其中之一。
目前，頭戴式增強實境裝置要產生滿足人類感知視覺品質的影像，信號串流傳輸所需原始數據速率高達每秒1太比特(Tbit/s)，即使經過不失真壓縮後仍須4 Gbps數據傳輸位元率。因此，發光二極體元件身為智慧顯示與擴增實境等應用裝置使用的主要光源，開發允許其高速數據傳輸性能，使能實現無失真擴增實境視覺技術至關重要。然而，具備超高電頻寬與接近理想轉換效率的發光二極體開發，至今仍是學術界的挑戰課題。
因此，在光傳真(Lighting Fidelity, LiFi)與可見光通訊(Visible Light Communication, VLC)領域具全球知名的Harald Haas教授，則於美國光學學會的電子刊物【光學聚焦】推薦論文總結報導中指出，團隊所開發元件已成功突破過往可見光無線通信數據傳輸速度，這個高頻寬且光譜穩定的可見光微型LED能提供5-Gbps數據串流速率，未來的發展將以勢如破竹般開啟智慧顯示與元宇宙等相關應用的新紀元。
由林教授與郭教授團隊設計開發這個獨步全球具備超快電-光調變頻寬的微型綠光發光二極體陣列結構，是全世界首度開發出綠光發光二極體在自由空間中用不到一秒鐘就能傳輸一片DVD或一部高畫質電影的台灣研究團隊。此一元件的發表隨即受到元宇宙相關概念產業如鴻海等公司的重視，以其優越的性能參數在智慧顯示、擴增實境、與照明通信等產業的應用需求預期都將有爆炸性的成長。
▎國際趨勢情報
▎元宇宙於醫療保健領域的應用
資料來源：科技發展觀測平台
網址：https://outlook.stpi.narl.org.tw/index/tdop/4b1141008b626cc0018b69ac11860ea3
元宇宙技術可應用於醫療保健領域，但仍面對設備價格昂貴、使用者對元宇宙醫療的信任度仍不夠、安全及隱私問題等挑戰。
元宇宙技術應用在醫療保健的應用可包含五大領域，身心治療、遠距醫療(包含遠端監控及病症診斷等)、手術組織視覺化及術前過程模擬、醫學教育(如醫療處理的模擬操作等及健身運動等)。
元宇宙醫療產業發展趨勢目前著重在設備及相關軟體研發，如虛擬實境耳機，及相關的虛擬實境體驗軟體開發，其中多為大公司與新創公司合作共同開發。目前元宇宙醫療市場推行的挑戰主要包含設備價格昂貴、使用者對元宇宙醫療的信任度仍不夠、安全及隱私問題。
未來元宇宙醫療發展的方向將聚焦在三大方向。其一是擴張生成式人工智慧在元宇宙醫療的應用。其二是負擔得起的虛擬實境頭罩。其三為數位化的行為生物標誌。
▎元宇宙/前瞻智慧互動實境顯示∣國科會工程處專題研究計畫
計畫成果彙整於智慧座艙
簡介：「智慧座艙顯示互動介面開發與應用」計畫團隊成功整合出「360度環景投影」與「座艙浮空3D影像」兩大主軸重點。
在「360度環景投影」的部分，團隊期望能改善因駕駛者觀看視角以及資訊不足而導致意外發生的情況。藉由「車外場景虛實整合技術」，以車外景象掃描拼接與運算的方式，充分展現360度環景投影之效果，不僅透過所開發之特殊螢光點陣列膜片實現「廣視角抬頭顯示系統」，完成180度視角顯示效果，同時配合所研發之透明顯示技術，提供車後120度視角於後照鏡，以及兩側30度視角於左右兩側後照鏡，大幅提升行車視角，藉由所整合出之360度環景投影技術應用讓駕駛將車外資訊一覽無遺。
在「座艙3D浮空影像重建」方面，團隊欲減少駕駛分心的機率，除了將後座資訊進行即時顯示外，未來更可以結合5G網路，將車艙打造為「行動劇院」、「行動辦公室」、「行動臥艙」等場域 ，並應用於各種高階座艙進行即時會議與各種娛樂體驗，縮短因移動而導致之時間成本流失。藉由所研發出對應不同波長且 快速響應的高解析面板，達到全像掃描與顯示技術之效果。研究團隊更首創以數位全像三維感測技術，將掃描資訊同步至所開發之浮空全像投影中控顯示系統，提升行車座艙互動效益及安全 。
研究團隊期望透過結合「360度環景投影」與「座艙3D浮空影像重建」二大技術，打造出全方位智慧座艙元宇宙的新時代。本計畫已簽訂11件產學合作案，總配合款達1,357萬，並持續與聯盟供應鏈廠商進行計畫推廣與技術交流，亦積極與其他廠商洽談；同時團隊亦加入鴻海 MIH平台、並受邀參訪MIH對外線下活動-台灣國際智慧移動展及MIH Demo Day。於計畫推動期間，團隊總計累積23篇學術論文、8項技轉和智財授權成果、6項專利獲准，成立/加入兩個研究中心；同時，老師們受邀至TOSIA、友達光電、香港理工論壇及SDAA 2023等活動擔任講師與評審，推廣計畫成果並促進產業交流，而團隊成員之指導學生於計畫執行期間總計獲得6篇學生論文獎，在2023 Touch Taiwan I-Zone展區中更將研發成果與重機結合，並獲評審們的認可，奪下大會最高首獎－「友達發明獎」，在各領域中均取得亮眼成績。
另外，團隊舉辦第二屆車用前瞻顯示技術論壇，總參與人數破百人，除了介紹並推廣團隊技術外，更與來自各處的廠商進行交流媒合，實現更多技術的串接以及資源的整合，團隊更邀請到德島大學的山本健司教授進行線上演講，完成跨國性的交流。團隊亦積極主辦由台日韓三國為主之2022 3DSA國際研討會，與國際學者進行學術探討和交流。
計畫團隊與友達光電產學合作之車上應用遊戲，使用空手手勢進行操作
簡介：COVID-19疫情展開至今，人們既有的生活面臨諸多變化，遠距協作與零接觸式互動成為新日常，也彰顯了現有技術的不足。計畫團隊基於過去執行「混合實境之體感及視覺體驗之創新設計與技術研發」之研究成果，以後疫情教學為背景，開發混合實境「遠距協作」以及「零接觸互動」技術。混合實境遠距協作能跨越空間侷限，以虛實融合創造新的學習形式。零接觸互動以觸覺提示，提升凌空操作的效率與互動體驗。研究團隊期待此計畫成果能勾勒出未來新型態互動之藍圖，並提升國內廠商與「元宇宙」相關之技術能量。
計畫團隊研究提出的混合實境遠端協作和零接觸互動的應用上都顯示出了潛力和效果，未來的研究可以往多人遠端協作發展。零接觸互動的成果相互整合，結合運動式觸感設計，輔助手勢操作。
在學術表現方面，計畫團隊在頂尖會議及期刊共發表11篇論文；本計畫也已延伸計畫成果分別與友達光電以及奧圖碼科技進行產學合作。友達光電一直於新興科技與教育領域給予許多關注與支持，近期也踏入自駕車領域，並與本計畫合作，期許可以在未來自駕車環境中，乘客不再需要注意路況時，如何讓乘客能充分利用車上功能，給予其豐富的車上體驗。而計畫團隊在討論中，發現到在車上的娛樂觀影還有許多可探討的空間，因此在2023年開始，攜手合作打造一款車上的互動式電子遊戲，並且結合研究中所得之最為直覺的空手操作手勢應用在這款遊戲之中，帶給乘客輕鬆且又富含樂趣的乘車體驗。該成品也在Touch Taiwan 2023 進行展示，也遠赴美國車展展覽，獲得展場參與者許多回饋與讚賞。
奧圖碼科技在顯示科技與教育領域積累了豐富的經驗，近期更準備踏入熱門的元宇宙議題，展現強烈的意願，期望透過混合實境遠端協作技術開拓元宇宙的教育市場。因此開展了一項以「混合實境教育教學空間」為主題的產學研究，而此計畫的研究成果，亦成為該產學合作的重要養分。
系統示意圖
簡介：近年來擴增實境技術的進步及頭戴式裝置的普及，擴增實境已被應用在生活中的許多地方，如模擬訓練、空間導覽、休閒娛樂等。雖然個人化的應用已十分豐富，但卻鮮少有可以同時多人協作的擴增實境應用，要讓不同使用者看到並操作同一組虛擬物件，仍有許多問題尚待解決，如對齊不同使用者之間的座標系統、同步虛擬物件的狀態資訊、如何在現實與虛擬之間進行更直覺的互動都是必 須要克服的難題。故本計畫設計一個可容納多使用者的擴增實境協作系統，能為同地、異地的不同使用者創造出一個共同虛擬空間，藉此應用在不同的情境上，如遠端會議、教學展示、合作作業等。
在計畫的第一年以遠端會議的應用為目標，建立一個中央伺服器作為運算及資訊傳輸中心，用來儲存、對齊虛擬物件的狀態，並根據使用者的姿態創造虛擬分身，後利用電腦視覺演算法在空間中為所有使用者建立一個共同的錨點(Anchor)讓使用者可以更直覺地操作介面。第二年則將遠端會議應用擴展成更通用的系統，使 用深度學習技術判斷手部動作來操作虛擬物件，以及同地、異地的虛實互動演算法，讓使用者能在虛擬空間中做任何想做的事。
本計畫執行結束後將多人協作的遠端會議系統整合至佐臻MetaSpace平台，提供 使用者擴增實境、沉浸環景的多層次會議體驗。會議過程中除了傳統的視訊分享之外，亦透過三維場景理解定位系統、三維虛擬分身重建系統跟手勢辨識系統的支援，讓使用者可以以直觀的方式與虛擬物件進行多人協作互動，跳脫原本二維平面顯示的框架。基於此系統平台，未來更可以深度整合業界場域剛需，例如工業、醫療、教育等領域的專業討論、人才培訓情境；也可以拓展新的多人協作業務，幫助跨國商業集團跳脫物理距離的限制，在規劃及決策公司的策略、產品跟行銷時，更有效率。計畫團隊亦協同佐臻股份有限公司於2023台北國際電腦展展出結合AR智慧眼鏡、互動式投影等功能的智慧座艙「MetaSpaceM1」。
研究團隊使用視覺式比對手機拍攝影像與東華大學多處360度全景影片，以定位目前所在的位置。
簡介：計畫團隊探索了360度全景影片的視覺式定位與導航的可行性，包括3D 平面偵測、校正和追蹤，實現360度全景影片的視覺式定位，與開發擴增實境手機導航等關鍵技術；未來將以此為基礎，拓展360度全景影片的手眼互動與在不同領域的新應用。視覺式定位與導航是一項強大的技術，具有高精準度和自主性的優勢，但它也有一些挑戰，包括累積誤差（drift）和環境的影響。未來此技術的發展將集中在改進精確性，以及應對不同環境條件的適應性。
計畫團隊開發出的360度全景影片的定位與AR導航兼具有便利性、直覺性、與實用性，期望未來可以廣泛的應用在虛擬導覽、數位學習、賣場展示、互動娛樂、展場規畫、與室內導航等不同的領域。
計畫執行期間團隊已發表一篇學術會議論文與一篇SCI期刊論文，並獲得國際競賽 IEEE WACV MaCVi水面障礙物偵測項目的第三名。
計畫團隊致力於拍攝地面和空中的360度全景影片，針對東華大學、花東縱谷以及花東海岸風景區的多個景點，並進一步開發虛擬實境（VR）導覽數位內容和互動技術，以便讓更多人能夠探索這些景點。其Android版本支援Google Cardboard，並已經完成了三個VR導覽應用程式，並陸續在Google Play和HTC Viveport上架，供全球使用者免費下載。計畫團隊所建置的PC 版本支援 HTC Vive頭戴式顯示器，並運用電腦視覺技術，實現360度環場影片中的標的物自動追蹤和標記。未來將嘗試融入手勢互動和眼球追蹤技術，以提供更豐富的互動體驗。計畫團隊希望這些努力能夠促進和推廣東部地區的觀光業，為更多人提供有趣且豐富的沉浸式旅遊體驗。計畫團隊也持續在OpenEdu平台推出了名為「虛擬實境在觀光導覽之應用」的磨課師（MOOC）課程，同時在eWant平台上提供了「虛擬實境與語言學習」的磨課師（MOOC）課程。這些課程的目標是推廣虛擬實境（VR）在不同領域的應用，並且已經吸引了上千名學習者在線上參與修課，期望能藉此培育更多新一代VR與AR的人才。
簡介：子計畫一色轉換與純化微陣列致力於開發一種新型的色轉換顯示技術，以解決Micro-LED生產過程中的困境。研究團隊透過研究色轉換材料的光學特性分析，在極小的像素尺寸要求下，降低結構的高寬比設計並探究奈米微粒摻雜以達到高效率的方法，成功實現均勻且無顆粒邊界的色轉換膜，同時解決色串擾難題。計畫團隊利用成熟的半導體製程並搭配色純度增強膜結構實現了極微小像素全彩色轉換微陣列，研究成果對Micro-LED顯示器技術具有重要的學術及發展意義。
子計畫二研究針對超高解析微型顯示器進行設計，優化主動區參數Quantum well(QW)和Quantum barrier(QB)，並選取最佳的量子井對數，與調整n-GaN層參數，使用多層的n-p-n tunnel junction結構等兩種方法以達到12.88%的EQE。並設計5080 PPI之超高解析度Micro LEDs顯示器之版面，所使用的波長為460~465 nm，藍寶石厚度為70~80 μm，主動區為15630 mm*8640 mm (0.7”)，像素總共使用3126*1728個，像素尺寸與間隔分別為3.5 μm、1.5 μm。對3.5 μm Micro LEDs光電特性檢測結果分別為：VF為2.57 V，EQE為12.88%，WPE為8.55%。眾多研究指出AR/VR技術的引入將大幅改變醫療保健產業的未來趨勢。AR/VR技術能夠輔助手術執行、提升診斷品質，還能加速醫學生培育。
子計畫三著重在拓展及開發AR於醫學應用及對應醫學影像的光場生成。所開發的醫學應用包含經皮穿肝膽囊引流術、內視鏡三維重建與視線追蹤、內視鏡超音波探頭定位。
子計畫四聚焦於擴增實境於醫療現場的應用，由台大醫院吳院長領導，結合影像醫學部、外科部與內視鏡科並與台科大與台大電機系團隊合作完成擴增實境影像教學系統，內視鏡立體重建與眼動追蹤系統與擴增實境肝臟手術輔助系統，皆已於臨床實際測試使用並滿足初步需求。
子計畫五研究中風後的神經復健訓練模式，開發視覺回饋智慧應用裝置與訓練軟體，透過智慧裝置讓病患提升復健參與度。計畫共收案40位中風病患，應用視覺回饋肢體復健機訓練組患側肢體動作功能有較顯著改善，臨床使用滿意度高 ，訓練後大腦運動區和枕區腦波訊號呈現較顯著神經反應。此一復健訓練監測系統提供臨床中風復健多元化的評估與訓練模式，增加參與度，提升復健成效。
子計畫六團隊開發了一套結合Hololens 2的飛輪運動輔助系統，幫助自行車手室內訓練時能夠即時監控身體狀態和訓練數據，同時衍伸室外訓練道路安全輔助，偵測車道偏離並提供警示，並通過夜視輔助提升夜間騎乘的安全性。同時，研究團隊通過模擬3D騎乘場景，以真實道路、建築和地形資訊 進行模擬，使受訓者體驗更加真實的訓練情況。團隊亦開發雲端平台，分析用戶數據並根據使用者的情況提供建議，以提升訓練效果並協助使用者自我監督。
編輯出版：國家科學及技術委員會補助｜工程科技推展中心
地址：701 台南市大學路一號 國立成功大學 自強校區 科技大樓三樓