增強現實(Augmented Reality,簡稱AR),也被稱為
擴增現實(中國臺灣地區)。
增強現實技術,它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術,是把原本在
現實世界的一定時間空間范圍內很難體驗到的實體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學技術,模擬仿真后再疊加,將虛擬的信息應用到真實世界,被人類感官所感知,從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。
增強現實技術,不僅展現了真實世界的信息,而且將虛擬的信息同時顯示出來,兩種信息相互補充、疊加。在視覺化的增強現實中,用戶利用頭盔顯示器,把真實世界與電腦圖形多重合成在一起,便可以看到真實的世界圍繞著它。
增強現實技術包含了
多媒體、
三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等新技術與新手段。增強現實提供了在一般情況下,不同于人類可以感知的信息。
主要特點
AR系統具有三個突出的特點:①真實世界和虛擬的信息集成;②具有實時交互性;③是在三維尺度空間中增添定位虛擬物體。AR技術可廣泛應用于多等領域。
組成形式
一個完整的增強現實系統是由一組緊密聯結、實時工作的硬件部件與相關的軟件系統協同實現的,常用的有如下三種組成形式。
Monitor-Based
在基于計算機顯示器的AR實現方案中,攝像機攝取的真實世界圖像輸入到計算機中,與計算機圖形系統產生的虛擬景象合成,并輸出到屏幕顯示器。用戶從屏幕上看到最終的增強場景圖片。它雖然簡單,但不能帶給用戶多少沉浸感。Monitor-Based增強現實系統實現方案如下圖所示。
光學透視式
頭盔式顯示器(Head-mounted displays,簡稱
HMD)被廣泛應用于虛擬現實系統中,用以增強用戶的視覺沉浸感。增強現實技術的研究者們也采用了類似的顯示技術,這就是在AR中廣泛應用的穿透式HMD。根據具體實現原理又劃分為兩大類,分別是基于光學原理的穿透式HMD(Optical See-through HMD)和基于視頻合成技術的穿透式HMD(Video See-through HMD)。光學透視式增強現實系統實現方案如下圖所示。
光學透視式增強現實系統具有簡單、
分辨率高、沒有視覺偏差等優點,但它同時也存在著定位精度要求高、延遲匹配難、視野相對較窄和價格高等不足。
視頻透視式
視頻透視式增強現實系統采用的基于視頻合成技術的穿透式HMD(Video See-through HMD),實現方案如圖5所示。
應用領域
AR技術不僅在與VR技術相類似的應用領域,諸如尖端武器、飛行器的研制與開發、數據模型的可視化、虛擬訓練、娛樂與藝術等領域具有廣泛的應用,而且由于其具有能夠對真實環境進行增強顯示輸出的特性,在醫療研究與解剖訓練、精密儀器制造和維修、軍用飛機導航、工程設計和遠程機器人控制等領域,具有比VR技術更加明顯的優勢。
* 醫療領域:醫生可以利用
增強現實技術,輕易地進行手術部位的精確定位。
* 軍事領域:部隊可以利用增強現實技術,進行方位的識別,獲得實時所在地點的地理數據等重要軍事數據。
* 古跡復原和數字化文化遺產保護:文化古跡的信息以增強現實的方式提供給參觀者,用戶不僅可以通過HMD看到古跡的文字解說,還能看到遺址上殘缺部分的虛擬重構。
* 工業維修領域:通過頭盔式顯示器將多種
輔助信息顯示給用戶,包括
虛擬儀表的面板、被維修設備的內部結構、被維修設備零件圖等。
*
網絡視頻通訊領域:該系統使用增強現實和人臉跟蹤技術,在通話的同時在通話者的面部實時疊加一些如帽子、眼鏡等虛擬物體,在很大程度上提高了
視頻對話的趣味性。
* 電視轉播領域:通過
增強現實技術可以在轉播體育比賽的時候實時的將輔助信息疊加到畫面中,使得觀眾可以得到更多的信息。
* 娛樂、游戲領域:增強現實游戲可以讓位于全球不同地點的玩家,共同進入一個真實的自然場景,以虛擬替身的形式,進行網絡對戰。
* 旅游、展覽領域:人們在瀏覽、參觀的同時,通過增強現實技術將接收到途經建筑的相關資料,觀看展品的相關數據資料。
* 市政建設規劃:采用增強現實技術將規劃效果疊加真實場景中以直接獲得規劃的效果。
國內首次將這項技術應用到普通生活中,是在蘋果的AppStore上發布的一款免費的叫作出行百科(增強現實版)XINGWIKI的軟件。
記事帖,人們希望將來可以很方便的在不同地點獲得同樣的媒體和信息,并且是跨越不同的設備上獲得-從PC到手機,從投影儀到頭戴式顯示器。怎樣能為用戶提供一致的和方便易行的方式來讓他們和對他們而言很重要的信息和媒體進行交互,看以下的圖你就明白了,你所能操作的界面已經不再是那一塊小小的電腦屏幕了,而是延伸到了更大的空間里,并且可以依據人們最為簡便的方式隨意的記錄下你某一時刻突然迸發出的靈感。
* 水利水電勘察設計:在水利水電勘察設計領域,三維協同設計穩步發展,可能會在不遠的將來取代傳統的
二維設計,
AR技術在設計領域的應用為水利水電
三維模型的應用提供了更好的展示手段,使得三維模型與二維的設計、施工圖紙能更加緊密地結合起來。AR技術在勘察設計領域中可以有效地應用于實時方案比較、設計元素編輯、
三維空間綜合信息整合、輔助決策和設計方案多方參與等方面。
發展歷史
增強現實顯示器,將計算機生成的圖形疊加到真實世界中。自從二十世紀七十年代早期,Pong進入電子游戲廳以來,視頻游戲走進我們的生活已經有30多年了,但是一直局限在屏幕中的2D世界中,而增強現實這一新技術的到來,將通過增強我們的見、聲、聞、觸和聽,進一步模糊真實世界與計算機所生成的虛擬世界之間的界線。
從
虛擬現實(創建身臨其境的、計算機生成的環境)和真實世界之間的光譜來看,增強現實更接近真實世界。增強現實將圖像、聲音、觸覺和氣味按其存在形式添加到自然世界中。由此可以預見視頻游戲會推動增強現實的發展,但是這項技術將不僅僅局限于此,而會有無數種應用。從旅行團到軍隊的每個人都可以通過此技術將計算機生成的圖像放在其視野之內,并從中獲益。
增強現實將真正改變我們觀察世界的方式。想像您自己行走在或者驅車行駛在路上。通過增強現實顯示器(最終看起來像一副普通的眼鏡),信息化圖像將出現在您的視野之內,并且所播放的聲音將與您所看到的景象保持同步。這些增強信息將隨時更新,以反映當時大腦的活動。在這篇文章中,我們將了解這項未來技術、其技術構成以及如何使用該技術。
微軟公司于2015年1月22日發布的HoloLens 全息眼鏡。
工作原理
移動式增強現實系統的早期原型增強現實的基本理念是將圖像、聲音和其他感官增強功能實時添加到真實世界的環境中。聽起來十分簡單。而且,電視網絡通過使用圖像實現上述目的不是已經有數十年的歷史了嗎?的確是這樣,但是電視網絡所做的只是顯示不能隨著攝像機移動而進行調整的靜態圖像。增強現實遠比您在電視廣播中見到的任何技術都要先進,盡管增強現實的早期版本一開始是出現在通過電視播放的比賽和橄欖球比賽中,例如Racef/x和添加的第一次進攻線,它們都是由SporTVision創造的。這些系統只能顯示從一個視角所能看到的圖像。下一代增強現實系統將顯示能從所有觀看者的視角看到的圖像。
在各類大學和高新技術企業中,增強現實還處于研發的初級階段。最終,可能到這個十年結束的時候,我們將看到第一批大量投放市場的增強現實系統。一個研究者將其稱為“21世紀的隨身聽”。增強現實要努力實現的不僅是將圖像實時添加到真實的環境中,而且還要更改這些圖像以適應用戶的頭部及眼睛的轉動,以便圖像始終在用戶視角范圍內。下面是使增強現實系統正常工作所需的三個組件:
1、頭戴式顯示器
2、跟蹤系統
3、移動計算能力
增強現實的開發人員的目標是將這三個組件集成到一個單元中,放置在用帶子綁定的設備中,該設備能以無線方式將信息轉播到類似于普通眼鏡的顯示器上。讓我們分別來了解這個系統中的每個組件。
開發與難點
現在已經有多種用于AR 系統開發的工具包和API(application programming interface),如 ARToolKit 、Coin3D 和 MR Platform等 , 其中 ARTookit是一套開放源代碼的工具包 ,它主要由日本大阪大學的 Hirokazu 博士開發, 用于快速編寫 AR 應用。ARTookit 受到了華盛頓大學人機界面實驗室和新西蘭坎特伯雷大學人機界面實驗室支持,已成為在 AR領域使用最廣泛的開發包 。許多AR 的應用都使用ARTookit 或在其基礎上改進的版本來進行開發的。ARToolkit 采用基于標記的視頻檢測方法進行定位,其工具包中包含了攝像頭校準和標記制作的工具,它支持將 Direct3D 、OpenGL 圖形和 vrml 場景合并到視頻流中(如圖所示),同時支持顯示器和 S-HMD等多種顯示設備。MR Platform 由日本的混合實境實驗室開發 ,其中包含了一個能減少人眼與頭盔上攝像機之間平行度誤差的 S-HMD 和一個運行于 Linux 環境下的用C++語言開發的軟件開發工具包(SDK)。這個工具包中提供了攝像機校正工具 、視頻捕捉、圖像檢測和操縱6 自由度傳感器等開發 AR 應用的基本功能 。
雖然經過了十幾年的研究,開發了以上的許多種工具包,但是幾乎所有 AR 系統仍然處于實驗室內使用,研究者已經開始考慮 AR在實用中面臨的一些基本問題,主要有以下幾個方面:
(1)景物的生成與顯示
幾乎所有的 S-HMD 設備在明亮的環境下,其顯示的效果都比較暗,另外,由于頭戴式顯示器上的攝像機的攝像角度與眼睛的位置存在偏差,因此虛擬物體的定位在真實視場中的定位和顯示角度也會存在偏差且很難調整。
(2)定位錯誤
定位錯誤不可避免,民用
GPS 一般精度在 3m到12m 左右,在較差的天氣中,最大誤差可達 100m 。電子羅盤也會因為附近的磁場干擾產生誤差。由于現有許多戶外的系統中的校正算法需要大量的輸入和繁瑣的校正步驟,因此不適合商業化應用。
(3)通訊設備
多數系統都假設在帶寬滿足的情況下進行操作,但實際情況并非如此,在絕大多數分布式 AR 應用中,系統能力都要受制于數據傳送的速度。因此在大型協作 AR 系統中,還有賴于通過動態興趣度管理算法和動作預測算法來降低所需傳輸的數據量。
(4)計算能力
在戶外AR 系統中,必須盡量減少客戶端配置,數據處理常由便攜式計算機,甚至是依靠掌上電腦來處理,因此,如何達到實時性和提高渲染效果是必須面對的一個問題。這也是目前 AR 研究中的熱點之一 。
實際應用
這項技術有數百種可能的應用,其中游戲和娛樂是最顯而易見的應用領域。可以給人們提供即時信息的不需要人們參與任何研究的任何系統,在相當多的領域對所有人都是有價值的。增強現實系統可以立即識別出人們看到的事物,并且檢索和顯示與該景象相關的數據。
維修和建設——增強現實可以將標記器連接到人們正在施工的特定物體上,然后增強現實系統可以在它上面描繪出圖像。
軍事——軍隊數十年來一直在設計使用增強現實,美國海軍研究所已經資助了一些增強現實研究項目。國防先進技術研究計劃署(DARPA)已經投資了HMD項目來開發可以配有便攜式信息系統的顯示器。其理念在于,增強現實系統可以為軍隊提供關于周邊環境的重要信息,例如顯示建筑物另一側的入口,這有點像X射線視覺。增強現實顯示器還能突出顯示軍隊的移動,讓士兵可以轉移到敵人看不到的地方。
即時信息——旅行者和學生可以使用這些系統了解有關特定歷史事件的更多信息。想像行走在
美國內戰的戰場上,并且在頭戴式增強現實顯示器上看到重現的歷史事件。它將使您沉浸在歷史事件中,有身臨其境之感,而且視角將是全景的。
AR游戲
AR游戲最早的起源并非手機,而是
NDS上的AR游戲。此類游戲大多數的玩法都是在桌面上擺放識別卡,識別卡片后通過手機屏幕與識別出來的內容進行交互。
2011年
任天堂3DS主機內置的《AR游戲》是利用攝像頭拍攝AR卡片來游玩的游戲,通過利用“AR技術”(虛擬擴展技術),將攝像頭拍攝到的內容以另外一種形式出現在屏幕內。
游戲——增強現實,由Niantic Lab出品的
Ingress與Pokemon GO就都是增強現實類游戲,中國一家公司開發的產品
PP GUN也能通過和增強現實顯示器連接玩槍戰游戲。
國內現狀
作為新型的人機接口和仿真工具,AR受到的關注日益廣泛,并且已經發揮了重要作用,顯示出了巨大的潛力。
AR是充分發揮創造力的科學技術,為人類的智能擴展提供了強有力的手段,對生產方式和社會生活產生了巨大的深遠的影響。
隨著技術的不斷發展,其內容也勢必將不斷增加。而隨著輸入和輸出設備價格的不斷下降、視頻顯示質量的提高以及功能很強大但易于使用的軟件的實用化,
AR的應用必將日益增長。
AR技術在人工智能、CAD、圖形仿真、虛擬通訊、
遙感、娛樂、模擬訓練等許多領域帶來了革命性的變化。
總體來講,增強現實在中國處于起步階段,許多虛擬現實領域的企業已經開始專注于“增強現實”的研發和應用。比如中視典數字科技研發的VRP12.0就集成了增強現實的功能。