虛擬現(xiàn)實技術(shù)的發(fā)展
虛擬現(xiàn)實技術(shù)(VR)主要包括模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面。模擬環(huán)境是由計算機(jī)生成的、實時動態(tài)的三維立體逼真圖像。感知是指理想的VR應(yīng)該具有一切人所具有的感知。除計算機(jī)圖形技術(shù)所生成的視覺感知外,還有聽覺、觸覺、力覺、運動等感知,甚至還包括嗅覺和味覺等,也稱為多感知。自然技能是指人的頭部轉(zhuǎn)動,眼睛、手勢、或其他人體行為動作,由計算機(jī)來處理與參與者的動作相適應(yīng)的數(shù)據(jù),并對用戶的輸入做出實時響應(yīng),并分別反饋到用戶的五官。傳感設(shè)備是指三維交互設(shè)備。常用的有立體頭盔、數(shù)據(jù)手套、三維鼠標(biāo)、數(shù)據(jù)衣等穿戴于用戶身上的裝置和設(shè)置于現(xiàn)實環(huán)境中的傳感裝置,如攝像機(jī)、地板壓力傳感器等。
VR具有以下四個重要特征:
① 多感知性。指除一般計算機(jī)所具有的視覺感知外,還有聽覺感知、觸覺感知、運動感知,甚至還包括味覺、嗅覺、感知等。理想的虛擬現(xiàn)實應(yīng)該具有一切人所具有的感知功能。
② 存在感。指用戶感到作為主角存在于模擬環(huán)境中的真實程度。理想的模擬環(huán)境應(yīng)該達(dá)到使用戶難辨真假的程度。
③ 交互性。指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度。
④ 自主性。指虛擬環(huán)境中的物體依據(jù)現(xiàn)實世界物理運動定律動作的程度。
虛擬現(xiàn)實的關(guān)鍵技術(shù)主要包括:動態(tài)環(huán)境建模技術(shù)、實時三維圖形生成技術(shù)、立體顯示和傳感器技術(shù)、應(yīng)用系統(tǒng)開發(fā)工具、系統(tǒng)集成技術(shù)。
國外虛擬現(xiàn)實技術(shù)的研究現(xiàn)狀
美國
美國是VR技術(shù)的發(fā)源地。美國VR研究技術(shù)的水平基本上就代表國際VR發(fā)展的水平。目前美國在該領(lǐng)域的基礎(chǔ)研究主要集中在感知、用戶界面、后臺軟件和硬件四個方面。
美國宇航局的Ames實驗室:將數(shù)據(jù)手套工程化,使其成為可用性較高的產(chǎn)品。在約翰遜空間中心完成空間站操縱的實時仿真。大量運用了面向座艙的飛行模擬技術(shù)。對哈勃太空望遠(yuǎn)鏡的仿真?,F(xiàn)在正致力于一個叫“虛擬行星探索”(VPE)的試驗計劃?,F(xiàn)在NASA己經(jīng)建立了航空、衛(wèi)星維護(hù)VR訓(xùn)練系統(tǒng),空間站VR訓(xùn)練系統(tǒng),并且已經(jīng)建立了可供全國使用的VR教育系統(tǒng)。
北卡羅來納大學(xué)(UNC)的計算機(jī)系是進(jìn)行VR研究最早最著名的大學(xué)。他們主要研究分子建模、航空駕駛、外科手術(shù)仿真、建筑仿真等。
Loma Linda大學(xué)醫(yī)學(xué)中心的David Warner博士和他的研究小組成功地將計算機(jī)圖形及VR的設(shè)備用于探討與神經(jīng)疾病相關(guān)的問題,首創(chuàng)了VR兒科治療法。
麻省理工學(xué)院(MIT)是研究人工智能、機(jī)器人和計算機(jī)圖形學(xué)及動畫的先鋒,這些技術(shù)都是VR技術(shù)的基礎(chǔ),1985年MIT成立了媒體實驗室,進(jìn)行虛擬環(huán)境的正規(guī)研究。
SRI研究中心建立了“視覺感知計劃”,研究現(xiàn)有VR技術(shù)的進(jìn)一步發(fā)展。1991年后,SRI進(jìn)行了利用VR技術(shù)對軍用飛機(jī)或車輛駕駛的訓(xùn)練研究,試圖通過仿真來減少飛行事故。
華盛頓大學(xué)華盛頓技術(shù)中心的人機(jī)界面技術(shù)實驗室(HIT Lab)將VR研究引入了教育、設(shè)計、娛樂和制造領(lǐng)域。伊利諾斯州立大學(xué)研制出在車輛設(shè)計中支持遠(yuǎn)程協(xié)作的分布式VR系統(tǒng)。
喬治梅森大學(xué)研制出一套在動態(tài)虛擬環(huán)境中的流體實時仿真系統(tǒng)。從90年代初起,美國率先將虛擬現(xiàn)實技術(shù)用于軍事領(lǐng)域,主要用于以下四個方面:一是虛擬戰(zhàn)場環(huán)境。二是進(jìn)行單兵模擬訓(xùn)練。三是實施諸軍兵種聯(lián)合演習(xí)。四是進(jìn)行指揮員訓(xùn)練。
歐洲
在歐洲,英國在VR開發(fā)的某些方面,特別是在分布并行處理、輔助設(shè)備(包括觸覺反饋)設(shè)計和應(yīng)用研究方面,在歐洲來說是領(lǐng)先的。英國Bristol公司發(fā)現(xiàn),VR應(yīng)用的交點應(yīng)集中在整體綜合技術(shù)上,他們在軟件和硬件的某些領(lǐng)域處于領(lǐng)先地位。英國ARRL公司關(guān)于遠(yuǎn)地呈現(xiàn)的研究實驗,主要包括VR重構(gòu)問題。他們的產(chǎn)品還包括建筑和科學(xué)可視化計算。
歐洲其它一些較發(fā)達(dá)的國家如:荷蘭、德國、瑞典等也積極進(jìn)行了VR的研究與應(yīng)用。
瑞典的DIVE分布式虛擬交互環(huán)境,是一個基于Unix的,不同節(jié)點上的多個進(jìn)程可以在同一世界中工作的異質(zhì)分布式系統(tǒng)。
荷蘭海牙TNO研究所的物理電子實驗室(TNO-PEL)開發(fā)的訓(xùn)練和模擬系統(tǒng),通過改進(jìn)人機(jī)界面來改善現(xiàn)有模擬系統(tǒng),以使用戶完全介入模擬環(huán)境。
德國在VR的應(yīng)用方面取得了出乎意料的成果。在改造傳統(tǒng)產(chǎn)業(yè)方面,一是用于產(chǎn)品設(shè)計、降低成本,避免新產(chǎn)品開發(fā)的風(fēng)險;二是產(chǎn)品演示,吸引客戶爭取定單;三是用于培訓(xùn),在新生產(chǎn)設(shè)備投入使用前用虛擬工廠來提高工人的操作水平。
2008年10月27-29日在法國舉行的ACM Symposium on Virtual Reality Software and Technology大會,整體上促進(jìn)了虛擬現(xiàn)實技術(shù)的深入發(fā)展。
亞洲
在亞洲,日本虛擬現(xiàn)實技術(shù)研究發(fā)展十分迅速,同時韓國、新加坡等國家也在積極開展虛擬現(xiàn)實技術(shù)方面的研究工作。
在當(dāng)前實用虛擬現(xiàn)實技術(shù)的研究與開發(fā)中日本是居于領(lǐng)先地位的國家之一,主要致力于建立大規(guī)模VR知識庫的研究。另外在虛擬現(xiàn)實的游戲方面的研究也做了很多工作。
東京技術(shù)學(xué)院精密和智能實驗室研究了一個用于建立三維模型的人性化界面。
NEC公司開發(fā)了一種虛擬現(xiàn)實系統(tǒng),它能讓操作者都使用“代用手”去處理三維CAD中的形體模型,該系統(tǒng)通過數(shù)據(jù)手套把對模型的處理與操作者手的運動聯(lián)系起來。
京都的先進(jìn)電子通信研究所(ATR)正在開發(fā)一套系統(tǒng),它能用圖像處理來識別手勢和面部表情,并把它們作為系統(tǒng)輸入。
日本國際工業(yè)和商業(yè)部產(chǎn)品科學(xué)研究院開發(fā)了一種采用X、Y記錄器的受力反饋裝置。
東京大學(xué)的高級科學(xué)研究中心將他們的研究重點放在遠(yuǎn)程控制方面,最近的研究項目是主從系統(tǒng)。該系統(tǒng)可以使用戶控制遠(yuǎn)程攝像系統(tǒng)和一個模擬人手的隨動機(jī)械人手臂。
東京大學(xué)原島研究室開展了3項研究:人類面都表情特征的提取、三維結(jié)構(gòu)的判定和三維形狀的表示、動態(tài)圖像的提取。
東京大學(xué)廣瀨研究室重點研究虛擬現(xiàn)實的可視化問題。為了克服當(dāng)前顯示和交互作用技術(shù)的局限性,他們正在開發(fā)一種虛擬全息系統(tǒng)。
筑波大學(xué)研究一些力反饋顯示方法,開發(fā)了九自由度的觸覺輸入器,虛擬行走原型系統(tǒng)。
富士通實驗室有限公司正在研究虛擬生物與VR環(huán)境的相互作用。他們還在研究虛擬現(xiàn)實中的手勢識別,已經(jīng)開發(fā)了一套神經(jīng)網(wǎng)絡(luò)姿勢識別系統(tǒng),該系統(tǒng)可以識別姿勢,也可以識別表示詞的信號語言。
虛擬現(xiàn)實技術(shù)的幾個瓶頸問題
(1)虛擬環(huán)境表示的準(zhǔn)確性。為使虛擬環(huán)境與客觀世界相一致,需要對其中種類繁多、構(gòu)形復(fù)雜的信息做出準(zhǔn)確、完備的描述。同時,需要研究高效的建模方法,重建其演化規(guī)律以及虛擬對象之間的各種相互關(guān)系與相互作用。
(2)虛擬環(huán)境感知信息合成的真實性。抽象的信息模型并不能直接為人類所直接感知,這就需要研究虛擬環(huán)境的視覺、聽覺、力覺和觸覺等感知信息的合成方法,重點解決合成信息的高保真性和實時性問題,以提高沉浸感。
(3)人與虛擬環(huán)境交互的自然性。合成的感知信息實時地通過界面?zhèn)鬟f給用戶,用戶根據(jù)感知到的信息對虛擬環(huán)境中事件和態(tài)勢做出分析和判斷,并以自然方式實現(xiàn)與虛擬環(huán)境的交互。這就需要研究基于非精確信息的多通道人機(jī)交互模式和個性化的自然交互技術(shù)等,以提高人機(jī)交互效率。
(4)實時顯示問題。盡管理論上講能夠建立起高度逼真的,實時漫游的VR,但至少現(xiàn)在來講還達(dá)不到這樣的水平。這種技術(shù)需要強(qiáng)有力的硬件條件的支撐,例如速度極快的圖形工作站和三維圖形加速卡,但目前即使是最快的圖形工作站也不能產(chǎn)生十分逼真,同時又是實時交互的VR。其根本原因是因為引入了用戶交互,需要動態(tài)生成新的圖形時,就不能達(dá)到實時要求,從而不得不降低圖形的逼真度以減少處理時間,這就是所謂的景物復(fù)雜度問題。
(5)圖形生成。圖形生成是虛擬現(xiàn)實的重要瓶頸,虛擬現(xiàn)實最重要的特性是人可以在隨意變化的交互控制下感受到場景的動態(tài)特性,換句話說,虛擬現(xiàn)實系統(tǒng)要求隨著人的活動(位置、方向的變化)即時生成相應(yīng)的圖形畫面。
(6)智能技術(shù)(Artificial Intelligence,簡稱AI)。在VR中,計算機(jī)是從人的各種動作,語言等變化中獲得信息,要正確理解這些信息,需要借助于AI技術(shù)來解決,如語音識別、圖像識別、自然語言理解等,這些智能接口領(lǐng)域的研究課題是VR技術(shù)的基礎(chǔ),同時也是VR技術(shù)的難點。本質(zhì)上,上述6個問題的解決使得用戶能夠身臨其境地感知虛擬環(huán)境,從而達(dá)到探索、認(rèn)識客觀事物的目的。概括地說,圍繞著虛擬現(xiàn)實展開的研究都是圍繞著這6個基本問題的。
虛擬現(xiàn)實技術(shù)的未來發(fā)展趨勢
VR技術(shù)的實質(zhì)是構(gòu)建一種人為的能與之進(jìn)行自由交互的“世界”,在這個“世界”中參與者可以實時地探索或移動其中的對象。沉浸式虛擬現(xiàn)實是最理想的追求目標(biāo),實現(xiàn)的方式主要是戴上特制的頭盔顯示器、數(shù)據(jù)手套以及身體部位跟器,通過聽覺、觸覺和視覺在虛擬場景中進(jìn)行體驗??梢灶A(yù)測短期內(nèi)游戲玩家可以戴上頭盔身著游戲?qū)S靡路笆痔渍嬲w驗身臨其境的“虛擬現(xiàn)實”游戲空間,它的出現(xiàn)將淘汰現(xiàn)有的各種大型游戲,推動科技的發(fā)展??v觀VR的發(fā)展歷程,未來VR技術(shù)的研究仍將延續(xù)“低成本、高性能”原則,從軟件、硬件兩方面展開,發(fā)展方向主要歸納如下:
(1)動態(tài)環(huán)境建模技術(shù)。虛擬環(huán)境的建立是VR技術(shù)的核心內(nèi)容,動態(tài)環(huán)境建模技術(shù)的目的是獲取實際環(huán)境的三維數(shù)據(jù),并根據(jù)需要建立相應(yīng)的虛擬環(huán)境模型。
(2)實時三維圖形生成和顯示技術(shù)。三維圖形的生成技術(shù)已比較成熟,而關(guān)鍵是怎樣“實時生成”,在不降低圖形的質(zhì)量和復(fù)雜程度的基礎(chǔ)上,如何提高刷新頻率將是今后重要的研究內(nèi)容。此外,VR還依賴于立體顯示和傳感器技術(shù)的發(fā)展,現(xiàn)有的虛擬設(shè)備還不能滿足系統(tǒng)的需要,有必要開發(fā)新的三維圖形生成和顯示技術(shù)。
(3)新型交互設(shè)備的研制。虛擬現(xiàn)實技術(shù)實現(xiàn)人能夠自由與虛擬世界對象進(jìn)行交互,猶如身臨其境,借助的輸入輸出設(shè)備主要有頭盔顯示器、數(shù)據(jù)手套、數(shù)據(jù)衣服、三維位置傳感器和三維聲音產(chǎn)生器等。因此,新型、便宜、魯棒性優(yōu)良的數(shù)據(jù)手套和數(shù)據(jù)服將成為未來研究的重要方向。
(4)智能化語音虛擬現(xiàn)實建模。虛擬現(xiàn)實建模是一個比較繁復(fù)的過程,需要大量的時間和精力。如果將VR技術(shù)與智能技術(shù)、語音識別技術(shù)結(jié)合起來,可以很好地解決這個問題。我們對模型的屬性、方法和一般特點的描述通過語音識別技術(shù)轉(zhuǎn)化成建模所需的數(shù)據(jù),然后利用計算機(jī)的圖形處理技術(shù)和人工智能技術(shù)進(jìn)行設(shè)計、導(dǎo)航以及評價,將模型用對象表示出來,并且將各種基本模型靜態(tài)或動態(tài)地連接起來,最終形成系統(tǒng)模型。人工智能一直是業(yè)界的難題,人工智能在各個領(lǐng)域十分有用,在虛擬世界也大有用武之地,良好的人工智能系統(tǒng)對減少乏味的人工勞動具有非常積極的作用。
(5)分布式虛擬現(xiàn)實技術(shù)的展望。分布式虛擬現(xiàn)實是今后虛擬現(xiàn)實技術(shù)發(fā)展的重要方向。隨著眾多DVE開發(fā)工具及其系統(tǒng)的出現(xiàn),DVE本身的應(yīng)用也滲透到各行各業(yè),包括醫(yī)療、工程、訓(xùn)練與教學(xué)以及協(xié)同設(shè)計。仿真訓(xùn)練和教學(xué)訓(xùn)練是DVE的又一個重要的應(yīng)用領(lǐng)域,包括虛擬戰(zhàn)場、輔助教學(xué)等。另外,研究人員還用DVE系統(tǒng)來支持協(xié)同設(shè)計工作。近年來,隨著Internet應(yīng)用的普及,一些面向Internet的DVE應(yīng)用使得位于世界各地多個用戶可以進(jìn)行協(xié)同工作。將分散的虛擬現(xiàn)實系統(tǒng)或仿真器通過網(wǎng)絡(luò)聯(lián)結(jié)起來,采用協(xié)調(diào)一致的結(jié)構(gòu)、標(biāo)準(zhǔn)、協(xié)議和數(shù)據(jù)庫,形成一個在時間和空間上互相耦合的虛擬合成環(huán)境,參與者可自由地進(jìn)行交互作用。特別是在航空航天中應(yīng)用價值極為明顯,因為國際空間站的參與國分布在世界不同區(qū)域,分布式VR訓(xùn)練環(huán)境不需要在各國重建仿真系統(tǒng),這樣不僅減少了研制費和設(shè)備費用,減少了人員出差的費用以及異地生活的不適。
近幾十年來,通信技術(shù)、計算機(jī)的同步發(fā)展和相互促進(jìn)成為世界上信息技術(shù)與產(chǎn)業(yè)飛速發(fā)展的主要特征。特別是網(wǎng)絡(luò)技術(shù)的迅速崛起與普及,使得信息應(yīng)用系統(tǒng)在深度和廣度上發(fā)生了質(zhì)的變化。虛擬現(xiàn)實主要依靠人機(jī)交互的發(fā)展,目前技術(shù)上已初步解決人腦數(shù)據(jù)的讀取,在不久的將來,開發(fā)者將完全解決通過神經(jīng)系統(tǒng)自動進(jìn)入虛擬現(xiàn)實環(huán)境的“人腦——計算機(jī)接口”問題,通過對人腦提取和反饋神經(jīng)信號使人完全融入“虛擬現(xiàn)實”世界。當(dāng)然從技術(shù)角度,我們應(yīng)該對基于多用戶虛擬環(huán)境進(jìn)行必要的技術(shù)研究。因為將來的VR技術(shù)將越來越重視人在其中的交互。虛擬現(xiàn)實充滿活力、具有無限的應(yīng)用前景的高新技術(shù)領(lǐng)域,但仍然存在許多有待解決與突破的問題。為了提高系統(tǒng)的交互性、逼真性和沉侵性,在新型傳感和感知肌理、幾何與建模新方法、高性能計算,特別是高速圖形圖像處理,以及人工智能、心理學(xué)、社會學(xué)等方面都有許多具有挑戰(zhàn)性的問題有待我們進(jìn)一步解決。
虛擬現(xiàn)實技術(shù)是本世紀(jì)發(fā)展的重要技術(shù)之一,作為一門科學(xué)和藝術(shù)將會不斷走向成熟,在各行各業(yè)中將得到廣泛應(yīng)用,并發(fā)揮神奇的作用,二十一世紀(jì)將是虛擬現(xiàn)實技術(shù)的時代。
掃描二維碼分享到微信