到底什么是VR?
早在1965年,Ivan Sutherland就在“The Ultimate Display”這篇文章里提出了一種全新的圖形顯示技術(shù)——觀察者不再通過計(jì)算機(jī)窗口(屏幕之類的顯示設(shè)備)來觀察畫面,而是直接沉浸在計(jì)算機(jī)生成的3D世界中,觀察者轉(zhuǎn)動(dòng)身體或者眼球話,場(chǎng)景會(huì)實(shí)時(shí)變化,并能以自然的方式與3D世界進(jìn)行互動(dòng),不光能看到,還能觸摸、能感覺,能聽到三維的聲音。
虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng),它利用計(jì)算機(jī)生成一種模擬環(huán)境是一種多源信息融合的交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。
VR的特征有哪些?
多感知性
指除一般計(jì)算機(jī)所具有的視覺感知外,還有聽覺感知、觸覺感知、運(yùn)動(dòng)感知,甚至還包括味覺、嗅覺、感知等。理想的虛擬現(xiàn)實(shí)應(yīng)該具有一切人所具有的感知功能。
存在感
指用戶感到作為主角存在于模擬環(huán)境中的真實(shí)程度。模擬環(huán)境是由計(jì)算機(jī)生成的、實(shí)時(shí)動(dòng)態(tài)的三維立體逼真圖像,一個(gè)理想的模擬環(huán)境應(yīng)該達(dá)到使用戶難辨真假的程度。
交互性
指用戶對(duì)模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度。人的頭部轉(zhuǎn)動(dòng),眼睛、手勢(shì)等人體行為動(dòng)作,由計(jì)算機(jī)來處理與參與者的動(dòng)作相適應(yīng)的數(shù)據(jù),并對(duì)用戶的輸入作出實(shí)時(shí)響應(yīng),并分別反饋到用戶的五官。
自主性
指虛擬環(huán)境中的物體依據(jù)現(xiàn)實(shí)世界物理運(yùn)動(dòng)定律動(dòng)作的程度。
實(shí)現(xiàn)VR的關(guān)鍵技術(shù)
虛擬現(xiàn)實(shí)是多種技術(shù)的綜合,包括實(shí)時(shí)三維計(jì)算機(jī)圖形技術(shù),廣角(寬視野)立體顯示技術(shù),對(duì)觀察者頭、眼和手的跟蹤技術(shù),以及觸覺/力覺反饋、立體聲、網(wǎng)絡(luò)傳輸、語音輸入輸出技術(shù)等。下面對(duì)這些技術(shù)分別加以說明。
實(shí)時(shí)三維計(jì)算機(jī)圖形
足夠準(zhǔn)確的模型、足夠的時(shí)間下,就可以利用計(jì)算機(jī)模型生成不同光照條件下各種物體的精確圖像,而這里的關(guān)鍵是實(shí)時(shí)。
是否實(shí)時(shí)將關(guān)系到用戶最終是否使用VR設(shè)備。
AMD官網(wǎng)上描述過延遲問題:“在使用虛擬現(xiàn)實(shí)功能時(shí),如果您在遇到場(chǎng)景更新時(shí)間過長(zhǎng)時(shí)轉(zhuǎn)頭,可能會(huì)感到惡心或眩暈。導(dǎo)致這種身體不適的常見原因被稱為“運(yùn)動(dòng)到圖像顯示的延遲”。”
改善延遲是VR產(chǎn)品的核心競(jìng)爭(zhēng)力,理論上VR設(shè)備的延遲越低越好,無延遲更佳,但實(shí)際上廠商只能通過技術(shù)手段盡量降低延遲,產(chǎn)生延遲的主要是GPU渲染場(chǎng)景時(shí)間以畫面輸出到VR顯示器上的時(shí)間。
顯示
在VR系統(tǒng)中,雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像是分別產(chǎn)生的,顯示在不同的顯示器上。用戶帶上特殊的眼鏡后,一只眼睛只能看到奇數(shù)幀圖像,另一只眼睛只能看到偶數(shù)幀圖像,而奇、偶幀之間的不同即視差,則產(chǎn)生立體感。
VR獨(dú)特的體驗(yàn)源于它跟人眼看物體原理差不多,左眼、右眼是各自獨(dú)立處理畫面的,這就要求VR設(shè)備也要把畫面分為兩部分來處理,所以對(duì)電腦硬件的要求就提高了。
NVIDIA公布的一些測(cè)試數(shù)據(jù)顯示:PC上1920x1080 30fps運(yùn)行游戲需要渲染的工作量是60MP/s,而VR的分辨率可以達(dá)到1512x1680(雙眼是3024x1680),而且?guī)室残枰M(jìn)一步提高,需要渲染的工作量是450MP/s,對(duì)性能的要求是普通PC游戲的7倍。
實(shí)際上為了更好的VR體驗(yàn),3024x1680、90fps的VR要求遠(yuǎn)遠(yuǎn)達(dá)不到完美,真正的沉浸式體驗(yàn)需要16K分辨率、240Hz刷新率,可想而知VR對(duì)硬件的要求有多高。
用戶(頭、眼)的跟蹤:在人造環(huán)境中,每個(gè)物體相對(duì)于系統(tǒng)的坐標(biāo)系都有一個(gè)位置與姿態(tài),而用戶也是如此。用戶看到的景象是由用戶的位置和頭(眼)的方向來確定的,通過雙目立體視覺去認(rèn)識(shí)環(huán)境,利用頭部跟蹤來改變圖像的視角,觀察環(huán)境,用戶的視覺系統(tǒng)和運(yùn)動(dòng)感知系統(tǒng)之間的聯(lián)系,感覺會(huì)更逼真。
聲音
在水平方向上,我們依靠聲音的相位差及強(qiáng)度差來確定聲源方向。由于聲音到達(dá)兩只耳朵的時(shí)間或距離有所不同,常見的立體聲效果就是靠左右耳聽到在不同位置錄制的不同聲音來實(shí)現(xiàn)的,所以會(huì)有一種方向感。
感覺反饋
在一個(gè)VR系統(tǒng)中,用戶可以看到一個(gè)虛擬的杯子。你可以設(shè)法去抓住它,但是你的手沒有真正接觸杯子的感覺,并有可能穿過虛擬杯子的“表面”,而這在現(xiàn)實(shí)生活中是不可能的。解決這一問題的常用裝置是在手套內(nèi)層安裝一些可以振動(dòng)的觸點(diǎn)來模擬觸覺。
語音
在VR系統(tǒng)中,語音的輸入輸出也很重要,要求虛擬環(huán)境能聽懂人的語言,并能與人實(shí)時(shí)交互。而讓計(jì)算機(jī)識(shí)別人的語音是相當(dāng)困難的,因?yàn)檎Z音信號(hào)和自然語言信號(hào)有其“多邊性”和復(fù)雜性。使用人的自然語言作為計(jì)算機(jī)輸入目前有兩個(gè)問題,首先是效率問題,為便于計(jì)算機(jī)理解,輸入的語音可能會(huì)相當(dāng)啰嗦。其次是正確性問題,計(jì)算機(jī)理解語音的方法是對(duì)比匹配,而沒有人的智能。
VR應(yīng)用在哪里?
VR技術(shù)發(fā)展這么多年,早已在各行各業(yè)有了深度應(yīng)用,軍事上有虛擬戰(zhàn)場(chǎng)、虛擬駕駛,工業(yè)上有各種虛擬建筑、醫(yī)學(xué)上有虛擬手術(shù)、教育上有虛擬課堂、商業(yè)上有虛擬商店以及虛擬旅游等,去年12月份故宮還開放了端門數(shù)字展覽館,觀眾還可以在數(shù)字屏風(fēng)里試穿各種華服,這都是VR技術(shù)的應(yīng)用實(shí)例。而消費(fèi)級(jí)產(chǎn)品VR眼鏡、VR頭盔則將廣泛應(yīng)用在VR游戲、VR電影。