和2D顯示屏、手機(jī)屏幕相比，VR圖像為什么看起來更加沉浸、立體呢？一方面是透鏡將左右眼圖像結(jié)合，形成3D視覺效果，而另一方面則歸功于屏幕畫面與頭部追蹤的同步作用。

簡(jiǎn)單來講，就是VR會(huì)根據(jù)用戶頭部的位置和朝向來改變其眼前的畫面，每一幀畫面對(duì)應(yīng)了用戶觀看眼前場(chǎng)景的不同視角，從而模擬人眼3D視覺效果，營造一種立體、沉浸的感覺。

【資料圖】

換句話說，假如你看傳統(tǒng)電腦顯示屏，不管從哪個(gè)角度看它，屏幕上的圖像觀感都是靜止的。當(dāng)然，我們也可以通過動(dòng)態(tài)渲染和模擬，來營造一種裸眼3D的感覺，比如任天堂3DS就通過雙攝像頭，來捕捉人眼雙目視差，從而形成3D觀感。近期，電商平臺(tái)Shopify的“空間商務(wù)項(xiàng)目”團(tuán)隊(duì)就研發(fā)了一種類似的技術(shù)，該技術(shù)名為WonkaVision，特點(diǎn)是用2D顯示器實(shí)現(xiàn)裸眼3D視覺效果，且成本低，通過電腦攝像頭來追蹤用戶頭部，從而將電腦屏幕的靜止畫面變得立體。

據(jù)青亭網(wǎng)了解，WonkaVision靈感來自于谷歌工程總監(jiān)Johnny Lee在15年前的一個(gè)發(fā)明，當(dāng)時(shí)Lee經(jīng)過改裝，將任天堂Wii控制器變成了紅外頭部追蹤裝置，用來定位穿戴在用戶頭上的傳感器，并利用捕捉到的頭部信息，將2D屏幕變成了跟隨頭部變化的裸眼3D效果（宣稱是“VR效果”）。盡管Lee的改裝發(fā)明獲得網(wǎng)友普遍好評(píng)，給人留下了深刻的印象，但它幾乎從未被商用。據(jù)悉，Lee此前曾參與過微軟Kinect項(xiàng)目，也曾是Google Tango的負(fù)責(zé)人，而現(xiàn)在則在谷歌從事AR設(shè)備和體驗(yàn)管理。

改進(jìn)的裸眼3D方案

為了改進(jìn)Lee的設(shè)計(jì)，Shopify想用電腦攝像頭來取代Wii控制器，并將裸眼3D程序在瀏覽器中運(yùn)行。Shopify表示：如果使用電腦攝像頭就能實(shí)現(xiàn)Lee的方案，那么它將被更多人使用，甚至可能帶來全新的網(wǎng)絡(luò)交互體驗(yàn)。未來可以和電商平臺(tái)很好的結(jié)合，比如打造虛擬界面、立體的商品預(yù)覽等等，如將品牌網(wǎng)站打造成立體的虛擬店面，允許消費(fèi)者查看店面中的商品，就像是在線下逛商場(chǎng)的感覺。

值得注意的是，WonkaVision并非通過紅外信號(hào)定位頭部，而是通過攝像頭來追蹤用戶的眼球。通常電腦攝像頭為單目方案，于是項(xiàng)目組采用谷歌MediaPipe Iris眼球追蹤模型，它使用單個(gè)RGB攝像頭就能定位人眼的位置，以及瞳孔的特征點(diǎn)，無需借助專門的硬件?；诖?，WonkaVision可預(yù)測(cè)出人眼和攝像頭之間的相對(duì)位置，相對(duì)誤差小于10%。

不過由于MediaPipe Iris并沒有開源的JavaScript，所以不能在網(wǎng)頁端運(yùn)行。于是，Shopify改用MediaPipe Face Mesh，來測(cè)量攝像頭與人眼之間的距離，經(jīng)驗(yàn)證其準(zhǔn)確性對(duì)WonkaVision足夠用。以下是它的流程：

1）MediaPipe Face Mesh檢測(cè)瞳孔周圍四個(gè)點(diǎn)（上下左右）；

2）結(jié)合四個(gè)點(diǎn)距離，以及瞳孔平均寬度（11.7毫米），來預(yù)測(cè)用戶瞳孔參數(shù)；

3）結(jié)合瞳孔參數(shù)和攝像頭參數(shù)，通過簡(jiǎn)單的針孔相機(jī)模型方程，來計(jì)算出人眼在空間中的深度/距離，從而推算出其X、Y坐標(biāo)。

通過檢測(cè)黑白棋盤四角，來計(jì)算攝像頭參數(shù)

利用DIY方式驗(yàn)證瞳孔距離預(yù)測(cè)的準(zhǔn)確度

將屏幕變成虛擬窗口

通過WonkaVision，Shopify希望那個(gè)將2D顯示屏變成一個(gè)“窗口”，就像是當(dāng)你透過窗戶查看外面立體景色那樣，屏幕顯示的畫面會(huì)跟隨你的視角、距離而變化，看起來就像窗外的景色。

在解決眼球追蹤功能后，Shopify團(tuán)隊(duì)在游戲引擎中建立了一個(gè)3D場(chǎng)景，并將該場(chǎng)景與屏幕邊緣對(duì)齊，將攝像頭的位置作為起始點(diǎn)。也就是說，該場(chǎng)景顯示在屏幕上的每一幀，都是根據(jù)人眼和屏幕/攝像頭的距離來改變。

為什么要將虛擬場(chǎng)景和物理屏幕對(duì)齊呢？Shopify解釋，為了讓屏幕有窗戶的效果，則需要假設(shè)屏幕邊框存在于虛擬世界中。與此同時(shí)，還在人眼（右眼）的位置設(shè)置了一個(gè)虛擬相機(jī)，這樣虛擬相機(jī)就能捕捉到，在人眼位置看3D場(chǎng)景的效果（看起來具有遠(yuǎn)近深度）。

同軸和離軸透視投影

在這個(gè)方案中，Shopify還探索了3D成像的同軸、離軸投影問題。

如果WonkaVision的虛擬相機(jī)使用軸上透視投影方案，那么視椎體看起來像是形狀不變的金字塔，它的問題是窗框外邊的虛擬場(chǎng)景也會(huì)透出來。那么如果使用離軸透視投影矩陣，虛擬相機(jī)的視椎體則看起來像是不對(duì)稱的金字塔，底部固定在虛擬窗口上，從正面看起來視覺效果理想，虛擬場(chǎng)景的內(nèi)容會(huì)根據(jù)視角和距離而變化，窗口邊緣外的虛擬內(nèi)容不可見。

另外，WonkaVision的虛擬相機(jī)位于右眼，而非雙眼中間。這是因?yàn)樗粉欕p眼位置來渲染3D效果，而非定位整個(gè)頭部。但它有一個(gè)局限，就是只能將虛擬相機(jī)放在一只眼睛的位置，觀看時(shí)需要閉上另一只眼睛。而如果將虛擬攝像頭放在雙眼中間，則無法準(zhǔn)確計(jì)算雙目視差，導(dǎo)致深度錯(cuò)覺感消失。Shopify表示：虛擬攝像頭放在雙眼中間時(shí)，依然能生成有趣的效果，但立體感不夠理想。

實(shí)際上，VR頭顯就基于類似原理。VR會(huì)將同一個(gè)場(chǎng)景渲染兩次，分別對(duì)應(yīng)左右眼，并分別顯示在屏幕左側(cè)或右側(cè)（或是左右兩塊屏幕）。而對(duì)于WonkaVision來講，由于只有一塊屏幕，因此便僅從一只眼的角度來進(jìn)行渲染。

最終原型

經(jīng)過驗(yàn)證，WonkaVision視覺效果自然，看起來就像從屏幕中沖出來一樣。未來，除了虛擬商品、店面展示外，WonkaVision也可以為動(dòng)畫、游戲等內(nèi)容帶來有趣的3D視覺體驗(yàn)，比如用肉眼感知僵尸從屏幕里面走出來的感覺。

不過與Lee的方案類似，WonkaVision也存在一些局限，導(dǎo)致其難以被廣泛應(yīng)用。Shopify指出，雖然解決了硬件成本問題，但攝像頭參數(shù)很難計(jì)算，而且屏幕的尺寸各不相同，因此難以適配。此外，它還有一些局限，比如需要閉上一只眼才有好的效果，這無疑為用戶體驗(yàn)帶來了門檻。

盡管WonkaVision可以在網(wǎng)頁端運(yùn)行，但它依然不適合廣泛使用，因?yàn)槟壳皟H適用于一種屏幕尺寸，和一種固定的攝像頭參數(shù)。除非能夠輕松獲得任何攝像頭參數(shù)，以及屏幕尺寸，否則這種3D模擬方案將很難成為主流。參考：Shopify