世界快資訊丨眼球交互vs眼疲勞，前Vision Pro設(shè)計師揭秘這些細節(jié)

Vision Pro的發(fā)布帶來了眾多討論，從交互層面來看，它真正的將AR/VR的首選交互從手柄轉(zhuǎn)移到手勢+眼球上面來，此前的AR、VR大部分還是通過手柄來完成交互（HoloLens除外），手勢交互是它們的第二選擇。

【資料圖】

交互方式主要靠眼睛注視（融合手勢）的方式自然也會帶來一些疑問，比如是否容易造成眼疲勞？圍繞這一話題，也有不少開發(fā)者、工程師、設(shè)計師等展開討論。

近期，前蘋果高級AI和AR設(shè)計師Bart Trzynadlowski發(fā)表了自己的看法，它在職期間負責了Vision Pro和在保密階段的AR項目開發(fā)工作，雖然不能泄密，但它公開資料中向我們帶來更多解讀，包括技術(shù)、UI、UX等多個方面。

1. 眼球追蹤交互的難點

為什么眼球追蹤不能轉(zhuǎn)換成精準的輸入？這就要說到復雜的人眼運動特性。人眼除了主動移動外，還會存在一些細微的被動運動，如果這些微動作被識別為意圖，那么眼球追蹤結(jié)果很難準確。

因此，眼球追蹤系統(tǒng)存在一種叫“Midas Touch”的難題，即人眼常見的眼跳、眨眼等無意的微動作會在交互中產(chǎn)生誤操作，就像是傳說中的Midas一樣，手指點到的任何東西都會變成金子。如果眼球交互的錯誤率高，那么體驗感也不會理想。

此前，Unity高級研發(fā)工程師Eric Pvncher曾指出，此前的XR頭顯不廣泛使用眼球輸入，原因是很難做到精準，而且過度使用人眼會產(chǎn)生認知負擔。比如在一個用注視點控制光標繪畫的demo中，可以明顯看到眼球輸入的筆跡是抖動的，不能很準確的控制光標。

換句話說，現(xiàn)階段眼球輸入并不能達到鼠標點擊的精準性和靈敏性，因此在交互設(shè)計上，不適合直接借鑒鼠標移動光標的方式。更重要的是，相比于手動操控鼠標，用頻繁轉(zhuǎn)動眼球移動光標也會對視力損耗不小。

2. 硬件的改善優(yōu)化

為了優(yōu)化眼球交互/輸入，蘋果從硬件、UI、交互方式等多方面都做出了努力。

硬件方面，AVP的眼球追蹤模組（IR相機、LED光源）位于透鏡之下，可以更好更全面的捕捉人眼的動作。而Quest Pro則不同，它的IR相機和LED位于透鏡外側(cè)，更靠近人眼。

3. 系統(tǒng)和軟件的優(yōu)化

在近眼顯示設(shè)備中，眼舒適是個永恒的話題，無論是否融合眼球追蹤技術(shù)，關(guān)于顯示也同樣如此。

而基于眼球追蹤的交互必然會造成眼疲勞，這點毋庸置疑。實際上蘋果在WWDC23/10078公開課中也明確這一點，同時還提到：需要在系統(tǒng)和軟件層面提供“合適的設(shè)計”，讓眼睛得到休息也是交互中重要的一點。

其中有幾個核心設(shè)計技巧：

1，視覺中心應(yīng)該中心，且略靠下位置（也就是視軸方向）；

2，眼睛轉(zhuǎn)動優(yōu)先左右移動，而不是上下或斜向轉(zhuǎn)動；

其中，還明確提到如果眼睛大范圍轉(zhuǎn)動是必要交互，也應(yīng)盡可能減少眼睛大范圍的轉(zhuǎn)動，并且考慮讓眼睛能夠持續(xù)交互過程中有片刻休息的“自然斷點”，而不是通過給予持續(xù)的UI反饋持續(xù)吸引眼球。

作為眼球注視+手勢的融合交互帶來的好處也很明顯，就是非常直接，從多位現(xiàn)場體驗的媒體來看也的確如此，普遍好評。

為進一步提升注視點預測的準確性，蘋果還為Vision Pro搭配了精心設(shè)計的UI，可以很好的配合現(xiàn)有的眼球追蹤技術(shù)，較為準確的識別、過濾用戶意圖。比如，將可交互的元素設(shè)計的比較大，并盡量采用圓潤的圖形，來增加注視點可停留的區(qū)域，從而很好的輔助眼球追蹤功能。

目前還不確定Vision Pro是否會從算法上過濾眼球運動數(shù)據(jù)的噪點（無意識的錯誤運動），不過對于患有眼球震顫等視力問題的患者，該頭顯還會提供其他輔助（無需眼球注視）的交互方式。而現(xiàn)階段，Quest Pro似乎還未提供類似的設(shè)計（當然它有手柄），一位眼球震顫患者表示：由于眼球運動頻繁，Quest Pro并不能準確識別注視點意圖。

4. 側(cè)重識別用戶意圖

視覺是生活中最重要、最常用的人體功能之一，當你看真實世界時，可能會不斷轉(zhuǎn)動眼球，由于我們已經(jīng)足夠熟悉這種交互，很多時候眼球運動都是無意識的。而在注視點追蹤系統(tǒng)中，當你主動控制眼球運動，可能容易產(chǎn)生視覺疲勞。

為了讓XR頭顯的眼球交互能像現(xiàn)實生活中一樣自然，蘋果更側(cè)重于識別用戶的注視意圖，而不是鼓勵用戶看向特定的位置。

目前基于鍵鼠的PC交互實際也結(jié)合了注視動作，當你在2D屏幕做選擇時首先會不自覺看向目標位置。因此，只要Vision Pro準確、快速的追蹤用戶的注視意圖，理論上就可以很好的較快輸入效率，而不需要用戶有意識轉(zhuǎn)動眼球選擇。

另一方面，針對手部不靈活的用戶，Vision Pro也可以只通過眼球動作來輔助交互，比如持續(xù)凝視一個位置等。Bart指出，有大量研究和demo顯示，主動眼球交互在部分情況下可以做到足夠舒適（比如停留、追隨移動目標、特定動作姿態(tài)等）。

而在2017年時，一家叫Quantum Interface的公司曾展示了一種有趣的頭部交互方式，特點是基于頭部追蹤，你可以通過移動頭部來瞄準，或甩頭展開選項。同理，眼球輸入也可以使用一些簡單的姿態(tài)，比如反復掃視一個區(qū)域。

為了避免第三方App讀取注視點等生物信息，只有在手勢確認時將注視點信息識別為交互操作，而手勢追蹤是一種系統(tǒng)級功能，因此第三方App不能直接讀取用戶實時的注視點方向，避免開發(fā)者濫用眼球數(shù)據(jù)來設(shè)計交互。

也就是說，Vision Pro的眼球追蹤功能主要用于系統(tǒng)交互和優(yōu)化，比如根據(jù)注視點信息可監(jiān)控人眼行為，預測大腦生物反饋，并在此基礎(chǔ)上可進一步優(yōu)化UI等等。

Bart表示：我認為，蘋果在眼球交互上有很深刻的思考，Vision Pro采用了一種自然、簡約的眼球交互設(shè)計，相信在足夠的硬件和軟件支持下，能夠為用戶在下意識進行輸入，而不需要主動付出額外努力。

關(guān)鍵詞：