MET:VR顛覆性時刻：扔掉手柄 進入“無感駕駛”_META

萬萬沒想到，今年春天VR廠商們為“一雙手”卷起來了。

僅2022年上半年，就有四家VR巨頭對自家VR設備的手勢交互技術操刀改良。

4月20日，Meta旗下的VR頭顯OculusQuest2手勢交互版本迭代至2.0，解決了手部定位丟失的問題。4月13日，字節跳動旗下的VR品牌Pico宣布其兩款企業級VR頭顯可以通過定制的手部追蹤配件，提升手勢交互體驗。VR廠商HTC也在今年1月發布了一款新款腕式追蹤器，輔助預測用戶的手部位置。

OculusQuest?2手勢交互1.0版本和2.0版本在手部快速追蹤方面的對比

無論是裸手交互技術，還是手部追蹤配件，用于VR設備的手勢交互技術一直在不斷迭代。同時，不少VR企業還在嘗試尋找新的手勢交互方式，比如說VR手套。

5月6日，荷蘭VR手套制造商Manus宣布其新款采用磁力追蹤技術的VR手套QuantumMetagloves開啟預售。5月4日，國內動捕技術巨頭諾亦騰發布Hi52.0VR交互手套。而早在2021年11月，Meta就曾展現自家的VR觸感手套模型，分享自己在VR手勢交互方面的最新成果。

從左到右分別為Manus、諾亦騰、Meta的VR手套

不僅如此，蘋果、谷歌、微軟等一些潛在VR玩家還獲批多項與智能戒指有關的專利，試圖將智能戒指打造為下一代手勢交互的關鍵輸入設備。

手勢交互技術是最基礎也是最自然的交互方式，也是VR設備中主流的交互方式之一。一般來說，手勢交互是指通過數學算法來識別人類手勢的技術，包括圖像獲取、手勢追蹤、手勢識別與分析等多個過程。

元宇宙成CES2022主角VR/AR產業或迎快速發展期:1月10日消息，在1月8日閉幕的CES2022（國際消費電子展）上，元宇宙成為主角，多家廠商發布了相關新品。英偉達宣布，旗下元宇宙創作工具Omniverse將正式向創作者提供服務；現代汽車宣布與3D內容平臺Unity合作構建元宇宙數字虛擬工廠。機構分析，作為呈現元宇宙場景的重要載體，VR/AR產業將首先迎來快速發展期。（鞭牛士）[2022/1/10 8:37:17]

其中，手部追蹤和手勢識別是手勢交互中較為關鍵的兩個步驟。手部追蹤是指準確地在VR頭顯中定位用戶雙手的位置，而如何精準地識別每個手指的動作，識別手的各種形態等屬于手勢識別。

手勢交互技術也暗藏巨大的市場空間。國際市場分析公司MarketsandMarkets發表報告稱，2024年“手勢識別和無觸碰感知”市場將達到340億美元。

VR設備的手勢交互技術有了哪些新玩法？廠商為何都在近期升級自家VR設備的手勢交互技術？VR設備的手勢交互技術發展究竟如何？

我們與諾亦騰CTO戴若犁、夢想綻放技術負責人史明以及HTC的技術負責人等多位行業人士深度交流后，試圖找到答案。

拋開手柄，VR游戲可以裸手玩

相較于其他移動設備，用于VR設備的手勢交互技術進步較為緩慢。比如說，從3dof到6dof經歷了近五年的發展時間，手柄交互到裸手交互仍處在初期階段。隨著技術不斷進步，裸手交互也開始在不少消費級VR頭顯上普及。

Meta曾在2019年發布手勢交互1.0版本，并將裸手交互引入OculusQuestVR頭顯，讓用戶可以直接在虛擬世界中看到自己的雙手，并進行一些簡單的交互操作。時隔2年后，OculusQuest2擁有了手勢交互2.0版本。

戴森發布DysonDemoVR，旨在幫助消費者在家中通過VR技術體驗產品:11月19日消息，戴森新發布了DysonDemoVR，希望幫助消費者在家中通過虛擬現實技術體驗、測試和了解其產品。這也是消費品牌通過虛擬方式與客戶互動，以創造元宇宙的途徑之一。DysonDemoVR使用的是和原公司相同的可視化和仿真技術，用于建設原型、測試、開發新產品和軟件。

戴森表示，其虛擬現實展廳是通過其318家商店和網站直接向消費者銷售端的延伸，從周五開始通過Oculus的耳機商店可以購買VR頭盔獲得這一服務。

電子商務總監SeanNewmarch表示，演示是展示產品如何運作的重要組成部分，DysonDemoVR未來將包含完全集成的電子商務解決方案以及與真正的銷售人員交流的能力。（華爾街見聞）[2021/11/19 22:03:43]

此次升級主要解決了兩大難題。一是解決了用戶雙手重疊時，手部追蹤困難的問題。在Quest2的手勢交互1.0版本中，當用戶的雙手相互阻擋或重疊時，系統很難識別用戶的手勢動作。二是在用戶快速揮動雙手時，系統也很容易丟失對于手部的追蹤。這兩種情況的發生都有可能會造成雙手從虛擬世界中突然消失。

Quest?2手勢交互1.0版本和2.0版本對比

至于是如何解決這兩項問題，Meta在其公告中說明，基于“重新設計的計算機視覺和機器學習方法”，新版本提高了手部跟蹤的性能可靠性。但自從版本更新后，我們看到不少用戶反饋到，盡管手勢交互功能有了更好的體驗，但是系統也出現了明顯的卡頓。

對此現象，戴若犁解釋到VR頭顯處理計算的能力本身就比較有限，而Meta基于計算機視覺獲取數據，并將一部分算力資源用來預測用戶手部位置，這種方案無疑將會為VR頭顯帶來較大的計算處理壓力，也是“系統卡頓”現象的主要原因。

Facebook AR/VR負責人將升任CTO為建設元宇宙奠定基礎:9月23日消息，Facebook宣布Mike Schroepfer將辭去首席技術官一職，公司AR/VR業務負責人Andrew Bosworth將在2022年接任該職位。Facebook CEO馬克·扎克伯格在聲明中表示：作為下一任CTO，Bosworth將繼續領導Facebook Reality Labs，并監督我們在增強現實、虛擬現實等方面的工作。在過渡時期，一些團隊將率先加入Bosworth的團隊。這些都是在為我們構建元宇宙的廣泛工作奠定基礎，我對Bosworth的領導以及這項工作的未來感到興奮。扎克伯格正致力于將Facebook打造為一家將現實世界與虛擬世界融合起來的元宇宙公司。Schroepfer卸任后的新工作包括招聘和培養技術人才，以及推動公司對人工智能的投資等。（itnews）[2021/9/23 17:00:02]

HTC也在今年3月推出了新款的腕式追蹤器VIVEWristTracker，并且在去年年底升級自家的手部追蹤版本。據HTC官網信息介紹，當用戶將腕式追蹤器戴在手腕上時，即使在一段時間內雙手離開相機視野，系統也可以通過腕式追蹤器的高頻IMU數據和運動學模型預測手部的運動軌跡。

HTC的相關負責人還向智東西分享到，相比VIVEFocus3控制器，VIVEWristTracker移除了按鈕、觸覺輸入等零部件從而縮小電池尺寸，將控制器變得更小更輕。據介紹，HTC的手腕追蹤器比VIVEFocus3控制器小85%，重量輕50%。

VIVEWristTracker腕式追蹤器

我們可以看到，Meta的裸手交互方案仍是計算機視覺為主，HTC的裸手交互方案則需要依靠腕式追蹤器等外設。前者能幫助用戶快速、有效地體驗裸手交互的樂趣，而后者通過慣性傳感器提高一定程度手勢交互的準確性和可靠性。面對不同的應用場景，不同廠商VR設備的裸手交互方案各有側重。

OVR公司在西班牙推出AR NFT尋寶游戲:作為出售NFT計劃的一部分，OVR公司向PokémonGo游戲的AR獵人分發了價值數百美元的加密貨幣。該公司已在西班牙城市各地放置了NFT寶箱，其中包含不同數量的基于以太坊區塊鏈的OVR代幣。在手機上裝有OVR應用程序的“尋寶者”可以在城市四處漫游，獲取寶箱獎勵。廣告商可以通過購買OVR發行的NFT，獲得在城市周圍投放AR廣告的機會。（Cryptonews）[2021/4/8 19:57:14]

但裸手交互一定會給人們帶來更好地體驗嗎？戴若犁在采訪時說：“在技術成熟度尚未達到的時間點，將裸手交互這類人機交互新方式嵌入操作系統中，會給人們過高的期待。”

“從操作成功率和觸感反饋來說，手柄在樂趣以及操作準確性上要遠勝裸手交互。”他解釋到，在人機交互領域，80%的操作準確性和100%的操作準確性給用戶帶來的交互體驗是完全不一樣的。

微軟亞洲研究院網絡圖形組首席研究員童欣曾在2017年接受媒體采訪時證實這一點。“當我手握手柄的時候，手柄不僅是一個輸入設備，同時也是輸出設備，它可以通過震動、力反饋給我一個輸出的反饋。而當我空手在空氣中揮舞的時候，我就失去了自己的輸出渠道。”

有限的計算消耗、較高的學習成本、較低的操作準確性等都是阻礙VR設備裸手交互技術發展的主要原因。但在交互體驗上，裸手交互也將會給VR內容生產者提供更多的發揮空間。不少VR設備中，裸手交互作為一種輔助的手勢交互方式。

大廠們爭著做的VR手套?B站100元搞定？

為了在裸手交互帶來的沉浸感和VR手柄提供的高準確性之間尋找到平衡點，VR廠商們又想出了另一種手勢交互方式——VR手套。

目前，VR手套存在比較多的形態，但是真正可以大規模量產和銷售的VR手套主要分為基于慣性傳感器和基于彎曲傳感器兩種類型。

Evrial木馬替換剪貼板復制的地址竊取比特幣:最近一個名為Evrial的竊取新的的木馬正在犯罪論壇上出售。該木馬可以Evrial可以竊取瀏覽器cookie和存儲的憑證，還可以改變復制到剪貼板上的比特幣地址，從而導致比特幣被轉到錯誤的地址。由于很多人在轉賬前都會將收件地址復制到Windows剪貼板，因此任何通過桌面客戶端或硬件錢包來轉賬的人都可能面臨風險。現在用戶最好的做法就是不要下載陌生人發送的郵件附件，避免點擊網絡上的惡意鏈接，并更新計算機上的殺軟件。目前其他操作系統的用戶似乎不受這種惡意軟件的影響。[2018/1/24]

不同于基于計算機視覺手勢交互的數據處理方式，以慣性傳感器為主的VR手套將通過傳感器收集大量的手部定位和手指交互的數據。而以彎曲傳感器為主的VR手套則測量精度較低，由于對于貼合程度的要求較高，其可穿戴設備的舒適度也較低。

我們有機會搶先體驗到Hi52.0VR交互手套。一副Hi52.0VR交互手套共有12個慣性傳感器，每只手佩戴六個無線傳感器，分布五個手指和手背上。同時該套裝還將配有一個數據收發器，可以插在電腦或者VR頭顯上傳輸數據。

Hi52.0VR交互手套

打開傳感器、安裝傳感器、固定好手部追蹤器，選擇校準界面，Hi52.0VR手套的校準方式比我們想象的要復雜一些。

在體驗過程中，我們發現Hi52.0VR交互手套能提供較為精準的手勢識別過程，比如說手部的位置和手勢的變化基本都能實時顯示變化。據官網介紹，該設備的姿態計算幀率從180fps提升至500fps，研發人員還通過算法提高了一定的抗磁干擾程度。

諾亦騰研發人員正在校準Hi52.0VR交互手套

除此之外，研究人員也在嘗試不同的VR手套設計方案。

2021年11月，Meta公布了其研發7年的VR觸感手套原型，這款VR手套用微型氣閥取代了電機，通過復雜的控制系統調整手指上的充氣儀器，形成擬真壓力，從而模擬各種觸感。

Meta觸感手套

荷蘭VR手套開發商Manus的QuantumMetagloodsVR手套則是基于磁力追蹤技術打造而成。

與諾亦騰選擇用算法去減輕天然環境造成的磁干擾，保證追蹤穩定性的方案不同，通過磁力追蹤的手勢交互方案需要兩個設備協作完成，一個設備內設xyz三個方向的線圈，同時VR手套中也將內含一個線圈，兩個線圈將以高頻振動的方式產生磁力線，兩條磁力線互相切割，從而獲得手的位置變化。

盡管VR手套能提供較為準確的手勢動作捕捉，但VR手套的價格成本決定了其只能面向小部分極客玩家和商用市場。

據悉，Meta手套的原型成本約為5000美元，而Manus的QuantumMetagloods的預售價為9000美元，諾亦騰的Hi52.0VR交互手套，售價為9800元人民幣。

從左到右分別為Manus、諾亦騰、Meta的VR手套

Meta曾將研發VR觸感手套的項目描述為“登月計劃”。“當我們開始研發VR觸感手套時，我們希望打造一款可以大規模量產，消費者買得起的消費設備，讓人們在任何地方都能體驗到虛擬世界。”Meta的項目負責人說：“但這幾乎不可能。”

在調查的過程中，我們還發現B站上有不少UP主自制VR手套，這些價格的成本從100元到350元不等，部分VR手套甚至擁有力反饋功能。我們看到這些自制的VR手套可以用于一些簡單的VR游戲中，可以做出拿、捏、翻轉等一些簡單手勢動作，但其顯示延遲情況也較為明顯，時常會出現一些鬼畜場景。

B站UP主們嘗試自制VR手套

面對VR手套的巨大價格差距，一位從事VR手套的行業人士分析認為面向B端市場的VR手套成本主要在研發投入、零部件以及人力資源成本上，價格根據市場需求而定。這意味著可能做一幅普通VR手套的價格并不高，但做一副可以面向商用場景、提供準確精度的VR手套需要較高的成本。

盡管VR手套能兼顧VR設備的沉浸感和手勢交互的準確性，如何降低VR手套的價格將是VR手套發展必須要解決的難題。

想要擁有自由的“雙手”？

要從算法、工程、交互設計攻克難題

從裸手交互和VR手套交互兩種方式來看，VR設備的手勢交互技術發展正在不斷更新迭代，此前面臨的一些困境也逐步尋找到了解決方法。但整體而言，用于VR設備的手勢交互技術還存在不少難點。

到底是什么阻礙了我們扔掉VR手柄，無法采用新的手勢交互方式？國內VR頭顯奇遇系列的研發人員、夢想綻放的技術負責人史明在接受智東西采訪時給出了三個要點。

首先是算法層面。目前用于VR設備的手勢交互技術基本采用深度學習技術，因此研發過程中需要依賴大量的業務場景標注數據。而基于手勢的三維數據獲取成本高，并且難以保證數據質量和一致性。

手勢交互的關鍵點識別

其次，手勢交互技術在工程優化方面比較復雜。手勢交互技術需要以一個優異模型為前提，需要做小模型推理演繹。而推理過程中，研究人員既要保證算法的精確度，又要保證數據的實時高效性。

最后是在交互使用方面的設計。VR研發人員需要在設計手勢交互相關操作時規避視覺死角問題，同時還要為用戶提供較好的交互體驗。

關于手勢交互的設計這一點，曾擔任FacebookRealityLabs設計師劉曉雨也曾在采訪中提到手勢交互技術很容易在使用期間出現遮擋情況，設計手勢交互動作時還需要考慮用戶的學習成本。

除此之外，微軟亞洲研究院網絡圖形組首席研究員童欣還曾提到對于手勢識別而言，機器很難分清輸入狀態和非輸入狀態。與鍵盤的按鍵交互方式不同，機器很難去分辨你搖手的動作，是做出一個揮手的手勢，還是玩累了想要甩手休息。

總體而言，用于VR設備的手勢交互技術整體上主要面臨兩個方面的難題。一方面是哪一種手勢交互方式能兼顧沉浸感、準確性并且成本低，能用于所有的VR設備。另一方面是，如何根據VR設備的基礎配置打造出最適合這款設備的手勢交互功能。

可以預見的是，在裸手交互技術能獲得較高的精度、VR手套成本下降之前，手柄將仍是VR設備手勢交互的主流方案之一。

結語：手勢交互技術或成VR體驗升級關鍵

目前，用于VR設備的手勢交互總共分為三個方向：現有的手柄交互方式、正在逐步成為主流的裸手交互方式、和仍在小眾階段的外接可穿戴設備的交互方式。但值得注意的是，這三種交互方式并非替代關系，是可以實現共存。

在手機、電腦快速發展的時期，無論是鍵入，還是觸屏的交互模式，都曾給人們帶來新的交互體驗，手勢交互同樣會給VR設備體驗和VR內容生產帶來新的變化。

手勢交互的技術發展總會有無窮無盡的方向，但被時代所留下的手勢交互技術終究是少數，用于VR設備的手勢交互技術將會如何演進，或許時間能告訴我們答案。

Tags：ETAMETMETA元宇宙METAFLOKIMGMETAGS幣MetaFootball元宇宙專業

火必APP