日前，韓國(guó)實(shí)感交互人體感應(yīng)解決方案研究中心(??????????????)的研究人員日前為操縱虛擬對(duì)象提出了一種成本高效的三指外骨骼手部動(dòng)捕設(shè)備，以及一種基于物理引擎的手部交互模塊。

設(shè)備能通過(guò)獨(dú)特的傘齒輪結(jié)構(gòu)，以及六個(gè)3D磁傳感器來(lái)提供12個(gè)自由度的手指運(yùn)動(dòng)數(shù)據(jù)。研究結(jié)果表明，兩個(gè)指尖之間的相對(duì)距離誤差小于2毫米，而且系統(tǒng)在實(shí)時(shí)處理復(fù)雜的關(guān)節(jié)數(shù)據(jù)時(shí)能夠支持用戶再現(xiàn)精確的手部運(yùn)動(dòng)。研究人員將手部動(dòng)作與基于物理引擎的交互框架(包括一個(gè)抓握解釋器和多模態(tài)反饋操作)進(jìn)行同步，從而最小化手部穿過(guò)對(duì)象的情況。這款系統(tǒng)能夠?qū)崿F(xiàn)虛擬環(huán)境中的對(duì)象操作可行性。

1. 介紹

為了增強(qiáng)虛擬環(huán)境中的真實(shí)感，用戶和虛擬內(nèi)容之間的真實(shí)交互十分重要。到目前為止，許多研究人員都專注于使用RGB-d傳感器，線性或旋轉(zhuǎn)電位器，或IMU來(lái)測(cè)量手指運(yùn)動(dòng)。

諸如Leap Motion或微軟HoloLens所采用的圖像傳感器或紅外傳感器屬于非接觸式傳感器，因此具有易于使用的優(yōu)點(diǎn)，但它們本身受限于手部的自我遮擋，所以需要特定的環(huán)境才能正常工作，包括能見(jiàn)度，光照條件。

基于線性或旋轉(zhuǎn)電位器的動(dòng)捕方法涉及某種類型的可穿戴機(jī)制，而這種方法缺乏準(zhǔn)確性，因?yàn)樗鼮槊總€(gè)手指分配1-2個(gè)自由度，并假設(shè)手指與測(cè)量值之間存在線性關(guān)系。有人則在外骨骼的關(guān)節(jié)處使用旋轉(zhuǎn)電位器，但由于這種機(jī)械裝置無(wú)法覆蓋手指的工作空間和缺乏自由度，所以它們不可避免地存在缺點(diǎn)。

韓國(guó)實(shí)感交互人體感應(yīng)解決方案研究中心的研究人員提出了一種新穎的手部動(dòng)作捕捉可穿戴設(shè)備，利用3D磁性非接觸式傳感器來(lái)捕捉手指的全4自由度運(yùn)動(dòng)。

與早期嘗試實(shí)現(xiàn)手部交互的解決方案相比，他們的設(shè)備存在幾個(gè)優(yōu)點(diǎn)：第一，它忽略了運(yùn)動(dòng)追蹤期間自我遮擋的存在，因?yàn)橄到y(tǒng)是從磁傳感器讀取數(shù)據(jù);第二，機(jī)械裝置完全覆蓋了手指的運(yùn)動(dòng)范圍，從而能提供準(zhǔn)確的手指運(yùn)動(dòng)數(shù)據(jù);第三，研究人員的其中一個(gè)設(shè)計(jì)目標(biāo)是，以低成本提供準(zhǔn)確的手部交互方法。設(shè)備采用了簡(jiǎn)單的磁位置傳感器，而每個(gè)元件的成本約為1美元，因此整個(gè)機(jī)械裝置的制造成本預(yù)計(jì)低于200美元。

接下來(lái)，這支韓國(guó)團(tuán)隊(duì)研發(fā)了一個(gè)基于物理的虛擬交互模塊，它能夠校正因缺乏觸覺(jué)反饋而導(dǎo)致的真實(shí)手與虛擬手不匹配。Kim等人于2016提出了一種采用物理粒子的對(duì)象向狀態(tài)管理，但它主要是控制虛擬對(duì)象的姿態(tài)，沒(méi)有考慮運(yùn)動(dòng)學(xué)上的手部運(yùn)動(dòng)，從而有可能導(dǎo)致操縱錯(cuò)誤，例如手部穿透對(duì)象。研究團(tuán)隊(duì)提出了一種算法，其能夠在考慮物理可行性的情況下重建虛擬手勢(shì)，并提供多感官反饋以支持自然的感覺(jué)交互。

2. 系統(tǒng)描述

這種外骨骼是一款三指機(jī)械裝置，總共能提供12個(gè)自由度。每個(gè)手指的裝置能隨手指實(shí)現(xiàn)外展和內(nèi)收，基座處搭載了偏轉(zhuǎn)關(guān)節(jié)，而一個(gè)中間關(guān)節(jié)則用于支撐手指的彎曲和伸展，如圖2所示。

兩個(gè)3D磁傳感器位于第一和第四關(guān)節(jié)處。當(dāng)手指移動(dòng)時(shí)，完成初始校準(zhǔn)步驟后的系統(tǒng)將能以100Hz的速度下確定機(jī)械裝置的末端執(zhí)行器(指尖)的姿勢(shì)(位置和方向)。對(duì)象的真實(shí)長(zhǎng)度與兩指尖距離的誤差平均不足2毫米。優(yōu)化過(guò)程和逆運(yùn)動(dòng)學(xué)可以提供虛擬手指的配置以重新生成虛擬手部。設(shè)備搭載的Vive追蹤器則能帶來(lái)手部的全局定位與方向。

研究人員已經(jīng)根據(jù)所述機(jī)械裝置提供的數(shù)據(jù)，并利用渲染的手部運(yùn)動(dòng)來(lái)執(zhí)行物理模擬。特別地，為了提供觸摸感，振動(dòng)致動(dòng)器將附接到設(shè)備的每個(gè)指尖位置，并且每當(dāng)關(guān)聯(lián)對(duì)象檢測(cè)到碰撞時(shí)就產(chǎn)生觸覺(jué)反饋。研究人員使用Bullet Physics來(lái)進(jìn)行碰撞檢測(cè)，并在與對(duì)象接觸的手部表面上構(gòu)建一組粒子碰撞器以計(jì)算效率。他們通過(guò)求解一系列優(yōu)化問(wèn)題來(lái)減少由于運(yùn)動(dòng)學(xué)運(yùn)動(dòng)而引起的手與對(duì)象重疊，從而生成無(wú)穿透的手部姿勢(shì)。時(shí)間一致性同時(shí)幫助提供了穩(wěn)定的手部姿勢(shì)。

3. 展望未來(lái)

如圖3所示，研究人員設(shè)置了一個(gè)專注于需要對(duì)齊和平衡的對(duì)象的場(chǎng)景，而這需要精確的手部動(dòng)作。在未來(lái)，這支團(tuán)隊(duì)計(jì)劃整合新的觸覺(jué)致動(dòng)器和渲染引擎，從而實(shí)現(xiàn)更逼真的模擬。

來(lái)源：yivian