來(lái)源：映維網(wǎng)  作者 夢(mèng)秋

控制器是XR的重要交互方式，同時(shí)是體驗(yàn)沉浸式的關(guān)鍵一環(huán)。所以，如何精確地映射追蹤控制器成為了各家廠商積極研究的課題。

日前，美國(guó)專(zhuān)利商標(biāo)局公布了一份Facebook于2019年5月提交的控制器追蹤技術(shù)專(zhuān)利申請(qǐng)，其介紹了一種包含視場(chǎng)追蹤器和非視場(chǎng)追蹤器的控制器追蹤系統(tǒng)。

對(duì)于Quest等采用內(nèi)向外追蹤的VR一體機(jī)而言，控制器追蹤是一個(gè)巨大的挑戰(zhàn)，因?yàn)閿z像頭是嵌入至頭顯而非擺在外部，所以紅外LED的檢測(cè)和追蹤變得相當(dāng)困難。再加上控制器追蹤圓環(huán)容易被遮擋或離開(kāi)頭顯攝像頭視場(chǎng)，所以問(wèn)題正在成倍地增加。

名為“Multi-Layered Artificial Reality Controller Pose Tracking Architecture Having Prioritized Motion Models（具有優(yōu)先運(yùn)動(dòng)模型的多層人造現(xiàn)實(shí)控制器姿態(tài)追蹤架構(gòu)）”的Facebook專(zhuān)利申請(qǐng)主要介紹了一種包括視場(chǎng)追蹤器和非視場(chǎng)追蹤器的控制器追蹤系統(tǒng)。

具體來(lái)說(shuō)，當(dāng)可在傳感器/攝像頭的視場(chǎng)內(nèi)追蹤控制器時(shí)，系統(tǒng)可以根據(jù)傳感器/攝像頭提供的圖像數(shù)據(jù)來(lái)確定其姿態(tài)，亦即以視場(chǎng)追蹤器的方式來(lái)追蹤控制器。

當(dāng)不可在傳感器/攝像頭視場(chǎng)內(nèi)追蹤控制器時(shí)（如控制器離開(kāi)攝像頭視場(chǎng)），或者如果控制器被視場(chǎng)的另一個(gè)對(duì)象遮擋時(shí)，系統(tǒng)可以利用其他數(shù)據(jù)和運(yùn)動(dòng)模型來(lái)確定控制器的姿態(tài)。

例如，控制器追蹤子系統(tǒng)可以具有兩個(gè)組件，一個(gè)視場(chǎng)追蹤組件（Constellation追蹤組件）和一個(gè)非視場(chǎng)追蹤組件（“Corner-Case”追蹤組件）。

特別是，在典型操作條件下，視場(chǎng)追蹤器接收用于頭顯的狀態(tài)數(shù)據(jù)和控制器的控制器狀態(tài)數(shù)據(jù)（速度、加速度等），以計(jì)算控制器的估計(jì)姿態(tài)。如果控制器可追蹤（如在視場(chǎng)范圍內(nèi)且未被遮擋），則使用視場(chǎng)追蹤器計(jì)算的姿態(tài)，并繞過(guò)非視場(chǎng)追蹤器。如果控制器在視場(chǎng)內(nèi)不可追蹤，并且控制器狀態(tài)數(shù)據(jù)滿(mǎn)足一個(gè)或多個(gè)角點(diǎn)追蹤情況的激活條件，則非視場(chǎng)追蹤器應(yīng)用一個(gè)或多個(gè)專(zhuān)門(mén)的運(yùn)動(dòng)模型來(lái)計(jì)算控制器的控制器姿態(tài)。

Corner-Case是指不易追蹤控制器的情況，這包括：控制器的位置不可靠以及控制器處于靜止?fàn)顟B(tài)，控制器離開(kāi)傳感器/攝像頭視場(chǎng)；控制器被遮擋等等。每個(gè)Corner-Case可以具有確定是否評(píng)估與激活條件相關(guān)聯(lián)的運(yùn)動(dòng)模型的激活和停用條件。在顯示幀生成周期中，可以激活多個(gè)Corner-Case的行為。通過(guò)評(píng)估與最高優(yōu)先級(jí)行為相關(guān)的激活模型而得到的控制器狀態(tài)數(shù)據(jù)，其可用于確定控制器的姿態(tài)。

然后，所得到的控制器姿態(tài)可用于通過(guò)人造現(xiàn)實(shí)系統(tǒng)提供更精確的內(nèi)容渲染。

在一個(gè)或多個(gè)進(jìn)一步的示例中，一種方法包括：圖像捕捉組件獲取表示物理環(huán)境的圖像數(shù)據(jù)；通過(guò)非視場(chǎng)追蹤器根據(jù)與手持控制器的不同運(yùn)動(dòng)行為相關(guān)聯(lián)的多個(gè)運(yùn)動(dòng)模型的運(yùn)動(dòng)模型來(lái)確定控制器狀態(tài)數(shù)據(jù)。其中，每個(gè)運(yùn)動(dòng)模型與一個(gè)或多個(gè)相應(yīng)激活條件相關(guān)聯(lián)。

根據(jù)運(yùn)動(dòng)模型確定控制器狀態(tài)數(shù)據(jù)是響應(yīng)于確定控制器在圖像數(shù)據(jù)中不可追蹤，并且指示用于控制器運(yùn)動(dòng)行為的控制器測(cè)量數(shù)據(jù)滿(mǎn)足一個(gè)或多個(gè)激活條件。

相關(guān)專(zhuān)利：Facebook Patent | Multi-Layered Artificial Reality Controller Pose Tracking Architecture Having Prioritized Motion Models

名為“Multi-Layered Artificial Reality Controller Pose Tracking Architecture Having Prioritized Motion Models（具有優(yōu)先運(yùn)動(dòng)模型的多層人造現(xiàn)實(shí)控制器姿態(tài)追蹤架構(gòu)）”的Facebook專(zhuān)利申請(qǐng)最初在2019年5月提交。

值得一提的是，F(xiàn)acebook曾撰文介紹了Quest的內(nèi)向外追蹤系統(tǒng)優(yōu)化過(guò)程。詳細(xì)請(qǐng)閱讀下面的鏈接：

延伸閱讀：Oculus分享：為挑戰(zhàn)性環(huán)境優(yōu)化6DoF控制器追蹤

延伸閱讀：深入探索Oculus Insight如何提高追蹤保真度，確保內(nèi)向外追蹤系統(tǒng)性能

延伸閱讀：Oculus揭秘Touch控制器追蹤技術(shù)：LED 匹配

原文鏈接：https://news.nweon.com/81057