當AI機器人穿過房間時，它會經(jīng)過兩個沙發(fā)，一張咖啡桌和數(shù)張棕褐色椅子。在地毯打轉(zhuǎn)一番后，它朝研究人員所要求的鑰匙徑直走去。
但這實際上是Replica項目的一次數(shù)字模擬。對于這項研究，F(xiàn)acebook Reality Labs（FRL）針對18個樣本空間創(chuàng)建了照片級真實感的副本，如辦公室和雙層房屋。
為了幫助AI研究人員向機器提供真實物理世界的感知，F(xiàn)RL開發(fā)了所述的虛擬空間 ，而這是開發(fā)出更強大的現(xiàn)實助手，以及下一代增強現(xiàn)實和虛擬現(xiàn)實體驗的重要一步。Facebook的想法是，如果研究人員能夠訓練人工智能系統(tǒng)在一個逼真的數(shù)字客廳中定位一組虛擬鑰匙，機器人最終將能夠在真實房間中定位真實的鑰匙。如果AR/VR應用程序可以學習如何與不同的物理環(huán)境進行交互，未來我們將能夠通過照片級真實的數(shù)字化身來參加遠方親人的生日聚會。
研究人員相信，如果模擬環(huán)境能夠捕捉到細微的細節(jié)（如鏡面反射和地毯紋理），他們將能最大化訓練效果。這正式FRL開展Replica項目的原因。
這個視頻顯示了Replica模擬與真實世界空間（左邊是真實世界；右邊是數(shù)字副本）
“Relica數(shù)據(jù)集為真實空間的三維重建真實性和質(zhì)量設定了新標準。”FRL科學家朱利安·斯特拉布（Julian Straub）如是說道。斯特拉布曾在德國研讀了電子工程學，并在麻省理工學院獲得了計算機科學博士學位，然后加入FRL并專攻機器感知。首席科學家邁克爾·亞伯拉什則指出，F(xiàn)RL的使命是開發(fā)幫助AR和VR成為下一個計算平臺所需的技術。諸如Replica這樣的項目將在實現(xiàn)這一愿景的過程中發(fā)揮重要作用。
這是FRL創(chuàng)建的一個數(shù)字Replica環(huán)境
Replica精確性和保真度得益于精心設計的攝像裝置，深度捕獲系統(tǒng)，SLAM系統(tǒng)，以及密集重建系統(tǒng)的有機組合。利用以紅外線投射到場景中的點，F(xiàn)RL的高精度深度捕獲系統(tǒng)能夠捕獲桌子和椅子等大型物體和遙控器等小型物體的精確形狀。
定制的SLAM和密集重建系統(tǒng)可以將攝像裝置捕獲的原始視頻流轉(zhuǎn)換為真實空間的副本，而即使是最為細心的用戶都難以區(qū)分真假。（更多細節(jié)請參閱Replica數(shù)據(jù)集白皮書，以及團隊于2018 SIGGRAPH大會的演講介紹 ）。
研究人員在陌生的Relica環(huán)境生成了一個虛擬機器人。位置隨機（藍點），然后它將要導航到目的地（紅點）。研究人員向機器人給出相對于其起始位置的指令，例如“向北10米和向西15米” ，但不提供地圖。機器人必須僅利用感官輸入（常規(guī)RGB攝像頭，某些情況包括深度攝像頭）來完成目標。
1. 一小時內(nèi)練習數(shù)百萬次任務
Replica可以加載到AI Habitat。AI Habitat由Facebook AI開發(fā)，是一個用于具現(xiàn)AI研究的全新開源平臺，同時旨在成為研究人員在模擬空間中訓練和測試AI機器人的最強大和最靈活方式。AI Habitat允許研究人員將機器人置放于Replica環(huán)境中，并學習如何處理不同的任務，比方說“看看我的筆記本電腦是否放在廚房的桌面上”。這種任務對于人類來說非常簡單，但機器人則不然，因為它們必須識別對象，理解語言，并有效地進行導航。今天的機器人（如智能掃地機）可以響應命令，但無法像人類那樣理解和適應周圍的世界。AI Habitat可以幫助研究人員開發(fā)能夠理解物理世界的機器人。但它同時是創(chuàng)造下一代AR體驗的重要研究工具。如果我們能夠訓練AI系統(tǒng)理解你周圍的物理空間，未來有一天我們或許可以將它融入至AR眼鏡。例如，它可以將你奶奶的數(shù)字副本逼真地置放于沙發(fā)之上，或者當你走過餐館或商店時顯示相關的用戶評價。
Replica提供了逼真的3D數(shù)據(jù)，而AI Habitat則為模擬提供了速度和靈活度。盡管其他模擬引擎通常能夠以每秒50幀到100幀的速度運行，但AI Habitat的運行速度超過每秒10000幀（單個GPU的多進程）。這使得研究人員能夠更加快速地測試機器人。如果說另一個模擬器需要運行數(shù)個月的時間，Habitat只需數(shù)小時即可完成。Facebook AI研究實習生、佐治亞理工學院博士后埃里克·韋杰曼斯（Erik Wijmans），以及AI Resident巴瓦納·杰恩（Bhavana Jain）利用這個系統(tǒng)來進行最先進的研究，用超過10億幀的體驗來訓練機器人。虛擬機器人同時可以不斷犯錯，但無需擔心損壞的風險，如撞墻摔倒等等。
Facebook現(xiàn)在已經(jīng)開源了AI Habitat并發(fā)布Replica數(shù)據(jù)集，所以社區(qū)中的任何人都能夠以其作為基礎進行探索，嘗試新方法，比較結果并從其他人的研究中學習。（關于Habitat的技術細節(jié)請訪問這個頁面，Replica環(huán)境則托管至GitHub。）。Facebook表示，不同企業(yè)和組織的研究人員之間的信息公開共享是自然語言理解，計算機視覺等人工智能技術進步的關鍵，而Facebook AI和FRL相信這對AI Habitat和Replica而言同樣如此。
為了建立可供所述領域中的所有人使用的性能基準，F(xiàn)acebook AI最近組織了一次Habitat Challenge挑戰(zhàn)賽，邀請來自AI社區(qū)的工程師和研究人員為機器人完成特定導航任務尋找最佳的方式。
Replica數(shù)據(jù)集數(shù)能夠識別并標記在虛擬空間中確定的對象，為不同類別的對象分配不同的顏色，如“椅子”或“墻壁”。AI研究人員可以利用這種“語義分段”數(shù)據(jù)來開發(fā)出更智能的系統(tǒng)。
Habitat團隊負責人、Facebook人工智能研究科學家兼喬治亞理工學院教授領杜魯弗·巴特拉（Dhruv Batra）認為，這種技術有朝一日可以幫助機器人學會如何智能地適應現(xiàn)實世界，不再僅僅局限于我們的智能手機或筆記本電腦。他與同事將其描述為從“互聯(lián)網(wǎng)人工智能”變成“具身化人工智能”。這意味著在訓練機器不僅要利用靜態(tài)數(shù)據(jù)集（如汽車照片），同時需要采用交互式環(huán)境（如充滿模擬汽車的模擬停車場）。巴特拉和眾多AI研究人員都認為，這種交互式對于構建能夠在物理世界和數(shù)字世界中幫助我們的全新智能工具浪潮而言非常有必要。
2. 打造能夠創(chuàng)建“社交臨場感”的工具
利用AI Habitat等開放式平臺模擬來訓練系統(tǒng)，研究人員可以在具身化人工智能技術方面取得進展。例如，巴特拉認為未來的工具可以幫助視障人士更好地導航周遭環(huán)境。
FRL研發(fā)總監(jiān)理查德·紐科姆（Richard Newcombe）指出，其中一個令人興奮不已的應用是將“社交臨場感”帶到物理世界。今天的虛擬現(xiàn)實能夠允許用戶與數(shù)百公里之外的朋友共享虛擬空間。紐科姆正致力于通過通過AR眼鏡為體驗帶來進一步的逼真感，并在日常生活中實現(xiàn)社交臨場感。有了這項技術，朋友和家人在未來將能以萊雅公主般的逼真全息圖出現(xiàn)在你身邊。為了創(chuàng)造這種社交臨場感，AI系統(tǒng)需要支持數(shù)字化身自然而逼真地來與物理空間進行交互，或者能夠?qū)⒛銈魉椭烈粋€仿如真實的模擬環(huán)境。
紐科姆解釋說：“就像FRL在研究虛擬人類時所實現(xiàn)的人類臨場感捕獲與傳輸一樣，我們的重建研究能夠?qū)崿F(xiàn)仿佛置身于一個地方的感覺，如辦公室，家里，商店，博物館或咖啡店。”這位Facebook的研究人員熱衷于開發(fā)能夠感知和理解世界情景的技術。他16歲就開始涉足這個領域，并在埃塞克斯大學攻讀機器人，計算機視覺和機器學習，并于倫敦帝國理工學院獲得了博士學位。他于四年前加入Facebook，然后開始領先致力于實現(xiàn)AI和XR應用程序機器感知未來的研究和孵化團隊。Replica的面世是實現(xiàn)這一目標的重要一步。
另一個Replica環(huán)境能夠捕獲諸如電源插座和書柜玻璃門背后的物體等細節(jié)。
3. 一種負責任的開源方式
打造諸如社交臨場感之類的體驗將需要硬件方面的突破，以及Replica和AI Habitat等訓練資源的持續(xù)進步。但紐科姆指出，這同時存在重要的隱私和安全考量。
他指出：“我們必須孜孜不倦的地生成重建，場景理解，以及AI推理系統(tǒng)。”。研究人員和工程師，以及外部專家和公眾需要通過合作來解決變革性技術對社會和個人的影響。要做到這一點，企業(yè)必須保持公開透明的態(tài)度，并分享最新的進展。在F8大會，F(xiàn)acebook介紹了最近關于道德設計和解決偏見的研究，而這對于AR體驗和具身化AI的研究進展非常重要。
對于Replica掃描，研究人員將匿名數(shù)據(jù)，刪除可識別個人的任何詳細信息（例如家庭照片）。在構建這種3D重建技術時，F(xiàn)RL研究人員同時需要確保這是一個強大的安全系統(tǒng)。例如，數(shù)據(jù)安全地存儲在服務器中，而且只有有限數(shù)量的研究人員能夠訪問。另外，團隊定期與隱私，安全和系統(tǒng)方面的專家進行聯(lián)合審查，從而確保他們遵循相關安全協(xié)議并實施最新和最嚴格的保障措施。只有在完成所述步驟后，他們才會向更廣泛的研究社區(qū)提供掃描數(shù)據(jù)。
在AR社交臨場感和高級AI助手等技術成為現(xiàn)實之前，我們需要更多的技術突破。例如，F(xiàn)acebook AI研究人員正在探索通過AI Habitat構建逼真物理建模的方法，從而幫助AI機器人理解當它碰到虛擬桌面上的虛擬玻璃杯時會發(fā)生什么情況。隨著這個項目的開展，Replica和AI Habitat的研究人員相信它們將在Facebook的未來中發(fā)揮重要作用。通過實現(xiàn)下一代具身化AI，這種技術將能釋放AR眼鏡的潛力，并幫助人們更好地理解周遭的世界，同時以強大的新方式幫助人類進行溝通和協(xié)作。
紐科姆最后說道：“通過將AR眼鏡作為一個平臺，社交臨場和AI助手將能幫助你實現(xiàn)最高的效率，并為你呈現(xiàn)你所希望看到的世界。”
原文鏈接：https://yivian.com/news/62369.html
來源：映維網(wǎng)
