畫
隨著越來越多的機器人進入各種復(fù)雜的環(huán)境，研究人員正在努力使它們與人類的交互盡可能流暢自然。訓(xùn)練機器人對口頭指令立即做出反應(yīng)，例如“拿起玻璃并向右移動”，在許多情況下都是理想的，因為這最終會使人類和機器人之間的交互更加直接和直觀。然而，這并不總是容易的，因為它需要機器人理解用戶的指令，還需要知道如何根據(jù)特定的空間關(guān)系移動對象。
德國弗賴堡大學(xué)的研究人員最近設(shè)計了一種新方法，通過對“幻覺”場景的表征進行分類，教會機器人根據(jù)人類用戶的指令移動物體。他們預(yù)先發(fā)表的關(guān)于arXiv的論文將于今年6月在IEEE機器人和自動化國際會議(ICRA)上發(fā)表。
“在我們的工作中，我們專注于相關(guān)對象的放置指令，如‘將杯子放在盒子的右側(cè)’或‘將黃色玩具放在盒子的頂部’。”參與這項研究的研究人員之一Oier Mees告訴TechXplore。“為了做到這一點，機器人需要考慮將杯子相對于盒子或任何其他參考對象放在哪里，以再現(xiàn)用戶描述的空間關(guān)系。”
訓(xùn)練機器人理解空間關(guān)系并相應(yīng)地移動物體是非常困難的，因為用戶的指令通常不會在機器人觀察的更大場景中描繪特定位置。換句話說，如果一個人類用戶說“把杯子放在手表左側(cè)”，機器人應(yīng)該把杯子放在手表左側(cè)多遠，不同方向之間的確切界限在哪里(例如，右、左、前、后等。)?
“由于這種固有的模糊性，沒有可用于學(xué)習(xí)空間關(guān)系建模的基本事實或‘正確’數(shù)據(jù)。”Mees說，“我們從輔助學(xué)習(xí)的角度解決了空間關(guān)系的基于事實的像素標注不可用的問題。”
Mees和他的同事設(shè)計的方法背后的主要思想是，更容易確定兩個物體和代表它們被發(fā)現(xiàn)的環(huán)境的圖像之間的空間關(guān)系。這使得機器人能夠檢測一個物體是否在另一個物體的左側(cè)、上方、前方等等。
雖然識別兩個對象之間的空間關(guān)系并不能指定這些對象應(yīng)該放在哪里來重現(xiàn)這種關(guān)系，但是在場景中插入其他對象可以讓機器人推斷出在多個空間關(guān)系中的分布。將這些不存在的(即虛幻的)物體添加到機器人所看到的東西中，將允許它在執(zhí)行給定動作(即在桌面上的特定位置或其前方放置一個物體)時評估場景的外部環(huán)境。
“最常見的情況是，在圖像中實際‘粘貼’一個對象需要訪問3D模型和輪廓，或者仔細設(shè)計一個優(yōu)化過程來生成對策網(wǎng)絡(luò)(GANs)。”米斯說，“此外，簡單地‘粘貼’圖像中的對象會產(chǎn)生微妙的像素偽像，導(dǎo)致明顯不同的特征，并使訓(xùn)練錯誤地專注于這些差異。我們使用一種不同的方法，將物體的高級特征植入卷積神經(jīng)網(wǎng)絡(luò)生成的場景特征圖中，從而對場景表征產(chǎn)生錯覺，并將其歸類為輔助任務(wù)，以獲得學(xué)習(xí)信號。”
在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)學(xué)習(xí)基于錯覺物體的空間關(guān)系之前，研究人員必須確保它能夠根據(jù)單個圖像對單個物體對之間的關(guān)系進行分類。隨后，他們“欺騙”了這個名為RelNet的網(wǎng)絡(luò)，通過在不同的空間位置植入高級別的物體特征，對“幻覺”場景進行分類。
“我們的方法允許機器人在最少的數(shù)據(jù)收集或靈感的情況下，遵循人類用戶給出的自然語言放置指令。”米斯說，“每個人都希望家里有一個服務(wù)機器人，它可以通過理解自然語言指令來執(zhí)行任務(wù)。這是機器人更好地理解公共空間的意義的第一步。”
現(xiàn)有的訓(xùn)練機器人移動物體的方法大多是利用與物體三維形狀相關(guān)的信息來模擬成對的空間關(guān)系。這些技術(shù)的一個關(guān)鍵限制是它們通常需要額外的技術(shù)組件，例如可以跟蹤不同物體運動的跟蹤系統(tǒng)。另一方面，Mees和他的同事提出的方法不需要任何額外的工具，因為它不是基于3D視覺技術(shù)。
研究人員在一系列涉及真實用戶和機器人的實驗中評估了他們的方法。這些測試的結(jié)果非常有希望，因為他們的方法可以使機器人根據(jù)人類用戶語音指令描述的空間關(guān)系，有效地識別出在桌子上放置物體的最佳策略。
“幻覺場景代表我們的新穎方法也可以應(yīng)用于機器人和計算機視覺社區(qū)，因為機器人通常需要能夠估計未來狀態(tài)的良好程度，以便推斷它們需要采取的行動。”米斯說。“通過使用幻覺場景表示作為數(shù)據(jù)增強的一種形式，它還可以用于提高許多神經(jīng)網(wǎng)絡(luò)的性能，如對象檢測網(wǎng)絡(luò)。”
Mees和他的同事可以可靠地建立一組自然語言空間單詞的模型(如右、左、上等。)而不使用3D可視化工具。未來，他們研究中提出的方法可以用來提高現(xiàn)有機器人的能力，使它們能夠更有效地完成簡單的物體移動任務(wù)，并遵循人類用戶的語音指令。
同時，他們的論文也可以為開發(fā)類似技術(shù)提供參考，以增強人類和機器人在其他物體操作任務(wù)中的交互。如果加入輔助學(xué)習(xí)方法，Mees和他的同事開發(fā)的方法也可以減少機器人研究數(shù)據(jù)集編譯相關(guān)的成本和工作，因為它可以在沒有大型標注數(shù)據(jù)集的情況下預(yù)測像素概率。
米斯總結(jié)道:“我們認為這是人類和機器人達成共識的充滿希望的第一步。”“未來，我們希望將我們的方法擴展到包括對參考表達式的理解，以便開發(fā)一個遵循自然語言指令的拾取和放置系統(tǒng)。”