一、方法架構(gòu)

本文的核心——模型未知的對(duì)抗路徑采樣器顯示如下，首先APS從路徑集P中采樣出一批路徑、并利用Speaker來(lái)得到復(fù)現(xiàn)的指令I(lǐng)。

對(duì)抗采樣器APS的學(xué)習(xí)架構(gòu)，其中Speaker表示用于生成導(dǎo)航指令的反向翻譯語(yǔ)言模型，而NAV表示導(dǎo)航模型。

在獲取路徑P和指令I(lǐng)后，模型的目標(biāo)就在于優(yōu)化導(dǎo)航損失函數(shù)。針對(duì)APS學(xué)習(xí)采樣的路徑，導(dǎo)航器并不能通過(guò)最大化導(dǎo)航損失來(lái)得到較好的性能。針對(duì)導(dǎo)航損失在導(dǎo)航模型NAV和APS之間會(huì)產(chǎn)生對(duì)抗的行為，APS不斷采樣出有挑戰(zhàn)性的路徑，同時(shí)NAV則嘗試著在APS申請(qǐng)的路徑中進(jìn)行導(dǎo)航完成任務(wù)。通過(guò)這種對(duì)抗方法，基于P和I生成的對(duì)抗增強(qiáng)數(shù)據(jù)將有效提升NAV的導(dǎo)航能力。在實(shí)際過(guò)程中，Speaker和導(dǎo)航器都通過(guò)原始數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，同時(shí)Speaker在對(duì)抗訓(xùn)練過(guò)程中參數(shù)保持固定。

在本文中，研究人員使用了回歸行為采樣器πAPS來(lái)采樣行為序列at（基于場(chǎng)景特征ft），并結(jié)合得到路徑輸出。其中ft表示從環(huán)境中抽取的視覺(jué)特征。對(duì)于全景輸入圖像來(lái)說(shuō)，ftj表示時(shí)間t時(shí)從視角j獲取的視覺(jué)特征。

對(duì)抗采樣器的架構(gòu)模型

模型首先利用LSTM對(duì)先前的視覺(jué)特征和上一步行為進(jìn)行編碼，而后基于歷史編碼和行為嵌入u來(lái)決定此時(shí)此刻需要采取的行為。APS模型中包含了一系列可學(xué)習(xí)的權(quán)重，具體可以在原文3．3部分找到詳細(xì)的理論描述。

在通過(guò)APS處理后，將得到的一系列導(dǎo)航歷史｛at｝和視覺(jué)特征｛ftj｝組建成路徑P。為了保持與原始訓(xùn)練數(shù)據(jù)的一致性（其導(dǎo)航路徑都是最短路徑），需要將APS采樣得到的路徑轉(zhuǎn)換為最小路徑。隨后通過(guò)Speaker模型為每一條采樣路徑P生成指令I(lǐng)，最終將得到增強(qiáng)過(guò)的數(shù)據(jù)對(duì)（P，I）。隨后通過(guò)“學(xué)生強(qiáng)制”的方法基于（P，I）來(lái)對(duì)導(dǎo)航模型進(jìn)行訓(xùn)練，其中訓(xùn)練損失以可以視為NAV在（P，I）下的性能指標(biāo)，損失越高性能越差。為了創(chuàng)造難度不斷增加的路徑來(lái)改善導(dǎo)航策略，研究人員將APS損失定義為了與LAN損失相關(guān)的表示：

由于APS與模型無(wú)關(guān)，它僅僅考慮導(dǎo)航模型訓(xùn)練損失而不關(guān)系模型架構(gòu)，所以這種機(jī)制可以被集成到任意的導(dǎo)航模型中去。

下面的算法展示了整個(gè)對(duì)抗路徑采樣器的訓(xùn)練過(guò)程，APS目標(biāo)是最大化導(dǎo)航損失以便創(chuàng)建盡可能困難的路徑，而NAV的目標(biāo)則是最小化導(dǎo)航損失以便進(jìn)行更好的導(dǎo)航。