在實(shí)際操作過程中，由于數(shù)據(jù)集中缺乏場景信息，我們對(duì)模型做了適當(dāng)?shù)恼{(diào)整。在世界模型中（對(duì)應(yīng)上圖的Interaction Net），我們僅使用了現(xiàn)有數(shù)據(jù)集，以及模型能夠提供的位置信息和跟蹤信息LSTM隱狀態(tài)信息。最終得到的模型結(jié)構(gòu)設(shè)計(jì)如下圖3所示：

圖3 競賽使用的基于世界模型的預(yù)測算法

整個(gè)模型基于Seq2Seq結(jié)構(gòu)，主要包含歷史軌跡編碼模塊（Encoder）、世界模型（Interaction Module）和解碼預(yù)測模塊（Decoder）三個(gè)部分。其中，編碼器的功能在于對(duì)行人歷史軌跡進(jìn)行編碼，主要提取行人在動(dòng)態(tài)環(huán)境中的運(yùn)動(dòng)模式；解碼器則是利用編碼器得到的行人運(yùn)動(dòng)模式特征，來預(yù)測他們未來的運(yùn)動(dòng)軌跡分布。

需要強(qiáng)調(diào)一下，在整個(gè)編碼與解碼的過程中，都需要對(duì)世界模型進(jìn)行實(shí)時(shí)更新（Update）與查詢（Query）兩種操作。更新操作主要根據(jù)時(shí)序的推進(jìn)，將行人的運(yùn)動(dòng)信息實(shí)時(shí)編入世界模型中；查詢操作則是根據(jù)全局的世界地圖以及行人的自身位置，來獲取行人當(dāng)前鄰域內(nèi)的環(huán)境特征。

圖4 編碼階段

在圖4中，展示了我們模型在歷史軌跡編碼階段的計(jì)算流程。編碼階段共有9個(gè)時(shí)刻，對(duì)應(yīng)9個(gè)歷史觀測時(shí)間點(diǎn)，每個(gè)時(shí)刻都執(zhí)行相同的操作。以 t 時(shí)刻為例。

首先，將 t 時(shí)刻的所有行人坐標(biāo)數(shù)據(jù)，包含：

位置集合

速度集合

所有行人跟蹤信息（上時(shí)刻編碼得到的LSTM隱狀態(tài)）

將以上信息輸入到世界模型中更新地圖信息，即Update操作。整個(gè)Update操作經(jīng)過MLP、MaxPooling以及GRU等模塊獲得一個(gè)全局的時(shí)空地圖特征R；然后，每個(gè)LSTM（對(duì)應(yīng)一個(gè)行人），使用其當(dāng)前觀測時(shí)刻的坐標(biāo)信息：

然后與R進(jìn)行Attention操作，得到個(gè)人領(lǐng)域內(nèi)的時(shí)空特征，最后與他的坐標(biāo)信息、上時(shí)刻隱狀態(tài)信息一并輸入到LSTM并更新LSTM內(nèi)置狀態(tài)。

解碼預(yù)測階段的流程與歷史軌跡編碼階段基本一致，但存在兩個(gè)細(xì)微的不同點(diǎn)：

區(qū)別1：編碼階段每個(gè)行人對(duì)應(yīng)的LSTM隱狀態(tài)的初始化為0；而解碼階段，LSTM由編碼階段的LSTM隱狀態(tài)和噪聲共同初始化。

區(qū)別2：編碼階段行人對(duì)應(yīng)的LSTM和世界模型使用的是行人歷史觀測坐標(biāo)；而解碼階段使用的是上時(shí)刻預(yù)測的行人坐標(biāo)。

圖5 解碼預(yù)測階段

四、數(shù)據(jù)預(yù)處理與后處理

為了對(duì)數(shù)據(jù)有更好的理解，便于使用更適合的模型，我們對(duì)訓(xùn)練數(shù)據(jù)做了一些預(yù)處理操作。首先，數(shù)據(jù)集給出了各個(gè)行人的行為標(biāo)簽，這些標(biāo)簽是根據(jù)規(guī)則得到的，由于我們采用了交互預(yù)測的方法，希望模型能自動(dòng)學(xué)習(xí)行人與周圍主體之間的位置關(guān)系、速度關(guān)系等，所以我們就不直接使用標(biāo)注中的“類型”信息；然后這次比賽的數(shù)據(jù)采集自馬路、校園等不同場景中行人的運(yùn)動(dòng)軌跡，場景之間的差異性非常大，訓(xùn)練集和測試集數(shù)據(jù)分布不太一致。

于是，我們做了數(shù)據(jù)的可視化工作，將所有軌跡數(shù)據(jù)的起點(diǎn)放置于坐標(biāo)軸的原點(diǎn)處，根據(jù)歷史觀測軌跡（前9個(gè)時(shí)刻）終點(diǎn)的位置朝向，將所有軌跡分為4類：沿左上方運(yùn)動(dòng)（top－left moving）、沿右上方運(yùn)動(dòng)（top－right moving）、沿左下方運(yùn)動(dòng)（bottom－left moving）和沿右下方運(yùn)動(dòng)（bottom－right moving）。分布的結(jié)果如圖6所示，可以發(fā)現(xiàn)，訓(xùn)練集和測試集的數(shù)據(jù)分布存在一定的差距。

圖6 訓(xùn)練集與測試集歷史觀測軌跡中行人運(yùn)動(dòng)方向分布