最佳論文榮譽(yù)提名

獲獎?wù)撐模篢owards Streaming Image Understanding

作者：Mengtian Li， Yu－Xiong Wang， and Deva Ramanan

機(jī)構(gòu)：卡內(nèi)基梅隆大學(xué)、阿爾戈 AI

簡介：具體化感知是指一個自主的主體感知其所處環(huán)境的能力，從而能夠（重新）行動。代理的響應(yīng)在很大程度上取決于其處理管道的延遲。雖然過去的工作已經(jīng)研究了算法在延遲和準(zhǔn)確度之間的權(quán)衡，但是還沒有一個明確的指標(biāo)來比較不同的方法沿著Pareto最優(yōu)的延遲精度曲線。

作者指出了標(biāo)準(zhǔn)離線評估和實(shí)時應(yīng)用程序之間的一個差異：當(dāng)一個算法完成對特定圖像幀的處理時，周圍的世界已經(jīng)發(fā)生了變化。為了達(dá)到這些目的，作者提出了一種方法，將延遲和準(zhǔn)確度統(tǒng)一到一個用于實(shí)時在線感知的指標(biāo)中，我們稱之為“流式準(zhǔn)確性”。此度量背后的關(guān)鍵見解是在每個時刻聯(lián)合評估整個perception堆棧的輸出，迫使堆棧考慮在進(jìn)行計(jì)算時應(yīng)忽略的流數(shù)據(jù)量。更廣泛地說，基于這個度量，作者引入了一個元基準(zhǔn)，它系統(tǒng)地將任何圖像理解任務(wù)轉(zhuǎn)換為流圖像理解任務(wù)。針對城市視頻流中的目標(biāo)檢測和實(shí)例分割，提出了一種具有高質(zhì)量和時間密集注釋的數(shù)據(jù)集。

本文提出的解決方案及其實(shí)證分析證明了許多令人驚訝的結(jié)論：

（1）在帕累托最優(yōu)延遲精度曲線上存在一個使流媒體準(zhǔn)確性最大化的最佳“最佳點(diǎn)”（sweet spot）

（2）異步跟蹤和未來預(yù)測自然而然地成為流媒體圖像的內(nèi)部表示形式理解

（3）動態(tài)調(diào)度可以用來克服時間混疊，產(chǎn)生一個矛盾的結(jié)果，即延遲有時被閑置和“無所事事”最小化。

論文第一作者 Mengtian Li 是一位來自卡內(nèi)基梅隆大學(xué)機(jī)器人研究所的博士生，曾獲得南京大學(xué)學(xué)士學(xué)位。他的研究興趣是計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)，特別對資源受限的深度學(xué)習(xí)和推理感興趣。

獲獎?wù)撐模篘eRF： Representing Scenes as Neural Radiance Fields for View Synthesis

作者： Ben Mildenhall， Pratul P． Srinivasan， Matthew Tancik， Jonathan T． Barron， Ravi Ramamoorthi， Ren Ng

機(jī)構(gòu)：加州大學(xué)伯克利分校、谷歌研究中心、加州大學(xué)圣地亞哥分校

簡介：本文提出了一種通過使用稀疏輸入視圖集優(yōu)化底層連續(xù)體積場景函數(shù)來獲得合成復(fù)雜場景新視圖的最新結(jié)果的方法。作者的算法使用一個完全連接（非卷積）的深網(wǎng)絡(luò)來表示場景，其輸入是一個連續(xù)的5D坐標(biāo)（空間位置（x，y，z）和觀察方向（θ，φ）），其輸出是該空間位置的體積密度和視景相關(guān)的發(fā)射輻射。本文通過查詢沿相機(jī)光線的5D坐標(biāo)來合成視圖，并使用經(jīng)典的體繪制技術(shù)將輸出的顏色和密度投影到圖像中。因?yàn)轶w繪制是自然可微的，所以優(yōu)化表現(xiàn)的唯一輸入是一組已知相機(jī)姿勢的圖像。作者描述了如何有效地優(yōu)化神經(jīng)輻射場，以渲染具有復(fù)雜幾何和外觀的真實(shí)感場景的新視圖，并展示了優(yōu)于先前神經(jīng)渲染和視圖合成的結(jié)果。

Koenderink 獎

Koenderink 獎是來表彰十年對計(jì)算機(jī)視覺領(lǐng)域做出巨大貢獻(xiàn)的經(jīng)典論文。今年 Koenderink 獎授予以下兩篇論文：

獲獎?wù)撐模篒mproving the Fisher Kernel for Large－Scale Image Classification

簡介：Fisher 內(nèi)核（FK）是一個通用框架，它結(jié)合了生成和區(qū)分方法的優(yōu)點(diǎn)。在圖像分類的背景下，F(xiàn)K 被證明超越了計(jì)數(shù)統(tǒng)計(jì)，擴(kuò)展了流行的視覺單詞包（BOV）。然而，在實(shí)踐中，這種豐富的代表性還沒有顯示出它優(yōu)于 BOV。

在第一部分中，作者展示了在原始框架的基礎(chǔ)上，通過一些動機(jī)良好的修改，可以提高 FK 的準(zhǔn)確性。在 PASCAL VOC 2007 上，將平均精度（AP）從 47．9％ 提高到 58．3％。同樣，作者在 CalTech 256 上展示了最先進(jìn)的精確度。一個主要的優(yōu)點(diǎn)是這些結(jié)果只使用 SIFT 描述符和無代價(jià)線性分類器獲得。有了這種表示法，現(xiàn)在可以在更大范圍內(nèi)探索圖像分類。

在第二部分中，作為一個應(yīng)用，作者比較了兩個豐富的標(biāo)記圖像資源來學(xué)習(xí)分類器：ImageNet 和 flickrgroups。在一項(xiàng)涉及數(shù)十萬個訓(xùn)練圖像的評估中，作者發(fā)現(xiàn)在 Flickr 組中學(xué)習(xí)的分類器表現(xiàn)得出奇地好（盡管它們并不是用于此目的），而且它們可以補(bǔ)充在更仔細(xì)注釋的數(shù)據(jù)集上學(xué)習(xí)的分類器。

獲獎?wù)撐模築rief：Binary robust independent elementary featueres

簡介：作者建議使用二進(jìn)制字符串作為一個有效的特征點(diǎn)描述符，稱之為 BRIEF。本文表明，即使使用相對較少的比特，它仍然具有很高的分辨力，并且可以通過簡單的強(qiáng)度差分測試來計(jì)算。此外，可以使用漢明距離來評估描述符相似度，這是非常有效的計(jì)算，而不是像通常所做的 L2 范數(shù)。因此，BRIEF 的構(gòu)建和匹配都非常快。作者將其與標(biāo)準(zhǔn)基準(zhǔn)測試中的 SURF 和 U－SURF 進(jìn)行了比較，結(jié)果表明它產(chǎn)生了相似或更好的識別性能，而運(yùn)行時間只需其中一個的一小部分。