感知系統(tǒng)對于自動駕駛來說，就像是眼睛和翻譯官的角色。這套系統(tǒng)不僅要捕捉到周圍環(huán)境的光影信號，更需要將這些支離破碎的像素點(diǎn)轉(zhuǎn)化為計(jì)算機(jī)能夠理解的物理實(shí)體。

在過去很長一段時(shí)間里，行業(yè)內(nèi)主流的感知方案是基于目標(biāo)檢測的思維方式，也就是在三維空間中尋找特定的物體，并用一個(gè)緊湊的長方體框?qū)⑺鼈內(nèi)Χǔ鰜怼＿@種被稱為“3D目標(biāo)檢測”的方法在處理常見的汽車、行人和自行車時(shí)表現(xiàn)得非常高效，它能告訴車輛前方有一輛多少米長、多少米寬的小轎車。

然而，現(xiàn)實(shí)交通環(huán)境的復(fù)雜程度遠(yuǎn)超實(shí)驗(yàn)室里預(yù)定義的標(biāo)簽庫。當(dāng)?shù)缆飞铣霈F(xiàn)一輛側(cè)翻的油罐車、一個(gè)散落的紙箱，或者是一個(gè)伸出吊臂的起重機(jī)時(shí)，傳統(tǒng)的畫框式算法就會顯得捉襟見肘，因?yàn)檫@些東西的形狀極不規(guī)則，很難用一個(gè)標(biāo)準(zhǔn)的方盒子去準(zhǔn)確描述。

為了解決這些“不在名單上”的風(fēng)險(xiǎn)，占用網(wǎng)絡(luò)應(yīng)運(yùn)而生。它不再嘗試去辨認(rèn)每個(gè)物體的具體身份，而是將整個(gè)物理世界切分成無數(shù)個(gè)微小的、邊長通常只有十幾厘米的立方體，這些小方塊被稱為“體素”。

占用網(wǎng)絡(luò)只需要判斷每一個(gè)體素是否被物理實(shí)體所占據(jù)。這種從“物體檢測”到“空間占據(jù)預(yù)測”的邏輯轉(zhuǎn)變，讓自動駕駛系統(tǒng)具備了識別任何形狀障礙物的能力。

傳統(tǒng)視覺感知有何痛點(diǎn)？

在深入探討占用網(wǎng)絡(luò)之前，有必要先厘清下傳統(tǒng)感知方案在面對異形物體時(shí)的痛點(diǎn)。早期的自動駕駛算法高度依賴“分類”邏輯，也就是系統(tǒng)必須先知道一個(gè)東西是什么，才能確定它在哪。這種邏輯在處理“本體裂紋”或“語義裂縫”時(shí)非常脆弱。

舉個(gè)例子，如果一個(gè)算法的訓(xùn)練集里全都是標(biāo)準(zhǔn)的貨車，當(dāng)它在路上遇到一輛拉著長木材、木材向后延伸出車廂數(shù)米的拖掛車時(shí)，系統(tǒng)可能只會把車頭和車廂識別為一個(gè)長方體，而忽略掉那些向外延伸的木材。

對于自動駕駛汽車來說，這種對空間理解的缺失是非常致命的，因?yàn)檫@意味著規(guī)劃器可能會認(rèn)為車后方的空間是空的，從而在變道時(shí)發(fā)生碰撞。

此外，傳統(tǒng)3D目標(biāo)檢測還存在著形狀剛性的挑戰(zhàn)。它嘗試用一個(gè)長、寬、高固定的立方體去套住所有物體，但在現(xiàn)實(shí)中，很多障礙物是可變形的或者是中空的。

像是一輛正在施工的灑水車，它噴出的水霧在視覺上可能很模糊，或者一輛造型奇特的工程車，其吊臂懸浮在半空中。傳統(tǒng)的方盒子無法描述這種“懸空”或“非連續(xù)”的物理占據(jù)，就會將吊臂下方的空地也標(biāo)記為不可通行，或者干脆完全漏掉懸空的吊臂。

這種對空間細(xì)節(jié)的粗糙處理，使得車輛在復(fù)雜的城市窄路或施工區(qū)域行駛時(shí)，表現(xiàn)得畏首畏尾或者極度危險(xiǎn)。

視覺感知還有一個(gè)固有缺陷是深度信息的缺失。雖然我們可以通過算法將二維圖像轉(zhuǎn)化為三維坐標(biāo)，但在遠(yuǎn)距離場景下，這種轉(zhuǎn)化的誤差會呈指數(shù)級增長。僅靠幾個(gè)像素點(diǎn)的變化來推斷地平線上一個(gè)物體的距離是非常不可靠的。激光雷達(dá)雖然能通過物理反射解決距離問題，但其成本限制了自動駕駛的大規(guī)模普及。

在這種背景下，如何用廉價(jià)的攝像頭實(shí)現(xiàn)媲美激光雷達(dá)的空間建模能力，成為了感知技術(shù)演進(jìn)的核心驅(qū)動力。占用網(wǎng)絡(luò)正是在這種需求下，通過將感知空間從二維平面提升到三維體素，為純視覺方案補(bǔ)齊了最后一塊短板。

占用網(wǎng)絡(luò)的是如何實(shí)現(xiàn)場景理解的？

占用網(wǎng)絡(luò)的核心理念是將車輛周圍的物理空間徹底“數(shù)字化”。它不再嘗試去理解具體的物體語義，而是將感知的焦點(diǎn)回歸到最原始的問題，這個(gè)點(diǎn)上到底有沒有東西。

為了實(shí)現(xiàn)這一點(diǎn)，系統(tǒng)會通過環(huán)視攝像頭捕獲360度的圖像數(shù)據(jù)，然后利用特征提升，將這些二維的像素特征映射到一個(gè)三維的向量空間中。

在這個(gè)過程中，Transformer架構(gòu)起到了至關(guān)重要的作用。它像是一組敏銳的探測波，在三維空間中進(jìn)行“位置查詢”，通過注意力機(jī)制去尋找不同視角的圖像中哪些像素點(diǎn)指向了同一個(gè)物理空間點(diǎn)，從而在系統(tǒng)內(nèi)部構(gòu)建起一個(gè)密集的、充滿了特征信息的立體網(wǎng)格。

這種體素化的表示方法與傳統(tǒng)的點(diǎn)云數(shù)據(jù)有著異曲同工之妙，但它比點(diǎn)云更進(jìn)一步。點(diǎn)云僅僅是物體的表面反射點(diǎn)，而占用網(wǎng)絡(luò)生成的體素網(wǎng)格是連續(xù)的、稠密的。它不僅記錄了物體的表面，還隱含了空間的占據(jù)狀態(tài)。

特斯拉的占用網(wǎng)絡(luò)可以在大約10毫秒內(nèi)完成一次全局的空間預(yù)測，這個(gè)速度遠(yuǎn)超人類的反應(yīng)極限。它會將世界劃分為一個(gè)個(gè)極小的立方體，并為每個(gè)立方體賦予一個(gè)“占據(jù)概率”。如果某個(gè)位置的占據(jù)概率超過了設(shè)定的閾值，規(guī)劃器就會將其視為障礙物，從而在路徑搜索中自動繞開該區(qū)域。

值得一提的是，占用網(wǎng)絡(luò)在提升空間分辨率方面也有一套精妙的算法。由于車載芯片的內(nèi)存和算力是有限的，系統(tǒng)不可能對所有的空間都進(jìn)行同樣精細(xì)的劃分。

因此，先進(jìn)的算法會采用“按需分配”的策略，在靠近車輛行駛路徑的區(qū)域，體素劃分得非常細(xì)致，足以看清路面上一個(gè)小小的路障；而在遠(yuǎn)離車輛或者天空中不影響行駛的區(qū)域，則使用較粗的網(wǎng)格以節(jié)省計(jì)算資源。

這種“分辨率在關(guān)鍵處發(fā)力”的設(shè)計(jì)，使得占用網(wǎng)絡(luò)能夠在實(shí)時(shí)性與準(zhǔn)確性之間找到完美的平衡點(diǎn)。

為了確保預(yù)測的準(zhǔn)確性，現(xiàn)代占用網(wǎng)絡(luò)還會引入時(shí)序融合機(jī)制。它不只是根據(jù)當(dāng)前的一幀畫面做判斷，還會參考過去幾十毫秒甚至幾百毫秒的特征流。這種跨時(shí)間的特征比對，不僅能過濾掉單幀圖像中可能出現(xiàn)的噪點(diǎn)，還能讓系統(tǒng)感知到物體是如何在三維空間中移動的。

這種時(shí)空的交織，讓車輛不僅擁有“立體感”，還擁有了某種程度上的“物理常識”。如當(dāng)系統(tǒng)看到一組體素正在向前快速移動時(shí)，它能通過歷史數(shù)據(jù)的一致性判斷出這大概率是一個(gè)動態(tài)的交通參與者，而不是路邊靜止的建筑殘骸。

占用網(wǎng)絡(luò)如何解決“看不見的風(fēng)險(xiǎn)”？

占用網(wǎng)絡(luò)最引以為傲的能力，就是它對“長尾障礙物”或異形物體有極高魯棒性。在傳統(tǒng)的自動駕駛邏輯中，異形物體幾乎就是“無法識別”的。但是因?yàn)檎加镁W(wǎng)絡(luò)本質(zhì)上是在做三維空間的幾何重構(gòu)，它對物體的外觀、顏色或者類別完全不敏感。它只關(guān)心一點(diǎn)，如果在一個(gè)特定的空間坐標(biāo)上，攝像頭觀察到了持續(xù)的視覺遮擋和特征反饋，那么這個(gè)空間就是“被占據(jù)”的。

這就好比在黑夜中用手摸索前方的障礙。傳統(tǒng)算法像是必須通過手感猜出摸到的是椅子還是桌子才能避開，而占用網(wǎng)絡(luò)則只要發(fā)現(xiàn)手伸不過去，就立刻認(rèn)定那里有東西。

這種“幾何優(yōu)先”的思維方式徹底解決了語義裂縫問題。無論障礙物是一輛翻倒的灑水車、一堆凌亂的建筑材料，還是一棵橫在路中央的斷樹，占用網(wǎng)絡(luò)都能精準(zhǔn)地描繪出它們在三維空間中的實(shí)際輪廓，而不會像傳統(tǒng)算法那樣，試圖用長方體去強(qiáng)行套住這些形狀奇詭的東西。

此外，占用網(wǎng)絡(luò)對于處理“懸空障礙物”具有天然的優(yōu)勢。這是BEV（鳥瞰圖）技術(shù)在升維過程中最容易遺失的信息。在傳統(tǒng)的BEV架構(gòu)下，所有東西都被壓扁到了一個(gè)二維的地平面上，系統(tǒng)很難區(qū)分一個(gè)物體到底是長在地上，還是懸在空中。

而占用網(wǎng)絡(luò)通過在Z軸（高度軸）上的多層體素劃分，可以清晰地識別出路面上的隔離帶和橫跨路面的限高桿之間的空間差異。它能告訴車輛，底盤可以安全通過某些低矮的坑洼，但車頂可能會撞上前方低垂的樹枝。這種全方位的幾何理解，讓自動駕駛汽車在應(yīng)對復(fù)雜的施工現(xiàn)場或不規(guī)則的立交橋下空間時(shí)，具備類似人類駕駛員的直覺。

此外，占用網(wǎng)絡(luò)還具備卓越的“腦補(bǔ)”能力，這在處理遮擋問題時(shí)尤為關(guān)鍵。當(dāng)一輛大貨車遮擋住了后方的部分視野時(shí)，傳統(tǒng)的點(diǎn)云方案只能看到貨車的側(cè)面，而無法知道貨車后面是否還藏著其他東西。

占用網(wǎng)絡(luò)通過深度學(xué)習(xí)積累的幾何先驗(yàn)，可以在一定程度上預(yù)測被遮擋區(qū)域的占據(jù)狀態(tài)，并將這些預(yù)測信息提供給下游的避障算法。這種對未知空間的防御性建模，極大地提升了車輛在十字路口或視線受阻區(qū)域行駛時(shí)的安全性。

占用流如何實(shí)現(xiàn)預(yù)測能力？

如果說三維體素解決了空間識別的問題，那么“占用流”（Occupancy Flow）則賦予了系統(tǒng)對動態(tài)世界的預(yù)測能力。

占用流不僅能告訴我們哪些空間被占用了，還能給出每一個(gè)被占用體素的運(yùn)動矢量。通過分析這些矢量的顏色和方向，規(guī)劃算法可以清晰地預(yù)判周圍物體的運(yùn)動軌跡。

占用流的引入，本質(zhì)上是引入了物理世界的守恒定律。它意識到，一個(gè)體素如果現(xiàn)在被占據(jù)了，它下一刻要么留在原地，要么會移動到相鄰的體素位置。這種局部的連貫性約束，使得系統(tǒng)在處理行人鬼探頭、車輛緊急加塞等高風(fēng)險(xiǎn)場景時(shí)，能夠比傳統(tǒng)基于目標(biāo)追蹤的方法更快地做出反應(yīng)。

系統(tǒng)不再需要經(jīng)歷“識別物體-關(guān)聯(lián)歷史幀-計(jì)算速度-生成預(yù)測軌跡”的長鏈條，而是直接觀察體素占據(jù)狀態(tài)的流轉(zhuǎn)趨勢。這種毫秒級的響應(yīng)速度提升，往往就是避免一場碰撞的關(guān)鍵。

在模型訓(xùn)練中，占用網(wǎng)絡(luò)也利用了許多前沿的技術(shù)手段來提升自身的進(jìn)化速度。由于人工標(biāo)注三維體素是一項(xiàng)幾乎不可能完成的任務(wù)，行業(yè)內(nèi)普遍采用“NeRF（神經(jīng)輻射場）”等離線重建技術(shù)進(jìn)行自動標(biāo)注。

車輛在行駛過程中會通過眾包的形式收集海量的視覺數(shù)據(jù)，在云端通過NeRF技術(shù)還原出極其真實(shí)的3D場景，并以此作為真值來訓(xùn)練車端的小模型。這種“云端重構(gòu)、車端預(yù)測”的閉環(huán)，讓占用網(wǎng)絡(luò)能夠從全球數(shù)百萬輛車的日常行駛中不斷學(xué)習(xí)，從而持續(xù)增強(qiáng)其泛化能力。

最后的話

占用網(wǎng)絡(luò)不僅是感知的終點(diǎn)，更是實(shí)現(xiàn)“端到端”自動駕駛的重要基石。當(dāng)感知系統(tǒng)輸出的是一幅連續(xù)的、帶有物理屬性的四維占用圖時(shí)，下游的規(guī)劃和控制模塊就可以尋找那些概率最低的空隙進(jìn)行穿梭。

這種深度的集成，消除了模塊間由于信息壓縮導(dǎo)致的誤差，讓自動駕駛汽車的行為變得更加擬人、更加流暢。雖然目前占用網(wǎng)絡(luò)還面臨著遠(yuǎn)距離精度不足、計(jì)算功耗高等挑戰(zhàn)，但隨著車載算力的爆發(fā)和算法的迭代，這種讓萬物皆可被感知的技術(shù)方法，必將徹底重塑人類出行的安全標(biāo)準(zhǔn)。

-- END --

       原文標(biāo)題 : 占用網(wǎng)絡(luò)是怎么讓自動駕駛識別異形障礙物的？