最近有一位小伙伴留言，想讓我聊聊自動(dòng)駕駛汽車對(duì)于石頭這樣的小障礙物，是使用什么視覺任務(wù)檢測(cè)的。在直接回答“如何檢測(cè)”之前，其實(shí)要思考一個(gè)更根本的問題，對(duì)于一個(gè)像石頭這樣的小障礙物，自動(dòng)駕駛汽車真的要檢測(cè)嗎？如果要檢測(cè)，是如何檢測(cè)的？

自動(dòng)駕駛視覺系統(tǒng)都在看什么？

自動(dòng)駕駛汽車要“看見”周圍環(huán)境，是靠一系列傳感器來完成的，其中最核心的一個(gè)就是攝像頭。攝像頭采集到實(shí)時(shí)圖像之后，自動(dòng)駕駛中的視覺感知系統(tǒng)會(huì)將原始圖像變成機(jī)器可以理解的“環(huán)境模型”。

這個(gè)環(huán)境模型中會(huì)包括前方有沒有車輛、有沒有行人、車道線在哪里、交通標(biāo)志是什么，甚至還有路面上的障礙物等很多信息。視覺感知是整個(gè)自動(dòng)駕駛系統(tǒng)的基礎(chǔ)任務(wù)之一，沒有它，后續(xù)的決策和控制都無從談起。

在自動(dòng)駕駛的視覺感知體系里，有兩個(gè)非�；�礎(chǔ)且核心的任務(wù)，即目標(biāo)檢測(cè)（Object Detection）和語(yǔ)義分割（Semantic Segmentation）。目標(biāo)檢測(cè)就是在圖像里找到如汽車、人、摩托車這樣的目標(biāo)并給出它們的位置。語(yǔ)義分割則是把圖像里每個(gè)像素分配到類別標(biāo)簽上，比如“這是道路，這是人行道，這是障礙物”這樣的標(biāo)記。

簡(jiǎn)單理解這兩個(gè)概念，目標(biāo)檢測(cè)回答的是“這里有沒有一個(gè)物體？它在哪里？是什么？”；而語(yǔ)義分割回答的是“這塊區(qū)域?qū)儆谑裁搭悇e”。這兩類任務(wù)結(jié)合起來，就是視覺感知要做的基本工作。

什么是異常物體？

小伙伴所提及的石頭這樣的小障礙物，其實(shí)可以歸類為異常物體。所謂“異常物體”，其實(shí)就是那些在訓(xùn)練集中不常出現(xiàn)、類別不明確，但可能對(duì)車輛安全構(gòu)成威脅的物體。這類物體在視覺上可能大小、形狀都很不規(guī)則，有時(shí)候顏色還和地面、陰影特別接近，這給機(jī)器識(shí)別帶來很大挑戰(zhàn)。

在日常駕駛中，最常見的障礙物就是其他車輛、行人、自行車、摩托車等一目了然的大物體。視覺系統(tǒng)會(huì)把這些定義為主要目標(biāo)類別，在訓(xùn)練數(shù)據(jù)里反復(fù)學(xué)習(xí)它們的特征。

但是真實(shí)路并不是理想狀態(tài)，在行駛過程中，還可能會(huì)遇到如掉落的貨物、輪胎碎片、塑料袋、甚至石頭這樣的異常物體。這些物體不是標(biāo)準(zhǔn)的目標(biāo)類別，也不一定在我們訓(xùn)練數(shù)據(jù)里有大量樣本出現(xiàn)。但如果車輛高速行駛碰上這樣的物體，可能造成輪胎爆胎、控制失誤等安全風(fēng)險(xiǎn)。因此，對(duì)這些異常物體進(jìn)行精準(zhǔn)識(shí)別，是非常有必要的。

因?yàn)橐曈X感知系統(tǒng)主要是從數(shù)據(jù)里學(xué)特征，像石頭這種偶爾才出現(xiàn)的場(chǎng)景，沒有足夠的例子能讓系統(tǒng)學(xué)會(huì)判斷它就是個(gè)障礙物。有時(shí)候，石頭在視覺上會(huì)和路面、陰影、裂縫這些東西非常相似，對(duì)于模型來說，它很難從單張圖像里判斷這塊石頭有沒有危險(xiǎn)、離車多遠(yuǎn)、應(yīng)不應(yīng)該規(guī)避。對(duì)這類情況的檢測(cè)和處理就成為自動(dòng)駕駛感知的一大難題。

視覺任務(wù)怎么檢測(cè)這些異常物體？

既然石頭這樣的異常物體不屬于常規(guī)類別，自動(dòng)駕駛視覺系統(tǒng)還能檢測(cè)它嗎？答案是，能檢測(cè)，但不是簡(jiǎn)單地把它歸為某類物體，而是通過多種視覺任務(wù)和策略來識(shí)別風(fēng)險(xiǎn)。

現(xiàn)階段，自動(dòng)駕駛已使用深度學(xué)習(xí)模型來進(jìn)行視覺感知，它們?cè)趫D像上學(xué)習(xí)不同物體的形狀、紋理、邊界等特征。像是YOLO、SSD、Faster R-CNN這些主流物體檢測(cè)模型，可以在圖像中找到各種目標(biāo)并給出置信度和位置框。對(duì)于不屬于已知類別的目標(biāo)，這類模型可能不會(huì)輸出如“石頭”這樣的明確標(biāo)簽，但會(huì)給出一個(gè)“未知物體/障礙物”的檢測(cè)結(jié)果，以提示自動(dòng)駕駛系統(tǒng)有一個(gè)值得注意的物體在前方。

語(yǔ)義分割或?qū)嵗�分割也是識(shí)別異常物體的主要手段，它會(huì)把圖像分成如“路面”“非道路”“障礙物”等標(biāo)簽。只要模型在訓(xùn)練時(shí)學(xué)會(huì)了把“正常路面”與“路面上的異常區(qū)域”區(qū)分開來，即便它沒有見過“石頭”這種具體類別，也會(huì)把視覺上突兀、不屬于路面的那一塊像素標(biāo)記為“非路面/障礙物”。像素級(jí)的標(biāo)注會(huì)讓系統(tǒng)發(fā)現(xiàn)道路上異常的區(qū)域，并把這些區(qū)域當(dāng)作潛在障礙物上報(bào)給后續(xù)的決策與控制模塊。

還有一類專門針對(duì)小型異常物體檢測(cè)的視覺任務(wù)，被稱為小目標(biāo)檢測(cè)，其主要解決的是體積很小、距離較遠(yuǎn)、外形又不規(guī)則的物體識(shí)別問題。由于這些目標(biāo)在圖像中只占很少的像素，傳統(tǒng)目標(biāo)檢測(cè)模型很容易把它們當(dāng)成噪聲而忽略。為了解決這個(gè)問題，可通過引入激光雷達(dá)等其他傳感器的信息，用三維點(diǎn)云提供的空間位置和高度線索，去約束和引導(dǎo)視覺模型關(guān)注那些“看起來不起眼、但在空間上確實(shí)存在”的區(qū)域。這樣一來，視覺模型不再只依賴外觀特征，而是可以結(jié)合真實(shí)的三維結(jié)構(gòu)信息，對(duì)小障礙物的識(shí)別會(huì)更加穩(wěn)定，也更不容易漏檢。

最后的話

自動(dòng)駕駛視覺系統(tǒng)里涉及如目標(biāo)檢測(cè)、語(yǔ)義分割等很多不同的視覺任務(wù)，這些都是把攝像頭捕捉的圖像轉(zhuǎn)化為對(duì)環(huán)境的理解。對(duì)于如石頭這樣不常見的路面物體，它們往往沒有標(biāo)準(zhǔn)類別標(biāo)簽，但視覺系統(tǒng)仍然可以通過廣泛訓(xùn)練、優(yōu)化模型和結(jié)合其他傳感器等方法，把它們識(shí)別為潛在障礙物。檢測(cè)這些物體的目的只有一個(gè)，那就是讓自動(dòng)駕駛汽車行駛得更安全、更可靠。

-- END --

       原文標(biāo)題 : 自動(dòng)駕駛汽車如何檢測(cè)石頭這樣的小障礙物？