在自動駕駛的技術(shù)路線中，純視覺方案因其模仿人類駕駛邏輯與低廉的硬件成本，一直是很多車企的選擇。但這種高度依賴攝像頭的感知方式，在夜幕降臨、車輛駛?cè)胗陌档乃淼溃�或是遭遇強烈的逆光直射、漫天的雨雪濃霧時，感知能力會發(fā)生斷崖式下跌。為什么光照對純視覺自動駕駛影響較大？

被動感知的物理天花板

純視覺感知系統(tǒng)本質(zhì)上是一個基于環(huán)境光反射的被動測量系統(tǒng)。這一特性的核心在于，攝像頭本身并不向外發(fā)射能量，它所獲取的所有信息都來源于外界光源，都是太陽、路燈或其他車輛的燈光照射到物體表面后反射回來的光子。

這種工作模式與人類的眼睛如出一轍，當環(huán)境光線充足且分布均勻時，攝像頭能夠捕捉到極為豐富的顏色、紋理和語義信息，這些信息對于識別交通標志、判斷路面標線以及理解復雜的交通意圖具有不可替代的優(yōu)勢。但一旦光源缺失或光環(huán)境變得極端，被動感知的弊端便暴露無遺。

相比之下，激光雷達等有源傳感器則是“自帶手電筒的視覺”。激光雷達通過主動向外發(fā)射受控的激光脈沖，并接收從目標反射回來的能量，利用飛行時間原理直接計算物體的空間坐標。這種主動探測機制使得激光雷達在全黑的夜晚依然能維持極高的感知精度，且?guī)缀醪皇墉h(huán)境光干擾。

在低光照環(huán)境下，攝像頭傳感器面臨的首要挑戰(zhàn)是信噪比（SNR）的急劇下降。當光子稀少時，傳感器捕捉到的有效信號可能被電路產(chǎn)生的熱噪聲所淹沒。為了在黑暗中“看清”物體，系統(tǒng)必須延長曝光時間或增加感光度（ISO）。

延長曝光時間在動態(tài)駕駛場景中是極其危險的，因為車輛與目標的相對運動會導致圖像出現(xiàn)嚴重的運動模糊，使得原本清晰的目標輪廓變得如同虛影。

而盲目提高感光度則會引入大量隨機噪聲，使畫面充滿雜質(zhì)，嚴重干擾后端神經(jīng)網(wǎng)絡對物體特征的提取。這種在物理層面就已受損的“原始材料”，注定了純視覺方案在暗光下的步履維艱。

環(huán)境介質(zhì)對光波的攔截與扭曲

自動駕駛車輛并不是在真空中行駛，光線從物體表面反射回攝像頭的過程中，必須穿過復雜的大氣環(huán)境。雨、雪、霧等惡劣天氣本質(zhì)上是改變了光波的傳播路徑，通過散射、折射和吸收等物理現(xiàn)象，對視覺感知構(gòu)成了多重封鎖。

霧氣對視覺的影響主要源于米氏散射（Mie Scattering）。霧滴的直徑通常與可見光的波長相當，當光波遇到這些微小水滴時，會向四面八方發(fā)生強烈的散射。

這種散射效應會產(chǎn)生兩個嚴重后果，一是光線在傳播過程中的強度迅速衰減，導致遠距離物體在圖像中消失；二是背景光和環(huán)境光被散射成了白茫茫的“幕簾”，大大降低了目標的對比度。

從信號處理的角度看，霧氣相當于在圖像上疊加了一個大尺寸的低通濾波器，濾除了大部分的高頻細節(jié)。神經(jīng)網(wǎng)絡在處理這類圖像時，很難識別出被霧氣遮蔽的行人邊緣或車道線，這會導致識別置信度大幅下降，甚至完全漏檢。

雨天場景則會帶來另一個問題。下落的雨滴具有極高的透明度和特殊的幾何形狀，每一顆雨滴都像是一個微小的球形透鏡，會對穿過的光線產(chǎn)生折射和全反射。這會導致攝像頭捕捉到的畫面出現(xiàn)局部的扭曲和偽影。

更嚴重的問題發(fā)生在攝像頭表面的保護玻璃上，粘附的雨滴會造成大面積的畫面模糊。由于這些雨滴處于攝像頭的近焦位置，它們會形成嚴重的散焦，使畫面中的關(guān)鍵區(qū)域變得不可見。

在雪天環(huán)境下，視覺系統(tǒng)還會面臨對比度缺失與物理覆蓋的雙重考驗。雪花具有極高的光反射率，在強光照射下會導致圖像大面積過曝；而在陰天，白色的雪地與同樣色系的白色車輛、路標之間缺乏足夠的對比度，導致感知算法難以區(qū)分目標與背景。此外，粘滯的積雪可能會直接覆蓋在攝像頭鏡頭上，這種物理層面的“致盲”是任何軟件算法都無法挽回的。

這些物理層面的干擾直接挑戰(zhàn)了純視覺系統(tǒng)對空間幾何結(jié)構(gòu)的建模能力。由于攝像頭無法像激光雷達那樣通過精確的脈沖返回時間來剝離環(huán)境噪聲，它必須在雜亂無章的像素點中通過概率預測來猜測物體的存在。在這種情況下，物理規(guī)律對光線的攔截，實際上切斷了視覺系統(tǒng)賴以生存的信息源。

圖像信號處理器，被忽視的信息損耗環(huán)節(jié)

即便光線成功穿透大氣并被攝像頭傳感器捕捉，從感光單元輸出的原始電信號（RAW數(shù)據(jù)）到最終進入自動駕駛大腦的彩色圖像（RGB圖像），中間還隔著一個復雜的環(huán)節(jié)，那就是圖像信號處理器（ISP）。

長期以來，車載ISP的調(diào)優(yōu)目標都是為了服務于“人眼觀看”，即追求色彩鮮艷、對比度高、噪點少的視覺效果。但這種追求“美感”的處理流程，對于機器視覺算法來說，其實是一場災難。

ISP的處理流程包含去馬賽克、白平衡校正、去噪、伽馬校正和色調(diào)映射等多個階段。在低光照或高動態(tài)（HDR）場景下，ISP的副作用尤為明顯。為了抑制暗光下的噪點，ISP會采用強力的空間域或頻率域去噪算法。這些算法在抹除隨機噪聲的同時，也會無差別地抹掉微小的紋理細節(jié)，導致圖像呈現(xiàn)出一種“油畫感”。

對于人類駕駛員來說，這種平滑處理可能提升視覺舒適度，但對于依賴像素級特征梯度進行物體檢測的深度學習模型來說，這意味著丟失了判斷物體邊緣的關(guān)鍵高頻信息。

還有一個問題在于動態(tài)范圍的處理。自然界的亮度跨度可能超過140dB，而主流車載攝像頭傳感器的動態(tài)范圍一般在120dB左右。當車輛駛出黑暗隧道突然面對刺眼的陽光時，ISP必須在極短的時間內(nèi)調(diào)整曝光參數(shù)。

傳統(tǒng)的HDR技術(shù)通過多幀曝光合成來實現(xiàn)高動態(tài)顯示，但這在高速行駛中會引入嚴重的運動偽影。由于不同曝光幀之間存在時間差，快速移動的物體在合成后的畫面中會出現(xiàn)重影或虛影，導致自動駕駛算法無法準確判斷物體的邊界位置。

此外，ISP執(zhí)行的色調(diào)映射（Tone Mapping）和伽馬校正（Gamma Correction）本質(zhì)上是一種非線性的信息壓縮過程。為了將傳感器捕獲的20位或24位高動態(tài)RAW數(shù)據(jù)映射到8位或10位的RGB空間，ISP會強行壓縮陰影和高光區(qū)域的對比度。

在這個過程中，原本在RAW域中清晰可辨的微小亮度差異被強行歸并為同一個像素值。這種數(shù)學上的不可逆損耗，會讓感知網(wǎng)絡失去在極端光影場景下進行“微秒級察覺”的可能性。

這種“人眼導向”與“機器導向”的錯位，是純視覺方案在極端場景下表現(xiàn)不佳的重要誘因。目前有技術(shù)方案正嘗試跳過傳統(tǒng)的ISP，直接利用RAW域數(shù)據(jù)進行端到端的物體檢測訓練，以保留光電傳感器的所有原始信息，這從側(cè)面證明了傳統(tǒng)處理流程在光影難題中的局限性。

深度學習在極端場景下的認知邊界

純視覺自動駕駛離不開深度學習算法，然而，基于卷積神經(jīng)網(wǎng)絡（CNN）或Transformer的物體檢測模型，其性能高度依賴于訓練數(shù)據(jù)的分布。在面對光照顯著惡化的場景時，算法層面的“認知”也會出現(xiàn)嚴重的偏差。

神經(jīng)網(wǎng)絡提取物體特征的基礎在于像素間的對比度梯度。在強逆光或夜間遠光燈直射的情況下，光線會產(chǎn)生嚴重的“眩光”和“溢出”（Blooming）效應。當一個極亮的點光源（如對向車的遠光燈）照射到傳感器上時，產(chǎn)生的電荷會溢出到相鄰的像素中，導致圖像中出現(xiàn)大面積的亮斑。

這種現(xiàn)象不僅遮蓋了障礙物本身的紋理，還徹底破壞了物體的幾何輪廓。當特征圖中的高頻分量由于過曝或極低亮度而消失時，卷積核將無法捕捉到有效的激活信號，導致系統(tǒng)在邏輯上“無視”了障礙物的存在。

此外，單目純視覺系統(tǒng)獲取深度的唯一途徑是依靠算法猜測。模型通過識別物體的類型，結(jié)合“近大遠小”的經(jīng)驗值或路面紋理的變化來推算距離。但在光照極差的夜晚，路面紋理幾乎不可見，物體的視覺特征由于噪聲干擾而失真。

此時，算法的深度推算將變得極不穩(wěn)定。即使系統(tǒng)識別出了前方有一個行人，也可能因為無法準確判斷其距離而導致緊急制動的決策失靈。在高速場景下，幾米的距離偏差就足以決定一場事故的發(fā)生。

還有一個更深層次的問題，目前的純視覺模型本質(zhì)上是在進行一種“模式匹配”。當訓練數(shù)據(jù)集中99%的場景都是晴天、光照良好的公路時，模型會形成一種先驗偏見。

當它在夜間隧道口遇到由于劇烈光影交替而產(chǎn)生的怪異輪廓時，模型可能會將其錯誤地分類為不具威脅的陰影或路面雜質(zhì)。這種對長尾場景（Edge Cases）的泛化能力缺失，是純視覺方案通往L4及以上自動駕駛時必須跨越的鴻溝。

最后的話

從被動感知的低信噪比，到大氣介質(zhì)對光子的攔截，再到ISP處理中的數(shù)據(jù)裁剪，最后到神經(jīng)網(wǎng)絡在特征缺失面前的認知無力，每一個環(huán)節(jié)都在累加純視覺自動駕駛感知的誤差。雖然隨著更大動態(tài)范圍傳感器的應用、端到端RAW域感知的引入以及跨模態(tài)訓練數(shù)據(jù)的補齊，純視覺方案的邊界正在不斷擴展，但其物理屬性決定的“光影死角”，依然是行業(yè)在平衡安全性與成本時必須慎重對待的核心議題。

-- END --

       原文標題 : 為什么光照對純視覺自動駕駛影響較大？