訂閱
糾錯(cuò)
加入自媒體

數(shù)據(jù)標(biāo)注為什么對(duì)自動(dòng)駕駛至關(guān)重要?

把自動(dòng)駕駛比作人的大腦和感官系統(tǒng),數(shù)據(jù)就是外界感知的原始輸入,而標(biāo)注就是告訴大腦“這是啥,這在哪兒,這會(huì)怎么動(dòng)”。沒(méi)有高質(zhì)量的標(biāo)注,即便是再先進(jìn)的感知模型、跟蹤模型與預(yù)測(cè)模型都會(huì)像沒(méi)吃過(guò)飯的人,理論上能動(dòng),但做不了持久、可靠的工作。標(biāo)注的任務(wù)不是單純把圖里面的物體框起來(lái),而是把現(xiàn)實(shí)世界中模糊、交疊、短暫的事件用清楚、統(tǒng)一、機(jī)器能讀懂的方式記錄下來(lái),供模型學(xué)習(xí)和評(píng)估。對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō),標(biāo)注決定了系統(tǒng)能學(xué)會(huì)什么、看清什么、在哪些邊界上會(huì)犯錯(cuò),這直接關(guān)系到系統(tǒng)的安全性和商業(yè)可行性。

標(biāo)注的“量”和“質(zhì)”,需要什么規(guī)模、什么精度

想要讓自動(dòng)駕駛汽車安全駕駛,少量的標(biāo)注樣本無(wú)法起到作用,只有大規(guī)模、多模態(tài)、多任務(wù)的標(biāo)注樣本,才能讓數(shù)據(jù)標(biāo)注投入得到有效發(fā)揮。且在自動(dòng)駕駛不同階段和目標(biāo),常見(jiàn)的數(shù)據(jù)規(guī)模和質(zhì)量指標(biāo)也會(huì)有明顯差異。做原型或概念驗(yàn)證時(shí),通常用量級(jí)在幾萬(wàn)到十幾萬(wàn)幀的標(biāo)注資源就能訓(xùn)練一個(gè)基礎(chǔ)的模型并做快速迭代;要把功能推向封閉道路試驗(yàn)或限定場(chǎng)景運(yùn)營(yíng),數(shù)據(jù)需要擴(kuò)到數(shù)十萬(wàn)到數(shù)百萬(wàn)幀;若要覆蓋城市級(jí)、全天候、長(zhǎng)尾事件就必須把標(biāo)注規(guī)模推向百萬(wàn)級(jí)甚至上千萬(wàn)級(jí)樣本。

這些“幀”可以指單張相機(jī)圖片,也可以指一幀LiDAR點(diǎn)云或多傳感器的時(shí)間同步片段。以相機(jī)圖像為例,常見(jiàn)訓(xùn)練集規(guī)模范圍是幾十萬(wàn)到幾百萬(wàn)張帶標(biāo)簽的圖像;以點(diǎn)云為例,標(biāo)注幀數(shù)的范圍通常是十萬(wàn)到幾百萬(wàn)幀,每幀點(diǎn)云包含的點(diǎn)數(shù)取決于激光雷達(dá)類型,常見(jiàn)生產(chǎn)級(jí)傳感器每幀點(diǎn)數(shù)在幾萬(wàn)到幾十萬(wàn)點(diǎn)之間。

衡量標(biāo)注是否可用有幾類核心指標(biāo)。第一個(gè)是標(biāo)簽的一致性,通常通過(guò)標(biāo)注員間一致率(inter-annotator agreement)或IoU(交并比)分布來(lái)量化。對(duì)于二維檢測(cè)任務(wù),在IoU≥0.5的閾值下,常見(jiàn)的一致率目標(biāo)是高于85%的區(qū)間;對(duì)于高精度應(yīng)用或小目標(biāo)檢測(cè),希望在IoU≥0.7條件下也能維持70%以上一致性。像素級(jí)語(yǔ)義分割和實(shí)例分割對(duì)人工耗時(shí)巨大,因此合格的一致率通常要求更高,否則模型學(xué)習(xí)到的邊界噪聲會(huì)直接影響定位與避障。點(diǎn)云的三維框因?yàn)樽杂啥雀,?biāo)注誤差更明顯,常用的度量是框中心誤差(厘米級(jí))和朝向誤差(度),在落地項(xiàng)目中希望中心誤差在10–30厘米內(nèi)、朝向誤差控制在幾度到十幾度之間,具體數(shù)值會(huì)隨業(yè)務(wù)安全邊界不同而變化。

標(biāo)注效率其實(shí)也可以用數(shù)據(jù)說(shuō)明。對(duì)二維框的標(biāo)注或校正,在有自動(dòng)預(yù)標(biāo)注的條件下,一位經(jīng)驗(yàn)豐富的標(biāo)注員每天可以修正數(shù)百到上千張圖片(以每張圖片平均目標(biāo)數(shù)量不高為前提)。對(duì)像素級(jí)分割,工具和預(yù)標(biāo)注齊全時(shí),一位標(biāo)注員每天能完成幾十張到一百?gòu)埜哔|(zhì)量圖像;沒(méi)有輔助時(shí)速度會(huì)再慢一個(gè)量級(jí)。點(diǎn)云標(biāo)注會(huì)更耗時(shí),一位標(biāo)注員在優(yōu)秀工具和預(yù)標(biāo)注輔助下每天能處理幾十幀到一百幀左右的三維框或?qū)嵗龢?biāo)簽;如果需要詳細(xì)的點(diǎn)級(jí)語(yǔ)義標(biāo)注或稠密分割,每人每天的產(chǎn)能會(huì)降到十幾幀。把這些數(shù)字換成組織規(guī)模與時(shí)間成本,要支持百萬(wàn)級(jí)幀的初步標(biāo)注,往往需要數(shù)十到數(shù)百名標(biāo)注員并行工作數(shù)周到數(shù)月,視預(yù)標(biāo)注質(zhì)量和復(fù)核深度決定工期與成本。

當(dāng)然,數(shù)據(jù)量與訓(xùn)練效果之間并不是線性的關(guān)系,但我們可以用經(jīng)驗(yàn)數(shù)據(jù)說(shuō)明“邊際收益遞減”的現(xiàn)象。對(duì)于某一固定模型和任務(wù),把訓(xùn)練樣本從十萬(wàn)擴(kuò)大到三十萬(wàn),通常能帶來(lái)明顯性能提升;從三十萬(wàn)擴(kuò)大到一百萬(wàn),提升仍然明顯但幅度縮。粡囊话偃f(wàn)推到數(shù)百萬(wàn)甚至千萬(wàn),性能增長(zhǎng)會(huì)更緩慢,更多時(shí)候的收益來(lái)自擴(kuò)展到更多場(chǎng)景或更長(zhǎng)尾的覆蓋,而不是基礎(chǔ)的平均精度提升。因此在資源有限時(shí),如何在數(shù)據(jù)規(guī)模、標(biāo)注粒度和場(chǎng)景多樣性之間做權(quán)衡,是設(shè)計(jì)數(shù)據(jù)策略時(shí)的核心問(wèn)題。

如何用好工具、流程與半自動(dòng)化來(lái)降低成本并保證質(zhì)量

把數(shù)據(jù)標(biāo)注當(dāng)成工程來(lái)做,支撐它的一定是明確的流程、好用的工具和持續(xù)的質(zhì)量控制。標(biāo)注平臺(tái)要能同時(shí)顯示多模態(tài)數(shù)據(jù)(同步相機(jī)+點(diǎn)云+軌跡),支持時(shí)間軸回放、跨幀ID跟蹤編輯、批量操作和自動(dòng)預(yù)標(biāo)注導(dǎo)入。好的預(yù)標(biāo)注能把人工工作量降低30%–70%,這具體取決于模型的初始能力和目標(biāo)復(fù)雜度。例如在車輛與行人檢測(cè)任務(wù)中,把一個(gè)基礎(chǔ)檢測(cè)模型放入預(yù)標(biāo)注流程后,每幀需要人工干預(yù)的目標(biāo)位置與類別比例會(huì)顯著下降,從而把單幀人工工時(shí)從數(shù)分鐘降到幾十秒或更短。

在流程設(shè)計(jì)上,精細(xì)的標(biāo)注規(guī)范比短期的速度優(yōu)化更重要。規(guī)范要把模糊邊界具體化,比如在遮擋時(shí)如何畫(huà)盒、當(dāng)行為不確定時(shí)如何標(biāo)注類別、如何處理跨類邊界(例如電動(dòng)滑板車與行人的區(qū)分)。規(guī)范同時(shí)應(yīng)配套大量示例和反例庫(kù),以減少標(biāo)注員在灰色區(qū)的判斷成本。質(zhì)控流程通常分為自動(dòng)質(zhì)量檢查和人工抽檢兩層。自動(dòng)檢查會(huì)檢出如標(biāo)簽框超出圖像邊界、類別與場(chǎng)景不符、ID在時(shí)間軸上突變等顯而易見(jiàn)的問(wèn)題;人工抽檢則負(fù)責(zé)驗(yàn)證如長(zhǎng)期行為標(biāo)注和復(fù)雜交互判斷自動(dòng)檢查無(wú)法覆蓋的語(yǔ)義性問(wèn)題。

半自動(dòng)化與主動(dòng)學(xué)習(xí)是當(dāng)前提升標(biāo)注效率的兩把利器。通過(guò)把模型的不確定性作為采樣依據(jù),可以把標(biāo)注資源優(yōu)先分配到對(duì)模型最有價(jià)值的數(shù)據(jù)上。主動(dòng)學(xué)習(xí)策略常常能把需要標(biāo)注的數(shù)據(jù)量減少20%–50%才達(dá)到與全面標(biāo)注接近的性能,節(jié)省標(biāo)注時(shí)間和成本。但主動(dòng)學(xué)習(xí)的效果強(qiáng)依賴于評(píng)估指標(biāo)和采樣策略,盲目使用可能把資源集中在模型“困惑”的小范圍內(nèi),而忽略長(zhǎng)尾場(chǎng)景。因此把主動(dòng)學(xué)習(xí)嵌入到持續(xù)迭代流程中,并結(jié)合工程經(jīng)驗(yàn)調(diào)參,是必要的。

衡量標(biāo)注投入產(chǎn)出時(shí),應(yīng)把直接成本(人工工時(shí)、外包費(fèi)用)與間接成本(存儲(chǔ)、版本管理、再標(biāo)注、隱私合規(guī))一并考慮。像素級(jí)分割和點(diǎn)級(jí)標(biāo)注的單位時(shí)間成本明顯高于二維框,重標(biāo)注成本也高。因此在沒(méi)有明確業(yè)務(wù)需求時(shí),把標(biāo)注粒度設(shè)為“足夠但不冗余”是優(yōu)化路徑。很多團(tuán)隊(duì)先以二維框?yàn)橹骺焖俅虻祝侔殃P(guān)鍵場(chǎng)景或關(guān)鍵物體升級(jí)到像素級(jí)或點(diǎn)級(jí)高精度標(biāo)注,從而把資源高效集中到提升系統(tǒng)安全邊界的點(diǎn)上。

用數(shù)據(jù)驅(qū)動(dòng)標(biāo)注決策

標(biāo)注不是一次性的工程,而是長(zhǎng)期運(yùn)營(yíng)的問(wèn)題。隨著模型更新、業(yè)務(wù)場(chǎng)景擴(kuò)張和法規(guī)變化,標(biāo)簽規(guī)范與數(shù)據(jù)集版本會(huì)發(fā)生改變。良好的數(shù)據(jù)治理體系可以把這些變化帶來(lái)的成本最小化。為了實(shí)現(xiàn)這個(gè)目標(biāo),首先需要建立標(biāo)簽本體管理,每個(gè)類別、子類、語(yǔ)義層次有明確定義和反例集,任何人能通過(guò)規(guī)范快速對(duì)照判斷。其次需要數(shù)據(jù)版本管理與可追溯的變更記錄,當(dāng)標(biāo)簽規(guī)范更新時(shí),系統(tǒng)要能記錄哪些樣本被重新標(biāo)注、誰(shuí)做了變更、變更前后的差異指標(biāo)是什么。這樣在模型出現(xiàn)退化或行為異常時(shí),可以迅速判斷是否由標(biāo)簽變動(dòng)引起并回滾或修正。

長(zhǎng)期維護(hù)還需要把模型性能反饋閉環(huán)進(jìn)標(biāo)注體系。把模型的誤判、低置信樣本和真實(shí)運(yùn)營(yíng)中觸發(fā)的告警作為優(yōu)先標(biāo)注列表,這些數(shù)據(jù)往往比隨機(jī)采樣更能提升系統(tǒng)魯棒性。在多數(shù)實(shí)踐中,把運(yùn)營(yíng)中采集到的錯(cuò)誤樣本優(yōu)先標(biāo)注并回流訓(xùn)練,常常是提升系統(tǒng)在關(guān)鍵場(chǎng)景下表現(xiàn)的最高效方法。與此同時(shí),建立周期性的質(zhì)量回顧(例如每月一次)可以把標(biāo)注規(guī)范的模糊點(diǎn)具體化,把標(biāo)注員的疑問(wèn)轉(zhuǎn)化為規(guī)范改進(jìn)或樣例庫(kù)增加。

合成數(shù)據(jù)和仿真數(shù)據(jù)是補(bǔ)齊長(zhǎng)尾的有效方式,但不能替代真實(shí)標(biāo)注。仿真可以高效產(chǎn)生極端天氣、罕見(jiàn)事故或高危交互樣本,這些樣本在現(xiàn)實(shí)采集成本極高或危險(xiǎn)時(shí)尤其有價(jià)值。常見(jiàn)的做法是把合成數(shù)據(jù)用于預(yù)訓(xùn)練或強(qiáng)化模型的少數(shù)策略模塊,再用真實(shí)數(shù)據(jù)做域適配與校準(zhǔn)。重要的是在使用合成數(shù)據(jù)時(shí)量化域差帶來(lái)的偏差,并用真實(shí)數(shù)據(jù)做閉環(huán)驗(yàn)證。

隱私與合規(guī)是另一個(gè)必須用數(shù)據(jù)方式管理的問(wèn)題。道路影像中常常包含人臉、車牌等敏感信息,標(biāo)注流程里需要在采集端或標(biāo)注端實(shí)現(xiàn)自動(dòng)模糊與脫敏,并保留必要的審計(jì)記錄以滿足監(jiān)管或合約要求。這些保護(hù)措施會(huì)帶來(lái)額外的計(jì)算與存儲(chǔ)成本,也會(huì)影響算法在做基于外觀的行為分類時(shí)的性能,因此在項(xiàng)目初期就應(yīng)把隱私合規(guī)作為成本預(yù)算與技術(shù)方案考慮的一部分。

對(duì)不同規(guī)模與目標(biāo)的團(tuán)隊(duì),數(shù)據(jù)策略應(yīng)有所不同。資源有限的初創(chuàng)團(tuán)隊(duì)?wèi)?yīng)把標(biāo)注重點(diǎn)聚焦在關(guān)鍵場(chǎng)景與關(guān)鍵類別上,先建成可復(fù)用的標(biāo)注流水線與規(guī)范,再逐步擴(kuò)展樣本量。大型團(tuán)隊(duì)或車企有能力建立自研標(biāo)注平臺(tái)、訓(xùn)練專門(mén)的自動(dòng)標(biāo)注模型并做大規(guī)模數(shù)據(jù)治理,但同樣需要重視工具可用性與流程效率,否則規(guī)模只會(huì)帶來(lái)巨大的維護(hù)成本。無(wú)論規(guī)模大小,把數(shù)據(jù)作為產(chǎn)品來(lái)治理、把標(biāo)注作為長(zhǎng)期工程來(lái)投產(chǎn),是把自動(dòng)駕駛從實(shí)驗(yàn)室?guī)У秸鎸?shí)道路的必由之路。

最后的話

把標(biāo)注看成“數(shù)據(jù)工程的一道工序”會(huì)把它貶值。相反,標(biāo)注是自動(dòng)駕駛系統(tǒng)能否安全落地的核心工程,它決定了模型能學(xué)會(huì)哪些世界觀、在哪些邊界上會(huì)犯錯(cuò)、在哪里需要人類更謹(jǐn)慎的干預(yù)。通過(guò)量化的數(shù)據(jù)指標(biāo)來(lái)設(shè)計(jì)標(biāo)注規(guī)模、確定標(biāo)注粒度、評(píng)估標(biāo)注質(zhì)量,再結(jié)合工具化、半自動(dòng)化與主動(dòng)學(xué)習(xí)來(lái)提高效率,團(tuán)隊(duì)能在可控的成本下把數(shù)據(jù)價(jià)值最大化。

-- END --

       原文標(biāo)題 : 數(shù)據(jù)標(biāo)注為什么對(duì)自動(dòng)駕駛至關(guān)重要?

聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)