遮擋反光下拍照無壓力—臺大提出新型遮擋去除模型還你清晰視界
在拍照時不期而遇的遮擋會讓照片的效果大打折扣，從窗戶玻璃的反光到雨滴的遮擋都在影響著清晰的成像，而去除這些惱人的遮擋也是計算機視覺領(lǐng)域的重要研究內(nèi)容。
最近來自臺大、谷歌等機構(gòu)的研究人員提出了一種基于前景背景運動差異的學習方法，通過深度學習交替光流場估計和圖像重建實現(xiàn)了高質(zhì)量的遮擋去除和前景、背景的重建，同時還利用在線優(yōu)化的方法提高了對于多種真實場景的適應(yīng)能力。
從反射遮擋中獲取清晰的圖像
從反光的玻璃或遮擋的前景中獲取清晰的圖像一直是計算機視覺領(lǐng)域的研究熱點之一，從反光或者遮擋物體的混合圖像中獲取清晰的圖像將有助于提升包括機器人感知、安防監(jiān)控等多種視覺應(yīng)用等性能。
目前解決這一問題的方法主要集中于單張圖像去除和多幀去除兩個角度�；趩螏姆椒ǔ浞掷冒▓D像先驗和離焦線索的方法來對遮擋部分進行識別和重建。雖然取得了優(yōu)異的結(jié)果，但是從遮擋／反射混合的圖像中分離出清晰的背景和前景卻在根本上是一個病態(tài)問題，通常需要對場景有著更高級別的語義理解。實際使用中當面臨分布外圖像時，基于學習的算法會發(fā)生嚴重的退化。
為了解決這些問題，研究人員開始利用多幀圖像來處理遮擋反射問題。對于相機來說，拍照時背景和遮擋物具有不同的深度，通過小幅度運動拍攝的多幀照片將有利于分離出兩層結(jié)構(gòu)間的不同運動。已經(jīng)有很多工作充分利用運動線索來對前景遮擋進行去除，但對于對于多幀視頻處理需要消耗大量的計算資源，同時也需要滿足嚴格的光照連續(xù)性假設(shè)和精確的運動估計結(jié)果。雖然研究人員開始利用無模型的3DCNN來解決這些問題，但卻無法在真實輸入序列中獲得與優(yōu)化方法可比擬的效果。
為了實現(xiàn)更為迅速、高效、高精度的遮擋去除和重建結(jié)果，在這一工作中研究人員提出了一種結(jié)合深度學習與優(yōu)化方法多幀的遮擋去除方案。在優(yōu)化思路的啟發(fā)下，本文由粗到精地交替估計稠密運動和重建前景／背景圖像。對于稠密運動的顯式建模使得算法可以漸進地重建出前景和背景層。
本文的方法沒有構(gòu)建手工的目標函數(shù)來構(gòu)建圖像，而是采用了基于學習的方法來融合流反射變換圖像來適應(yīng)不滿足光照連續(xù)性和光流估計誤差。在通過合成數(shù)據(jù)集對模型進行訓練后，為了提高針對真實序列的生成質(zhì)量，研究人員還增加了在線優(yōu)化過程來對結(jié)果進行提升。
下圖顯示了算法的整體流程，這一漸進式的模型通過由粗到精的過程，經(jīng)過L層的處理不斷提升生成結(jié)果的質(zhì)量。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 先進算力新選擇 | 2025華為算力場景發(fā)布會暨北京xPN伙伴大會成功舉辦
- 2 人形機器人，正狂奔在批量交付的曠野
- 3 宇樹機器人撞人事件的深度剖析：六維力傳感器如何成為人機安全的關(guān)鍵屏障
- 4 解碼特斯拉新AI芯片戰(zhàn)略 ：從Dojo到AI5和AI6推理引擎
- 5 AI版“四萬億刺激”計劃來了
- 6 2025年8月人工智能投融資觀察
- 7 特斯拉三代靈巧手：演進歷程與核心供應(yīng)鏈梳理
- 8 a16z最新AI百強榜：硅谷頂級VC帶你讀懂全球生成式AI賽道最新趨勢
- 9 Manus跑路，大廠掉線，只能靠DeepSeek了
- 10 地平線的野心：1000萬套HSD上車
