最近這段時間，關(guān)于純視覺智駕方案的討論比較火，口水滿天飛，大家互相懟，其實核心的爭論只有一個，就是攝像頭能不能消滅激光雷達(dá)。
彎彎繞繞也許是男女談情的小妙招，但是，談?wù)摷夹g(shù)最好還是單刀直入。
如果站在整車的視角，激光雷達(dá)的應(yīng)用不僅局限于智駕，還能用于主動安全、智能底盤，甚至可能在未來四處開花，發(fā)展出更加花里胡哨的玩法，對整車而言，激光雷達(dá)是不可能被消滅的。
因此，不要顧左右而言他，也別站在整車的角度談激光雷達(dá)，對著問題的根本直搗黃龍，問題的關(guān)鍵或者說關(guān)鍵的問題是：單純看智駕，攝像頭能不能消滅激光雷達(dá)？
兩年前，關(guān)于這個問題還沒有太多的爭論。
在暗光、炫光、逆光的光照條件下，攝像頭感知能力明顯不及激光雷達(dá)，即便不考慮光照，攝像頭拍攝到的是二維圖像，當(dāng)時的視覺神經(jīng)網(wǎng)絡(luò)很難在二維圖像中得到比較細(xì)致的3D信息，這就使得純視覺智駕方案可以運(yùn)行在車輛距離比較大、障礙物種類有限的高速場景，很難用于車輛密集、障礙物種類眾多的城區(qū)場景。
隨后，特斯拉在2022年CVPR會議上公開占用網(wǎng)絡(luò)，并在同年的AI DAY上給出了占用網(wǎng)絡(luò)的模型架構(gòu)，業(yè)界一片歡騰：終于有希望拿掉成本高昂的激光雷達(dá)了，要知道，2022年，單顆高線數(shù)激光雷達(dá)的價格依然高達(dá)上萬！
占用網(wǎng)絡(luò)解決了本質(zhì)上仍然是2D信息的BEV網(wǎng)絡(luò)的兩大問題。
第一，它將3D空間劃分成一個又一個體素網(wǎng)格，為每個網(wǎng)絡(luò)分配一個特征向量，通過對每個體素進(jìn)行三維語義占有預(yù)測，給出車周環(huán)境精細(xì)的3D信息。
第二，由于其對物體形狀、背景環(huán)境、異常障礙等都能進(jìn)行可靠的表示和識別，從而可以有效地處理訓(xùn)練數(shù)據(jù)集中未曾出現(xiàn)過的物體。
所以，視覺占用網(wǎng)絡(luò)出現(xiàn)之后，激光雷達(dá)的作用的確是大大下降了。
宜將剩勇追窮寇，不可沽名學(xué)霸王。
在良好光照條件下，視覺占用網(wǎng)絡(luò)的兩種優(yōu)異特性給了激光雷達(dá)重重的打擊，ISP的進(jìn)化又進(jìn)一步削弱了激光雷達(dá)在暗光、炫光和逆光場景下的優(yōu)勢。
插一句題外話，在雨雪霧天氣條件下，激光雷達(dá)的工作特性盡管比攝像頭好一些，但跟毫米波雷達(dá)相比，攝像頭和激光雷達(dá)大哥不說二哥，工作特性都比較差，那些認(rèn)為激光雷達(dá)能抗惡劣天氣的說法其實是不對的。
攝像頭既然可以通過視覺神經(jīng)網(wǎng)絡(luò)算法的進(jìn)步提高三維建模能力，當(dāng)然也可以通過其他技術(shù)的進(jìn)步提高抗暗光和抗強(qiáng)光的能力，ISP就是這樣的技術(shù)之一。
目前，ISP算法的進(jìn)步已經(jīng)可以比較好地支撐攝像頭在暗光和逆光下的表現(xiàn)。
說起來，原理倒也不復(fù)雜。在一般的暗光條件下，通過自動增益控制技術(shù)，根據(jù)環(huán)境光線自動調(diào)整圖像亮度和對比度，拉高特別暗的區(qū)域的像素值，就可以顯露暗光區(qū)域丟失的畫面細(xì)節(jié)。
強(qiáng)光條件下，場景中不同區(qū)域亮度的差異大，采用高動態(tài)范圍技術(shù)，抑制強(qiáng)光部分的過分曝光，就可以同時兼顧亮部和暗部的細(xì)節(jié)，做到亮處不過曝、暗處細(xì)節(jié)不丟失。
說起攝像頭的這種超能力，有一個有趣的對比。
有種說法認(rèn)為，人眼大概相當(dāng)于3-6億像素的相機(jī)，目前800萬像素的車載攝像頭永遠(yuǎn)無法和人類相比。
但是，有了AI ISP技術(shù)，攝像頭可以自動調(diào)節(jié)不同區(qū)域圖像的對比度和曝光強(qiáng)度，這顯然是AI技術(shù)加持的攝像頭能碾壓人眼的地方。
不要覺得不可思議，這一輪AI技術(shù)大爆發(fā)以來，大模型已經(jīng)在很多層面上超越了人類的能力，AI ISP技術(shù)只不過是AI技術(shù)在圖像處理領(lǐng)域的又一次秀肌肉而已。
做人不能刻舟求劍，死守著老理兒，尤其在技術(shù)快速發(fā)展的年代，更得時刻保持刷新自己認(rèn)知的能力。
長江后浪推前浪，后浪把前浪拍倒在沙灘上。
AI技術(shù)的進(jìn)步催生了視覺專用網(wǎng)絡(luò)，增強(qiáng)了攝像頭在暗光、炫光下的工作能力，但這并不意味著激光雷達(dá)從此沒有了價值。
原因有二，第一，視覺占用網(wǎng)絡(luò)的源頭來自激光雷達(dá)，第二，攝像頭在暗光、炫光下依然比不上激光雷達(dá)。
萬事萬物都有緣起，藥匣子說不想知道自己是怎么來的，只想知道自己到底是怎么沒的，但我們要知道的恰恰是：視覺占用網(wǎng)絡(luò)到底是怎么來的？
這幾年，網(wǎng)上經(jīng)常出現(xiàn)搭載激光雷達(dá)的特斯拉車型的照片，按馬斯克一條路走到黑的性格，這當(dāng)然不意味著特斯拉下一代車型要加裝激光雷達(dá)，這只不過說明，它的視覺占用網(wǎng)絡(luò)需要激光雷達(dá)提供真值做訓(xùn)練。
具體的做法是，將高質(zhì)量、高線數(shù)的激光雷達(dá)搭載在特斯拉的車型上，在路側(cè)中收集數(shù)據(jù)，在自動化數(shù)據(jù)生產(chǎn)線中做數(shù)據(jù)標(biāo)注，通過激光雷達(dá)點云包含的距離幾何信息在攝像頭圖像中標(biāo)注出精確的3D信息，將精標(biāo)后的數(shù)據(jù)投喂給視覺神經(jīng)網(wǎng)絡(luò)做訓(xùn)練。
如此乾坤大挪移，視覺神經(jīng)網(wǎng)絡(luò)就學(xué)到了激光雷達(dá)獲取3D信息的能力。
很顯然，視覺占用網(wǎng)絡(luò)模仿學(xué) 的是激光雷達(dá)的能力，和真值提供者當(dāng)然會存在一定的差距。
再說到光照條件，激光雷達(dá)通過光線的飛行和反射測量物體距離，這種工作特性和光線亮暗一點關(guān)系都沒有。
攝像頭就不一樣了，ISP技術(shù)處理強(qiáng)光比較容易，但在真正的暗光條件下，其工作能力比較差。
巧婦難為無米之炊，沒有足夠的光線反射到攝像頭的感光單元上，AI ISP技術(shù)也無法“無中生有”。
在光線真的很弱的情況下，上帝說沒有光也就沒有了光，它兒子耶穌來了也沒用，我說的。
看這張圖，攝像頭的抗暗光能力遠(yuǎn)遜色于抗強(qiáng)光能力，其道理就來自于這里。
隨著算法的進(jìn)步和更多數(shù)量的訓(xùn)練，視覺占用網(wǎng)絡(luò)可以越來越準(zhǔn)確地估計3D信息，但是，激光雷達(dá)可以提供真實而非估計的幾何3D信息。
在暗光條件下，激光雷達(dá)雷達(dá)具有更強(qiáng)的工作能力?；谶@兩種能力，單純看智駕，攝像頭也依然無法消滅激光雷達(dá)。
嚴(yán)謹(jǐn)一點的話，可以再加一個定語，攝像頭無法消滅高階智駕中的激光雷達(dá)。
