2月20-21日，2019全球第二屆自動(dòng)駕駛論壇在武漢舉辦，本次論壇以“智能駕駛 改變未來(lái)”為主題。上海保隆汽車(chē)科技股份有限公司汽車(chē)電子總監(jiān)李威發(fā)表了主題演講，演講內(nèi)容如下：

上海保隆汽車(chē)科技股份有限公司汽車(chē)電子總監(jiān) 李威

我今天的主題是用機(jī)器的視角去感知世界，為什么有這樣一個(gè)主題？其實(shí)現(xiàn)在大多數(shù)車(chē)上的傳感器，視覺(jué)也好，雷達(dá)也好，往往都是基于仿生學(xué)去做的，而仿生最主要的主體是人類(lèi)自己，但是車(chē)是一個(gè)很特殊的主體。所以說(shuō)首先我們要從車(chē)本身的視角去看這個(gè)世界，而不是把人代入這個(gè)世界，所以我們未來(lái)所設(shè)計(jì)的各種傳感器也好，其他部件也好，應(yīng)該更符合車(chē)本身的特點(diǎn)。

那么車(chē)的特點(diǎn)是什么？

車(chē)有很多個(gè)跟我們?nèi)祟?lèi)不太一樣的東西，其中最主要的是體積，大家可以想象一下現(xiàn)在一個(gè)小車(chē)的體積是人的多少倍。第二是速度，我們?nèi)说牟叫兴俣仁欠浅Ｂ模词鼓泸T上自行車(chē)也就十幾二、三十公里每小時(shí)，但車(chē)我知道在德國(guó)最快的話，如果不限速可以做到幾百公里。另外一個(gè)是距離，正是因?yàn)樗俣瓤炝耍哉f(shuō)它的距離較大。大家可以想象一下，你速度快了，那么你對(duì)距離的感知一定要求更遠(yuǎn)，我們?nèi)说哪恳暰嚯x即使在晴天的時(shí)候，你在高速公路上看遠(yuǎn)處東西是比較模糊的，但車(chē)往往需要更遠(yuǎn)的距離。對(duì)人來(lái)說(shuō)，我們的眼睛更多的是適應(yīng)陽(yáng)光，我們是生活在地球上，所以我們的眼睛是為了適應(yīng)太陽(yáng)而存在的。當(dāng)我們?cè)谝雇淼臅r(shí)候，除非一些很特殊的，比如說(shuō)我們知道有些色盲對(duì)夜晚的敏感度比較高，除了這種以外，我們?cè)谝雇淼目梢暰嚯x是很短的，我們畢竟不像狼等生物，在夜晚有非常好的視覺(jué)。

車(chē)不一樣，車(chē)要求全天候在道路上行駛，不光是白天還是夜晚，所以你很難說(shuō)我今天做一個(gè)自動(dòng)駕駛系統(tǒng)，一個(gè)感知系統(tǒng)，只要求他在白天行駛，夜晚或者有些極端情況下我們不要求，這是不現(xiàn)實(shí)的。

基于此我們有一個(gè)判斷，如果我們從仿生學(xué)的角度去看，車(chē)其實(shí)具有兩個(gè)特點(diǎn)，第一它有獵豹的速度，而且它不是一個(gè)沖刺的速度，它擁有一個(gè)長(zhǎng)時(shí)間奔跑的獵豹的速度。第二它擁有大象的體積，它需要看得更遠(yuǎn)。我們可以想象一下，像車(chē)這樣一個(gè)東西，自然界里面是沒(méi)有對(duì)標(biāo)的，我們?cè)谧匀唤缯也坏竭@樣一個(gè)動(dòng)物像車(chē)一樣。你們可以想一下，一個(gè)大象以獵豹的速度向前狂奔，那是怎樣一種可怕的情形。

所以說(shuō)基于此我們可以看到，當(dāng)我們?yōu)檐?chē)去適應(yīng)整個(gè)感知系統(tǒng)的時(shí)候，他一定和傳統(tǒng)是不一樣的。舉個(gè)簡(jiǎn)單的例子，大家知道我們現(xiàn)在很多的視覺(jué)系統(tǒng)是以30幀每秒去定義整個(gè)頻率，為什么是30幀？有一個(gè)基本的特點(diǎn)——它是適合人類(lèi)速度的，我們當(dāng)時(shí)最早定義30幀每秒的一個(gè)初衷是人眼，我們的眼睛看著這個(gè)畫(huà)面是無(wú)閃爍的。

我們可以看到，今天大量的車(chē)上的傳感器都是以30幀每秒定的，但是我們已經(jīng)可以發(fā)現(xiàn)很多不適應(yīng)的地方。所以說(shuō)現(xiàn)在我們很多新的傳感器比如說(shuō)60幀每秒，或者定的更高。我很贊同一個(gè)點(diǎn)——車(chē)上的傳感器一定不能以人為出發(fā)點(diǎn)，一定有很多冗余。三個(gè)層，感知層、決策層和執(zhí)行層，在感知層上面，我們看到現(xiàn)在最主要的幾個(gè)傳感器有毫米波雷達(dá)、激光雷達(dá)、攝像頭，熱成像在夜晚可以看得很遠(yuǎn)，它和攝像頭的原理是不一樣的。剛才上面有幾個(gè)紅色的點(diǎn)，紅色的部分我們都做了，而且是全線產(chǎn)品。

第二就是車(chē)的特點(diǎn)是不一樣的，不光有速度和體積，它環(huán)境要求特別高，有很高的溫度要求，它有陸地到水面的要求，我們不能要求一個(gè)車(chē)只在晴天行駛，它一定會(huì)在雨天、在雪天行駛，而我們的傳感器都是暴露在外面。所有暴露在外面?zhèn)鞲衅饕欢ㄒ泻芨叩姆牢坌?，所以說(shuō)這一點(diǎn)也是另外一個(gè)點(diǎn)，我們不能把車(chē)跟手機(jī)類(lèi)比，很多人會(huì)問(wèn)我，我們手機(jī)上的攝像頭已經(jīng)是1000萬(wàn)像素了，那么你車(chē)上的像素多少？我可以很坦率地告訴大家，現(xiàn)在在車(chē)規(guī)級(jí)我們還是百萬(wàn)級(jí)別，我們目前最好的攝像頭已經(jīng)做到兩三百萬(wàn)像素，并沒(méi)有做得更高，為什么不能做得更高？不是因?yàn)榧夹g(shù)達(dá)不到，而是因?yàn)榭煽啃裕攒?chē)對(duì)可靠性一定有很高的要求。

這是車(chē)的另外一個(gè)特點(diǎn)，它要求全方位的監(jiān)測(cè)。我們可以看到人的眼睛是朝前看的，我們的耳朵是朝兩邊的，我們都不是無(wú)死角的監(jiān)測(cè)，超過(guò)視角范圍內(nèi)，我們會(huì)扭著脖子向后看，但車(chē)不一樣，車(chē)是一個(gè)龐然大物，我們剛才說(shuō)過(guò)它是一頭大象，大象轉(zhuǎn)身是很難的，所以對(duì)車(chē)上的要求如果你需要達(dá)到360度無(wú)死角監(jiān)測(cè)，那么就一定要求在車(chē)上裝很多攝像頭，裝很多個(gè)雷達(dá)，而不是一個(gè)攝像頭一個(gè)雷達(dá)，這就是車(chē)的一個(gè)不同，所以說(shuō)我們千萬(wàn)不能以人的觀點(diǎn)去衡量車(chē)。

這是我們保隆做的雷達(dá)，這是我們做的77Ghz雷達(dá)，我們現(xiàn)在另外一個(gè)特點(diǎn)就在于對(duì)分辨率的要求，車(chē)上雷達(dá)其實(shí)更類(lèi)似于蝙蝠的耳朵，而不是人類(lèi)的耳朵，蝙蝠的耳朵需要有很高的分辨率，目前來(lái)說(shuō)77Ghz雷達(dá)分辨率是不高的，但事實(shí)上在未來(lái)我們到了圖像雷達(dá)的區(qū)別到更高級(jí)別的時(shí)候，車(chē)一定需要更高的分辨率，我們有布局。

這是我們對(duì)汽車(chē)電子發(fā)展方向的一個(gè)判斷。第一，我們認(rèn)為感知層和執(zhí)行層面未來(lái)一定要配合，甚至更多的融合，我們有一個(gè)感受，隨著對(duì)算力的要求越來(lái)越高，算力一定會(huì)分層。我們不可能把所有的算力全部集中到?jīng)Q策層面，算力一定有一部分會(huì)分配到感知層面。第二，所有點(diǎn)的感知層面一定會(huì)要求對(duì)復(fù)雜信息有一個(gè)很好的識(shí)別，包括各種環(huán)境。整車(chē)的性能提高對(duì)傳感器的要求更高，我說(shuō)的整車(chē)性能是由于自動(dòng)駕駛的推進(jìn)，所以我們要求對(duì)整個(gè)車(chē)的性能要求更高。

這個(gè)傳感器叫DVS，是一個(gè)很特殊的傳感器，是我們保隆最新跟國(guó)內(nèi)的一家高科技芯片企業(yè)一起研發(fā)的一個(gè)產(chǎn)品。今天我為什么要講這樣一個(gè)傳感器，因?yàn)檫@個(gè)傳感器符合我剛才講的那些定義，它是一個(gè)很特別的東西，跟雷達(dá)、攝像頭都不一樣，甚至我們認(rèn)為它可能是另外一種攝像頭，它最大的一個(gè)特點(diǎn)在于它并不是以幀這樣一個(gè)傳統(tǒng)的概念去衡量，而是以流這樣一個(gè)概念，它更符合汽車(chē)的特點(diǎn)。汽車(chē)最高的特點(diǎn)是速度，這樣一個(gè)傳感器可以響應(yīng)非常快，它是高速動(dòng)態(tài)的。有一個(gè)學(xué)術(shù)上的名稱(chēng)叫事件驅(qū)動(dòng)，如果這個(gè)事件有變化，它就輸出圖像，如果沒(méi)有變化，它就不輸出圖像。正是因?yàn)檫@樣一個(gè)特點(diǎn)，這樣一顆傳感器的輸出響應(yīng)速度最高的時(shí)候可以達(dá)到納秒級(jí)。大家不要把它和高速攝像頭混合在一起，這樣一個(gè)新的技術(shù)更多的時(shí)候是事件驅(qū)動(dòng)的，它的每一個(gè)像素我們可以理解為一個(gè)開(kāi)關(guān)，當(dāng)世界的光線發(fā)生變化的時(shí)候，開(kāi)關(guān)打開(kāi)就往外輸出，使它具有非常好的實(shí)時(shí)性和對(duì)這個(gè)事件的反應(yīng)能力。所以說(shuō)它是連續(xù)高速處理。

正是因?yàn)樗梢詫?duì)動(dòng)態(tài)的物體進(jìn)行處理，對(duì)傳統(tǒng)的視覺(jué)來(lái)說(shuō)如果我們要做一些計(jì)算的話，我們要對(duì)整幅圖像做所有的計(jì)算，這樣就消耗了大量的算力。算力是一個(gè)非常麻煩的問(wèn)題，而這樣一個(gè)傳感器由于它是對(duì)事件動(dòng)態(tài)產(chǎn)生變化，在前端等于它做了基于動(dòng)態(tài)視覺(jué)提取ROI，減小了你的圖像處理區(qū)域，大大提升了處理時(shí)間。第二，由于它是事件驅(qū)動(dòng)，所以說(shuō)它的像素點(diǎn)光強(qiáng)不需要去積累，我們傳統(tǒng)的攝像頭都是需要積累一定的光強(qiáng)然后輸出，那么它不需要光強(qiáng)積累。它還有一個(gè)很好玩的特點(diǎn)，因?yàn)樗腔谑录?qū)動(dòng)的，所以它天然輸出了物體的動(dòng)態(tài)矢量信息，所以說(shuō)它天然的可以去判斷這個(gè)事物體的運(yùn)動(dòng)方向。大家可以想象一下，當(dāng)一條路上有很多個(gè)人在走的時(shí)候，傳統(tǒng)的相機(jī)都重疊在一起了，你是無(wú)法去分辨的，但是如果是基于目前新的技術(shù)，由于可以對(duì)每個(gè)運(yùn)動(dòng)方向有一個(gè)預(yù)測(cè)，對(duì)每一個(gè)物體的運(yùn)動(dòng)有一個(gè)輸出，它天然地就可以把所有的物體區(qū)分開(kāi)來(lái)。

最后它的時(shí)間可以達(dá)到納秒級(jí)，我們也可以設(shè)定讓它做到微秒級(jí)。傳統(tǒng)上它也可以做一些灰度值的輸出。我們可以看到一個(gè)人在打電話，這個(gè)人的動(dòng)作幅度非常小，你可以看到他的輪廓在不斷地輸出，從上面的圖里基本上看不到這個(gè)人在動(dòng)，這個(gè)人基本上沒(méi)有動(dòng)，它有非常微小的動(dòng)作，那么我們的事件驅(qū)動(dòng)攝像頭可以把這種非常微小的動(dòng)作捕捉到然后輸出出來(lái)，所以你可以看到他的輪廓在不斷的變化，所有的變化就是輪廓的變化點(diǎn)。

最后一個(gè)特別有意思，光流。我剛才說(shuō)過(guò)它可以測(cè)試物體的運(yùn)動(dòng)方向。抽煙的煙霧是由無(wú)數(shù)顆小粒子組成的，我們可以這么去理解，可以看到這個(gè)人在抽煙吐煙的時(shí)候，煙霧里面有不同的顏色，這種不同的顏色就是它的速度、矢量，矢量不同導(dǎo)致它的速度，即使是煙這樣一種很微小的物體，我們依然可以通過(guò)動(dòng)態(tài)驅(qū)動(dòng)的攝像頭抓到它的整個(gè)的特征。

我們看到這兩個(gè)人是橫向從里邊穿出來(lái)，這是我們現(xiàn)在自動(dòng)駕駛的一個(gè)軟肋。現(xiàn)在不管是攝像頭也好，雷達(dá)也好，甚至激光雷達(dá)也好，都有一個(gè)很致命的問(wèn)題，我們對(duì)橫向物體的敏感度是不夠的，我們通常說(shuō)自動(dòng)駕駛在中國(guó)有一個(gè)最大的bug是電動(dòng)自行車(chē)。如果今天有一輛電動(dòng)自行車(chē)以很高的速度橫向穿出的時(shí)候，我可以很坦率的告訴大家目前所有的自動(dòng)駕駛車(chē)全部都可以掛掉，沒(méi)有一個(gè)自動(dòng)駕駛車(chē)能夠在這個(gè)時(shí)候及時(shí)的對(duì)橫向穿出的電動(dòng)自行車(chē)做出很好的反應(yīng)，這是由它的物理特征所決定的。

我們這顆攝像頭因?yàn)閷?duì)運(yùn)動(dòng)物體有很良好的輸出，只要有東西橫向穿出，我馬上可以把它抓住，馬上可以輸出。上面和下面我們做了一個(gè)對(duì)比，上面是某個(gè)國(guó)際著名的做單目攝像頭的企業(yè)的一個(gè)輸出，下面是我們的輸出，你可以看到他沒(méi)有抓住，我們很好的抓住，我們也用雷達(dá)做過(guò)對(duì)比測(cè)試，雷達(dá)也反應(yīng)不過(guò)來(lái)。在這種情況下我們目前所知的能夠反應(yīng)過(guò)來(lái)的只有這一顆動(dòng)態(tài)視覺(jué)攝像頭。

這是一個(gè)很好玩的案例。這是夜晚，這個(gè)是傳統(tǒng)的攝像頭，我們做了一些灰度處理之后，那邊是高動(dòng)態(tài)攝像頭輸出的，即使在夜晚，周邊物體的輪廓依然可以非常清晰的輸出，它具有非常強(qiáng)的光線適應(yīng)能力，它的動(dòng)態(tài)范圍非常大。我們大概測(cè)試過(guò)應(yīng)該是超過(guò)120個(gè)dB，應(yīng)該會(huì)達(dá)到130dB左右，這個(gè)值我們現(xiàn)在還在測(cè)定中，還沒(méi)有完全得出一個(gè)結(jié)論。

為什么我今天跟大家講這樣一個(gè)DVS攝像頭？第一，確實(shí)是因?yàn)楸Ｂ‖F(xiàn)在正在開(kāi)發(fā)這樣一個(gè)比較前沿的攝像頭，我們有傳統(tǒng)的東西，但是我們也在開(kāi)發(fā)這樣一個(gè)前沿的攝像頭。第二，目前自動(dòng)駕駛再往后走，我們除了傳統(tǒng)的一些東西，其實(shí)還源源不斷的有新的技術(shù)出現(xiàn)，而所有這些新的技術(shù)，正一點(diǎn)一點(diǎn)地把汽車(chē)這樣一臺(tái)飛奔的大象的感知層填補(bǔ)得越來(lái)越好，它就會(huì)飛奔的越來(lái)越安全，這是一個(gè)點(diǎn)。所以說(shuō)我們認(rèn)為如果你是一個(gè)企業(yè)，你要去做感知層，你肯定不能說(shuō)我只說(shuō)一種或者兩種，你一定要把所有這些感知層的東西按照特點(diǎn)去分類(lèi)，做成不同的產(chǎn)品線，這樣才能夠在未來(lái)的市場(chǎng)上有競(jìng)爭(zhēng)力。

所以保隆整個(gè)的目標(biāo)就是去做汽車(chē)的眼睛和耳朵，所以我們致力于成為汽車(chē)的眼睛和耳朵，這個(gè)是我們目前部分的產(chǎn)品線。剛才的DVS是我們還在研發(fā)的東西，我們現(xiàn)在和國(guó)內(nèi)的幾家車(chē)廠已經(jīng)達(dá)成了一些協(xié)議，預(yù)計(jì)在今年下半年就可以在國(guó)內(nèi)的很多自動(dòng)駕駛車(chē)上可以看到。

這是我們的一些算法，這是我們的雙目。剛才也談到到底是雙目還是單目好，其實(shí)現(xiàn)在并沒(méi)有一個(gè)結(jié)論，很多人說(shuō)單目好，很多人說(shuō)不好，我們?cè)趩文可嫌形覀兊南到y(tǒng)，我們?cè)陔p目上也有我們的系統(tǒng)，但是總的來(lái)說(shuō)我們這邊在感知層上所有的算法都是保隆自己研發(fā)的。

順便談一下雙目的一個(gè)問(wèn)題，很多時(shí)候我們談到雙目就有一個(gè)問(wèn)題，就說(shuō)到底是雙目好還是單目好，其實(shí)這里面有一個(gè)很大的前提就是距離是以八厘米或者十厘米標(biāo)準(zhǔn)去衡量一個(gè)雙目，但試想一下你為什么要定八厘米或者十厘米？這里面有兩個(gè)因素，第一個(gè)因素你還是拿人去做類(lèi)比，用我們?nèi)祟?lèi)眼睛的瞳距，第二點(diǎn)，我們想象一下汽車(chē)是一臺(tái)飛奔的大象，它的雙目距到底是多少最為合適？肯定不是八。我一直在強(qiáng)調(diào)在汽車(chē)上如果你要做雙目一定是大雙目距，一定不要做小雙目距。大雙目距其實(shí)更大的考驗(yàn)不是在算法上，而是在結(jié)構(gòu)、材料形變，在這些材料學(xué)上，你怎么去彌補(bǔ)這些材料學(xué)的誤差給雙目帶來(lái)的天然的差，這是一個(gè)大的特點(diǎn)。

這是我們的雷達(dá)，基本上我們的雷達(dá)全部都是自己研發(fā)，包括從天線到前端到算法都是自己研發(fā)，我們目前的雷達(dá)是2T4R、3T4R的，我們也會(huì)做一個(gè)是4T12R，我們的目標(biāo)是到2021年的時(shí)候，我們能夠輸出一顆實(shí)際意義上的圖像雷達(dá)，如果我們有一顆實(shí)際意義上的圖像雷達(dá)配合我們剛才所說(shuō)的DVS的時(shí)候，在感知層我們已經(jīng)達(dá)到了速度和分辨率兩者的統(tǒng)一，這個(gè)時(shí)候我們?cè)偃プ鰣D像和雷達(dá)的融合，整個(gè)世界就會(huì)不一樣，我們也許能夠真正真實(shí)地反映實(shí)際的三維的世界，這是我們的目標(biāo)。當(dāng)我們真實(shí)地反映了實(shí)際的三維世界的時(shí)候，我們可以給車(chē)廠提供更詳細(xì)的感知層信息的時(shí)候，在感知層上，我們已經(jīng)做好了準(zhǔn)備。

這是我們雷達(dá)的一些技術(shù)優(yōu)勢(shì)。順便說(shuō)一下，如果我們要做這樣一個(gè)東西，我們是要做整個(gè)系統(tǒng)，我們也做了一個(gè)評(píng)估系統(tǒng)，去評(píng)估我們整個(gè)系統(tǒng)是否有效。

為了評(píng)估我們的產(chǎn)品線和產(chǎn)品鏈，我們做了一個(gè)軟件工具鏈，基于軟件工具鏈，我們可以實(shí)際的評(píng)估我們的攝像頭、雷達(dá)在實(shí)際場(chǎng)景中的應(yīng)用是否合乎標(biāo)準(zhǔn)。

最后總結(jié)一下保隆的思路，宗旨是讓更多人受益于汽車(chē)科技的發(fā)展，所以我們自始至終是沿著這條路在往前前進(jìn)。同時(shí)在整個(gè)自動(dòng)駕駛和ADAS上面，我們保隆始終是focus在感知層領(lǐng)域，我們希望能夠把感知層做得更好，給更多的OEM提供更好的感知層產(chǎn)品。我們的目標(biāo)是成為汽車(chē)的眼睛和耳朵，謝謝大家。