近日，百度Apollo平臺(tái)攜手國(guó)內(nèi)激光雷達(dá)公司禾賽科技扔下一顆名為Pandora的重磅炸彈，此舉將極大地加快無(wú)人駕駛落地的進(jìn)程，卻也會(huì)讓不少自動(dòng)駕駛初創(chuàng)公司陷入無(wú)比尷尬的境地。

簡(jiǎn)單地說(shuō)，Pandora指的是一套以激光雷達(dá)、環(huán)視攝像頭模組、多傳感器融合和感知識(shí)別算法為一體的自動(dòng)駕駛開(kāi)發(fā)者套件，它實(shí)際上是一種新型的“多傳感器融合”技術(shù)。

通常，業(yè)界所說(shuō)的“多傳感器融合”，都是指對(duì)攝像頭、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等多種傳感器各自分別收集到的數(shù)據(jù)所做的“數(shù)據(jù)融合”，而Pandora的做法則是“硬件層面的融合”，即在硬件層面就將攝像頭、激光雷達(dá)集成到一起，然后再將采集到的數(shù)據(jù)統(tǒng)一輸送到計(jì)算平臺(tái)。

在Pandora的開(kāi)發(fā)過(guò)程中，禾賽主要負(fù)責(zé)硬件產(chǎn)品的設(shè)計(jì)和制造，而百度Apollo負(fù)責(zé)整體系統(tǒng)的定義和算法的適配。但目前尚不清楚，Pandora中采用的激光雷達(dá)，是不是禾賽的混合固態(tài)Pandar40。

為什么要做Pandora，它能解決什么問(wèn)題呢？ 

禾賽方面認(rèn)為，對(duì)大多數(shù)涉足自動(dòng)駕駛的公司來(lái)說(shuō)，搞定一套傳感器方案，這個(gè)看似簡(jiǎn)單的工作，卻往往需要耗費(fèi)一個(gè)小團(tuán)隊(duì)至少6-8個(gè)月的寶貴研發(fā)時(shí)間，才能勉強(qiáng)做到“不拖后腿”，而這又僅僅是“重復(fù)發(fā)明輪子”的一個(gè)過(guò)程。Pandora就是為了解決這樣的研發(fā)痛點(diǎn)而生。

做“硬件層面的多傳感器融合”，Pandora并不是第一家，硅谷激光雷達(dá)公司AEye早在2013年成立之初就這么干了；《建約車(chē)評(píng)》在12月18日?qǐng)?bào)道的硅谷激光雷達(dá)初創(chuàng)公司Innovusion也采取了激光雷達(dá)和攝像頭在硬件層面融合的方案。 

禾賽科技CEO李一帆和百度Apollo主任研發(fā)架構(gòu)師王亮都在這次Pandora的發(fā)布會(huì)上詳細(xì)解釋了硬件層面的多傳感器融合對(duì)整個(gè)行業(yè)的積極意義，隨后，《建約車(chē)評(píng)》也采訪了地平線創(chuàng)始人余凱、馭勢(shì)科技創(chuàng)始人吳甘沙、主線科技創(chuàng)始人張?zhí)炖?、智行者科技?chuàng)始人張德兆等多位業(yè)內(nèi)人士，多位受訪者一致認(rèn)為，像Pandora這種多傳感器融合方案，是“大勢(shì)所趨”。 

總的來(lái)說(shuō)，Innovusion和禾賽這種硬件層面的多傳感器融合方案，最明顯的好處有以下幾點(diǎn)： 

1.提高了探測(cè)的可靠性 

我們大家理解的“點(diǎn)云”，其實(shí)并不是激光雷達(dá)的原始數(shù)據(jù)。點(diǎn)云只是原始數(shù)據(jù)經(jīng)過(guò)“過(guò)濾”后形成的產(chǎn)物，真正的原始數(shù)據(jù)可能比點(diǎn)云的數(shù)據(jù)多1000倍，也就是說(shuō)，超過(guò)點(diǎn)云數(shù)據(jù)900倍的原始數(shù)據(jù)，都在傳感器里“藏著掖著”，沒(méi)有被輸送到中央計(jì)算系統(tǒng)——這些數(shù)據(jù)如果被充分利用起來(lái)的話，會(huì)有助于提高系統(tǒng)對(duì)外部環(huán)境的感知能力。  

據(jù)Innovusion創(chuàng)始人鮑君威介紹，硬件端的融合，恰好可以充分利用起這些數(shù)據(jù)，再加上激光雷達(dá)和攝像頭分辨率的自然匹配，極大地提高了三維空間重構(gòu)以及物體探測(cè)的可靠性。  

2.解決了數(shù)據(jù)同步的問(wèn)題 

在常見(jiàn)的那種“數(shù)據(jù)融合”下，來(lái)自于不同的傳感器并經(jīng)過(guò)匯總的數(shù)據(jù)在軟件層融合的過(guò)程，往往需要幾十毫秒、上百毫秒的延遲——如果不同廠商做的傳感器沒(méi)有同步的機(jī)制，還需要額外花很大力氣做同步；同步不好的話，同一個(gè)物體會(huì)由于運(yùn)動(dòng)造成不同傳感器探測(cè)到的空間位置的不一致，給后續(xù)融合造成額外的困擾 。而在硬件層面的融合，則不會(huì)存在這種問(wèn)題。

3.節(jié)省計(jì)算量，降低功耗

硬件端的融合還減少了對(duì)計(jì)算量的要求，提高了運(yùn)算處理的效率。

站在攝像頭的角度看，跟激光雷達(dá)在硬件端融合，檢測(cè)到的信息就直接是三維的，不像之前那樣只能檢測(cè)到二維信息，然后第三維“靠猜”了；站在激光雷達(dá)的角度，跟攝像頭的融合，檢測(cè)到的信息直接帶有顏色，可以分類(lèi)，不需要后端再處理一次了。 

從產(chǎn)品性能的角度，節(jié)省結(jié)算量，就是提高效率；而站在用戶的角度，節(jié)省計(jì)算量，就可以降低功耗、降低對(duì)硬件端的性能要求，進(jìn)而降低成本。 

4.幫用戶節(jié)省時(shí)間 

Pandora不是激光雷達(dá)和攝像頭的機(jī)械式拼湊，而是一個(gè)匹配了算法和處理器的有機(jī)系統(tǒng)，用戶可以“拿走即用”，而不是像以前那樣從不同的供應(yīng)商處拿到不同的傳感器后還得再花個(gè)大半年時(shí)間進(jìn)行匹配、調(diào)試。這就會(huì)幫用戶節(jié)省很多時(shí)間，讓他們把時(shí)間投入到自己更擅長(zhǎng)、也更有價(jià)值的事情上面。

5. 降低集成難度

激光雷達(dá)和多個(gè)攝像頭的一體化機(jī)械設(shè)計(jì)，使總體積明顯變小，布線也簡(jiǎn)單多了，更方便主機(jī)廠的集成安裝。

吳甘沙認(rèn)為，Pandora所提供的前融合方案，會(huì)是一個(gè)大方向，只是當(dāng)前因?yàn)榧す饫走_(dá)的價(jià)格太高，還不能成為主流，但2-3年后，一旦激光雷達(dá)的成本降低到1000美元以下，跟攝像頭融合起來(lái)就很厲害了。

Pandora將優(yōu)先為Apollo聯(lián)盟成員提供技術(shù)支持和產(chǎn)品信息，并且，Apollo成員還可享受最佳供貨期和最優(yōu)購(gòu)買(mǎi)價(jià)。這個(gè)重磅的推出，可能會(huì)吸引更多的主機(jī)廠及Tier，甚至是無(wú)人駕駛初創(chuàng)公司加入Apollo生態(tài)。 

但并非是“你好，我好，大家好”。一旦Pandor的各種“用戶體驗(yàn)”經(jīng)過(guò)驗(yàn)證，將會(huì)有不少原本采用“別人家的激光雷達(dá)”的用戶“倒戈”，這個(gè)時(shí)候，那些“體驗(yàn)不佳”的方案將會(huì)受到極大沖擊。 

起初，一些激光雷達(dá)公司也許會(huì)有一點(diǎn)危機(jī)感，但他們可能很快就發(fā)現(xiàn)，激光雷達(dá)和攝像頭在硬件端的融合，難度并不大，他們自己也可以做。然后，相關(guān)的Tier 1也會(huì)跟進(jìn)。再然后呢？ 

“多傳感器融合”（數(shù)據(jù)融合），一直是Momenta、pony.ai及Roadstar 等諸多無(wú)人駕駛初創(chuàng)公司的主要技術(shù)方案，現(xiàn)在，激光雷達(dá)廠商和Tier 1都來(lái)做“多傳感器融合”，并且，把融合“前置”到硬件層，不僅使用更方面，而且性能也更好，這......看到這樣的消息，一些“多傳感器融合“的技術(shù)方案供應(yīng)商可能“整個(gè)人都不好了”。 

左邊，是來(lái)自原來(lái)的“潛在客戶”Tier 1們的“降維打擊”；右邊，是來(lái)自那些原先只能做它的供應(yīng)商的激光雷達(dá)廠商的“升維打擊”，技術(shù)方案供應(yīng)商，處境將無(wú)比尷尬。 

讓這些初創(chuàng)公司去投靠禾賽這樣的激光雷達(dá)公司，它們當(dāng)然不會(huì)甘心；相比之下，投入Tier 1的懷抱，為T(mén)ier 1做“多傳感器融合”——不是它們自己那老一套的融合方案，而是類(lèi)似于Pandora這種融合，可能已是“最好的結(jié)局”。 

一點(diǎn)補(bǔ)充： 

不過(guò)，并非所有人都對(duì)Pandora及其所代表的新技術(shù)盲目樂(lè)觀。主要有以下幾種聲音—— 

1.余凱認(rèn)為，Pandora這樣的標(biāo)品打包方案，應(yīng)該會(huì)有很多無(wú)人駕駛企業(yè)感興趣，但“估計(jì)離車(chē)規(guī)級(jí)量產(chǎn)版本還有很長(zhǎng)距離”。 

2.某激光雷達(dá)企業(yè)COO認(rèn)為，在硬件端就將攝像頭和激光雷達(dá)融合，最大的弊端在于，靈活性不足。有的用戶，可能就希望攝像頭和激光雷達(dá)安裝在不同的地方，就希望用某一個(gè)款特定的攝像頭，而“硬件層的融合”卻杜絕了這種可能性。最終結(jié)果可能是，只有那些技術(shù)實(shí)力不強(qiáng)、沒(méi)有能力自己做融合的技術(shù)會(huì)采用Pandora，而融合能力強(qiáng)的用戶還是會(huì)自己研究傳感器方案。 

3.吳甘沙雖然也看好Pandora這個(gè)方向，但他也有一些疑慮。“以前的一些融合產(chǎn)品，如德?tīng)柛Ｔ?013年推出將雷達(dá)和攝像頭集成到一起的駕駛輔助系統(tǒng)RACam， 大陸也在2015年推出過(guò)一款將單線激光雷達(dá)和攝像頭融合在一起的‘多功能攝像頭激光雷達(dá)’（MFL）中，但也并沒(méi)有做得有風(fēng)生水起。”

4. 在Roadstar創(chuàng)始人佟顯僑看來(lái)，Pandora在本質(zhì)上就是個(gè)Super Sensor，和Depth Camera”沒(méi)多大區(qū)別。佟顯僑還是對(duì)Roadstar所采用的多傳感器融合技術(shù)更有信心。 

Roadstar的多傳感器融合技術(shù)，既不同于Pandora的“在硬件層次融合”，也跟其他無(wú)人駕駛初創(chuàng)公司的“數(shù)據(jù)融合”有很大的不同——通常的“數(shù)據(jù)融合”，都是先等各傳感器收集到的原始數(shù)據(jù)再經(jīng)過(guò)計(jì)算處理后再融合，而Roadstar則使用獨(dú)創(chuàng)的算法DeepFusion，對(duì)各種傳感器獲得的原始數(shù)據(jù)進(jìn)行深度融合。 

這種深度融合數(shù)據(jù)算法使深度學(xué)習(xí)所需要的訓(xùn)練數(shù)據(jù)大幅度減少，用4000個(gè)數(shù)據(jù)就能超過(guò)傳統(tǒng)非深度融合學(xué)習(xí)算法15萬(wàn)個(gè)數(shù)據(jù)的效果。并且，由于傳感器的物理特性互補(bǔ)，導(dǎo)致很多LiDAR和Camera下的Corner sense都可以別識(shí)別，導(dǎo)致Corner Sense降低到傳統(tǒng)算法下的1%。如此一來(lái)，就降低了對(duì)路測(cè)里程的要求。