轉眼間，百度的 Apollo 平臺已經(jīng)公布了一年多了。這項聲勢浩大的自動駕駛開源計劃到現(xiàn)在為止已經(jīng)更新到了 Apollo2.5 版本。Apollo 平臺陸續(xù)開放了高精度地圖、參考硬件、云計算、視覺感知等眾多模塊。在最新的 2.5 版本中，Apollo 的方案已經(jīng)開放了高速公路上的自動駕駛能力，并開始開放車輛控制相關的模塊。

對于汽車行業(yè)來說，這個迭代速度可以說是非?？炝?。

百度 Apollo 的數(shù)據(jù)開放計劃

其實除了迭代速度之外，百度 Apollo 計劃還有一個需要重視的舉措——開放數(shù)據(jù)。

自動駕駛的核心在于需要深度的 AI 算法，這又依靠海量大數(shù)據(jù)和高性能計算。數(shù)據(jù)分成原始數(shù)據(jù)、標注數(shù)據(jù)、邏輯數(shù)據(jù)和仿真數(shù)據(jù)四個層次。原始數(shù)據(jù)由 Lidar、攝象頭、雷達、GNSS、IMU、CAN 總線等數(shù)據(jù)構成。光有原始數(shù)據(jù)還不夠，為了做深度學習養(yǎng)料，要教會機器數(shù)據(jù)表達的是什么，這就需要標注。進而需要對邏輯的理解和各種模型的刻畫。要呈現(xiàn)一個完整的自動駕駛要解決相當多的問題，還需要構建更廣泛的場景，重組出無窮的場景，成為仿真數(shù)據(jù)。

熟悉自動駕駛的人都知道，數(shù)據(jù)是驅動整個技術優(yōu)化的核心資源。很多汽車廠商對數(shù)據(jù)十分珍視，輕易絕不愿意拿出來。

而作為一個開放平臺，百度 Apollo 數(shù)據(jù)作為重要組成部分也開放了出來。在 Apollo1.0 版本發(fā)布時，就率先將百度積累多年的數(shù)據(jù)資源對外開放，包括 2D 紅綠燈檢測、2D 紅綠燈檢測及 Road Hackers 等。此后的 Apollo1.5、2.0 及 2.5 版本中，Apollo 的數(shù)據(jù)開放類型及數(shù)據(jù)量也都持續(xù)擴大。

在今年的 3 月份，百度又公布了一個全新的模塊：ApolloScape。你可以把它看作是 Apollo 平臺下一個相對獨立的「子品牌」。它的本質是一個公開的數(shù)據(jù)集，包含自動駕駛數(shù)據(jù)和仿真技術兩個部分。

自動駕駛數(shù)據(jù)將包括具有高分辨率圖像和像素級別標注的 RGB 視頻，具有場景級語義分割的密集三維點云、基于雙目立體視覺的視頻和全景圖像。數(shù)據(jù)集中提供的圖像為通過采集系統(tǒng)每米采集一幀的方式采集，分辨率為 3384 x 2710。

百度數(shù)據(jù)采集車是配備了高分辨率相機和 Riegl 采集系統(tǒng)的中型 SUV。采集場景包括不同城市的不同交通狀況的道路行駛數(shù)據(jù)，平均每張圖中移動障礙物的數(shù)量從幾十到上百不等。（例如，單張圖像中多達 162 輛交通工具或 80 名行人）

除了采集數(shù)據(jù)之外，百度還會用自己的視覺感知算法給每一幀畫面中的像素做相應的語義分割。當前支持的語義分割種類已經(jīng)達到了 25 項，包括車輛、行人、自行車、摩托車、道路、交通標識等等。這樣的分割有助于開發(fā)者可以在這個數(shù)據(jù)集中直接訓練以及驗證自己的自動駕駛算法。換言之這套數(shù)據(jù)集是可以讓開發(fā)者直接拿來就用的，而不用再做初始的數(shù)據(jù)解析。

截止到今年 3 月 8 日，百度共發(fā)布了包含 74555 幀視頻圖像序列及對應的逐像素標注和姿態(tài)文件。從今年到 2019 年底，百度計劃在數(shù)據(jù)集中陸續(xù)加入更改多傳感器支持以及更廣泛的數(shù)據(jù)覆蓋面。同時，百度還計劃在今年年底引入「眾包」的數(shù)據(jù)采集模式，用于收集更多的罕見交通場景。

而在仿真技術上，百度也將逐漸開放行駛軌跡制定，駕駛決策模塊，以及感知融合和導航等模塊。這也是為了能夠更方便的讓開發(fā)者驗證和訓練自己的算法。

ApolloScape 的定位

可以明顯的感受到，百度希望通過 ApolloScape 這個數(shù)據(jù)集吸引到更多的開發(fā)者來參與到 Apollo 計劃中。但是為何要建立一個獨立的子品牌？這里有什么特殊的定位嗎？

在 4 月 24 日 ApolloScape 舉辦的一場學術峰會中，小編找到了答案：來參加會議的分享者全部是來自中、美、德、澳等國內(nèi)外的自動駕駛/機器視覺研究專家。ApolloScape 正在嘗試打通自動駕駛產(chǎn)業(yè)界和學術界，搭建自動駕駛產(chǎn)學研結合的交流平臺。

在自動駕駛領域一直有兩個研究方向：落地應用和前沿學術。

落地應用： 主要指的是汽車廠商和零部件供應商，他們更加關注自動駕駛技術如何在現(xiàn)有產(chǎn)品上落地，以及自動駕駛會對汽車行業(yè)的商業(yè)模式產(chǎn)生怎樣的影響。

前沿學術： 主要指的是一些知名高校、研究機構或者是創(chuàng)新科技公司。他們主要關注的是機器視覺、人工智能等技術在自動駕駛推動下的技術革新。

由于落地應用上直接關系到商業(yè)利益，因此一般情況下，汽車廠商對于數(shù)據(jù)的態(tài)度都是比較封閉的。

反倒是以高校為主的前沿學術領域，由于大家的目標都是推動技術創(chuàng)新，且相互之間利益關系相對簡單。因此對數(shù)據(jù)開放的接受度很高。

其實在前沿學術領域，已經(jīng)出現(xiàn)過幾個自動駕駛的開放數(shù)據(jù)集了，最著名的應該就是由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯(lián)合創(chuàng)辦 KITTI。很多研究機構都會在 KITTI 數(shù)據(jù)集內(nèi)驗證、評估自己的視覺算法。甚至還將 KITTI 作為一個評判標準來做算法排名。

百度這次的 ApolloScape 其實與 KITTI 的定位是一致的，只不過將數(shù)據(jù)的核心采集點設定在了中國。由于中國在政策以及駕駛環(huán)境上的特殊性，一般的研究機構（尤其是海外的）要是想要靠自己在中國獲得駕駛數(shù)據(jù)是非常困難的。而百度這次的數(shù)據(jù)集就是為這些研究機構提供了便利。

Kitti，CityScapes 和 ApolloScape 關于數(shù)據(jù)實例的對比

據(jù)了解，Apollo 開放平臺還與加州大學伯克利分校在 CVPR 2018（IEEE 國際計算機視覺與模式識別會議）期間聯(lián)合舉辦自動駕駛研討會（Workshop on Autonomous Driving），基于 ApolloScape 的大規(guī)模數(shù)據(jù)集定義了多項任務挑戰(zhàn)。WAD 已正式于國外知名機器學習競賽平臺 Kaggle 上線 Video Segmentation Challenge（視頻場景解析挑戰(zhàn)賽），比賽中所提供的數(shù)據(jù)集中將包含大量的分段原始駕駛圖像，包含有 20+種場景標注信息。賽事將持續(xù)到 6 月 12 日。目前已有來自全球的三十多只隊伍正式報名參加。

其實在自動駕駛領域，應用和學術一直是兩個相輔相成的方向。比如在應用領域的標桿企業(yè) Mobileye，其靈魂人物 Shashua 教授同樣也擁有著很高的學術地位，從學術領域跳槽到應用企業(yè)就職的人也屢見不鮮。

畢竟前沿學術的成果，最終也會落地到實際應用領域，只不過是時間早晚的問題。百度這次的 ApolloScape 計劃估計也是在默默地為自己的底層技術創(chuàng)新以及人才聚集做儲備。