ADAS和自動駕駛解決方案

5月24日，芯片超人課堂特邀寧波琻捷電子科技有限公司CEO李夢雄博士主持汽車自動駕駛社交沙龍。瑞薩電子、艾新教育、上海紫迪、智駕科技Maxieye、上海昂磬微電子、裕太車通等相關(guān)負(fù)責(zé)人在上海張江大廈895營與現(xiàn)場觀眾一同探討了汽車自動駕駛技術(shù)。

今天帶給大家的內(nèi)容為：嘉賓分享視頻及文字整理部分。

1 琻捷電子CEO李夢雄博士主持現(xiàn)場活動

2 艾新工商學(xué)院院長謝志峰博士在會議開場分享

3 瑞薩電子中國資深工程師應(yīng)毅辰分享部分

01

琻捷電子李夢雄博士主持環(huán)節(jié)

尊敬的各位嘉賓，各位朋友，大家早上好，我是琻捷電子CEO李夢雄。非常感謝芯片超人課堂組織汽車自動駕駛技術(shù)社交沙龍，這是一個(gè)與眾不同的沙龍，并且我們特地強(qiáng)調(diào)社交。我們想把今天沙龍辦成一個(gè)開放式的互動交流平臺，所以待會也非常希望大家能夠積極參與互動，大膽提出你的意見，分享你的觀點(diǎn)，甚至質(zhì)疑嘉賓。

大家有沒有想過過去10年至15年什么東西深刻地改變了我們的生活方式？我之前跟人也聊過這個(gè)事情，很多人的想法第一就是房子。不過當(dāng)時(shí)我覺得，房子相對來說比較狹隘，它只是符合中國特色，是有中國特色社會主義道路的一個(gè)特色產(chǎn)品。

相對房子而言，手機(jī)更加深刻改變了我們過去10年到15年的生活方式。手機(jī)帶來最重要的貢獻(xiàn)是把我們從直立行走的時(shí)代帶回了彎腰行走時(shí)代。我們展望一下，在將來的10年到15年，會有什么東西深刻改變我們的生活？

我們正身處一個(gè)激動人心的大變革時(shí)代，汽車行業(yè)正在加速從一個(gè)傳統(tǒng)的機(jī)械行業(yè)變成電子行業(yè)。而電子行業(yè)最大的特點(diǎn)就是充分的市場競爭，并且有非常快的更新迭代速度。今天80%的創(chuàng)新來自于汽車電子，并在電器化、智能化、網(wǎng)聯(lián)化三方面加速前進(jìn)，其中讓我們最期待的是自動駕駛。

首先，我花一點(diǎn)時(shí)間來介紹一下我們今天到場的嘉賓。首先是艾新工商學(xué)院創(chuàng)始人，艾新工商學(xué)院的院長，復(fù)旦大學(xué)微電子學(xué)院教授謝志峰博士；芯片超人的創(chuàng)始人CEO姜蕾，江湖人稱花姐；瑞薩電子管理有限公司資深工程師應(yīng)毅辰；上海紫迪夏煜；上海智駕汽車科技有限公司聯(lián)合創(chuàng)始人運(yùn)營總監(jiān)楊騰飛；蘇州裕太車通電子科技有限公司市場主管李爽；蘇州裕太車通電子科技有限公司創(chuàng)始人葉勁；寧波琻捷電子科技有限公司合伙人系統(tǒng)總監(jiān)溫立。

下面，我們首先有請美國伍斯特大學(xué)半導(dǎo)體物理學(xué)專業(yè)博士，麻省理工學(xué)院教授，英特爾最高成就獎得主，中芯國際創(chuàng)始人之一，復(fù)旦大學(xué)微電子學(xué)院兼職教授，謝志峰博士給我們來做分享。

02

艾新教育謝志峰博士分享環(huán)節(jié)

很高興來到這里，我給大家分享一個(gè)故事，希望大家一起來努力，把自動駕駛的事情做好。1983年我在美國開始開車，中間遇見很多危險(xiǎn)的狀況，生命安全很多次處在危險(xiǎn)邊緣。

在美國有很多次晚上開車，城與城之間基本上是很安靜、黑暗的。我基本上從一個(gè)城市到另外一個(gè)城市開車，中間過程是睡著的。進(jìn)城后就有燈亮，然后我就會醒來，基本整條路都處在半睡眠狀態(tài)。第二天我完全不記得從上個(gè)城市怎么到這個(gè)城市，路中間完全沒有感覺，回想很是后怕，而且這種經(jīng)歷不止一次。

今天這個(gè)問題總算可以解決了。往往我們都認(rèn)為人開車比自動駕駛安全，但從所有的統(tǒng)計(jì)數(shù)據(jù)來說，無論是汽車還是飛機(jī)都在往自動駕駛發(fā)展。自動駕駛有很多好處，能夠少發(fā)生很多事故，挽救很多生命。我希望大家能在此次會議上撞出火花來，在今天的沙龍中多說話，多思考。

03

瑞薩電子應(yīng)毅辰分享環(huán)節(jié)

很高興參加這次活動，我是來自瑞薩電子的應(yīng)毅辰，主要負(fù)責(zé)ADAS方面的技術(shù)支持。本次活動我主要就為大家介紹一下ADAS（高級駕駛輔助系統(tǒng)）和自動駕駛解決方案以及我們?nèi)鹚_電子在ADAS領(lǐng)域的一些經(jīng)驗(yàn)。我今天的分享會分為四個(gè)部分：

1 自動駕駛的市場趨勢

2 Renesas autonomy?平臺生態(tài)環(huán)境

3 第三代R-Car產(chǎn)品

4 瑞薩電子 - TTTech合作高度自動駕駛平臺 (HADP)

自動駕駛的市場趨勢

首先我們可以先來看一下ADAS自動駕駛方向的市場趨勢。早在2013年的時(shí)候，一些ADAS相關(guān)的輔助技術(shù)已經(jīng)得到量產(chǎn)，而且相對來說已經(jīng)比較完善。很多車廠已經(jīng)有ACC、前方防碰撞、車道保持偏移、自動泊車、半自動泊車等應(yīng)用，目前部分應(yīng)用已經(jīng)量產(chǎn)，且這方面的技術(shù)已經(jīng)相對穩(wěn)定。

現(xiàn)在的時(shí)間點(diǎn)實(shí)際上就是把之前很多功能進(jìn)行整合完善，更加趨向于成熟發(fā)展的時(shí)間。現(xiàn)在很多像特斯拉這樣的高檔車上已經(jīng)有了高速公路自動駕駛及城市路段的自動駕駛功能。在之后，會有一些更加復(fù)雜的城市路段進(jìn)行擴(kuò)展。最終，可能在2025年完成一個(gè)完整的L5自動駕駛的發(fā)展路線。我們?nèi)鹚_電子的一些產(chǎn)品會根據(jù)發(fā)展去進(jìn)行規(guī)劃，提出相應(yīng)的應(yīng)用和研發(fā)相應(yīng)的產(chǎn)品做對應(yīng)。

Renesas autonomy?平臺生態(tài)環(huán)境

為此，瑞薩電子推出了這個(gè)叫Renesas autonomy?的平臺?，F(xiàn)在云端技術(shù)相當(dāng)火熱，汽車都會帶一些3G、4G的通訊模塊和云端進(jìn)行交互，從而獲得一些交通標(biāo)識、高低地圖方面的信息輔助車輛駕駛。

自動駕駛最重要的一部分是要知道周圍的環(huán)境，要知道行人在哪里，要知道障礙物在哪里，讓車進(jìn)行更加安全的行駛，所以感知部分也相當(dāng)重要。拿到感知的一些攝像頭雷達(dá)數(shù)據(jù)，大數(shù)據(jù)會做一些融合和計(jì)算，讓車規(guī)劃出一條比較安全的軌跡，要很強(qiáng)大的大腦去做融合感知的功能。

瑞薩電子對此推出了Renesas autonomy?平臺來完整覆蓋自動駕駛系統(tǒng)。因?yàn)镽enesas autonomy?非常復(fù)雜，自動駕駛設(shè)計(jì)的方向非常多，涉及很多復(fù)雜算法和很多傳感器，所以我們也聯(lián)合許多友商和合作伙伴去完善這個(gè)系統(tǒng)。我們建立了一個(gè)比較完善的生態(tài)環(huán)境，去對一些算法和傳感器做一些處理。

現(xiàn)在有許多車上也配備了環(huán)視系統(tǒng)，環(huán)視實(shí)際上是自動駕駛比較簡單的一個(gè)切入點(diǎn)，基于環(huán)視系統(tǒng)可以做很多工作去輔助車輛駕駛。像之前比較簡單的環(huán)視是基于模擬攝像頭的2D環(huán)視，只是讓駕駛員從一個(gè)頂視視角看到車周圍的信息。由于模擬攝像頭分辨率不是很高，所以給駕駛員提供的信息也不是很多。

現(xiàn)在逐漸從模擬攝像頭轉(zhuǎn)換到數(shù)字?jǐn)z像頭，從而提高分辨率。手機(jī)上面的像素動輒就是2000萬像素、3000萬像素，可以拍出質(zhì)量很好的照片，所以對人來說已經(jīng)比較難接受模擬攝像頭的低分辨率?，F(xiàn)在車上也逐漸運(yùn)用到一些130萬像素720P攝像頭，甚至200萬像素1080P的攝像頭，去獲得更高的畫質(zhì)。這個(gè)更高的畫質(zhì)對于駕駛員來說，不單單是感官上的提升，也可以做很多的輔助識別的功能。車道線、車周圍障礙物、行人的識別，也可以加載在已有的環(huán)視系統(tǒng)。

我們對環(huán)視系統(tǒng)有幾個(gè)細(xì)分，現(xiàn)在入門級的標(biāo)準(zhǔn)是做一個(gè)頂視或簡單的3D環(huán)視。之后在環(huán)視系統(tǒng)上面做一些行車記錄及對象檢測功能。例如：可以告訴駕駛員附近可能有一個(gè)三角錐會影響到你的停車。在之后可能會加上更多的識別功能，像利用環(huán)視的輔助泊車。因?yàn)榄h(huán)視系統(tǒng)對于原始的基于雷達(dá)的泊車來說，有很好的優(yōu)勢是可以更清楚看到周圍的環(huán)境。

原來的超聲波傳感器是無法感知到車的停車框，但是環(huán)視系統(tǒng)可以基于他的視覺了解到周圍的環(huán)境，知道停車框具體在哪里，更好地去輔助遠(yuǎn)程泊車功能。在之后可能在環(huán)視的功能上做更多拓展，比如說利用環(huán)視系統(tǒng)去做一些虛擬的后視鏡。

第三代R-Car產(chǎn)品

接下來我要向大家介紹一下瑞薩電子推出的R-Car第三代產(chǎn)品。但是像我們?nèi)鹚_自己有一些深度學(xué)習(xí)的加速核和突然加速的加速核都是我們?nèi)鹚_自己的一個(gè)IP核，里面也會嵌入一些性能比較好的GPU，去做比較好的3D渲染效果，同時(shí)可以利用GUP做一些計(jì)算加速。為了更好針對一些高清攝像頭應(yīng)用需求，我們提供了一些高帶寬的接口。

上圖是我們針對各種等級的環(huán)視系統(tǒng)所對應(yīng)的產(chǎn)品線?，F(xiàn)在我們主推是第三代產(chǎn)品，主要包括有R-Car V3MV3H以及R-Car M3產(chǎn)品線。針對一些入門級的3D環(huán)視，我們可以選用R-Car V3M覆蓋，同時(shí)V3M也是可以做一些輔助識別然后半自動駕駛的一個(gè)應(yīng)用場景。

如果對于性能要求比較高，需要更多識別功能，我們會提供像R-Car V3H的芯片。如果想更加好的顯示效果、3D顯示特效、很好的渲染效果，同時(shí)要有很強(qiáng)大的圖像識別和處理能力，我們就可以推出R-Car V3H+R-CarM3N的芯片。我們下一代產(chǎn)品已經(jīng)在規(guī)劃之中，會把這類的應(yīng)用合并成單顆芯片，去完善整體系統(tǒng)設(shè)計(jì)。

現(xiàn)在我們和歐洲的廠商合作去做一個(gè)3D環(huán)視的方案。包括向任意視角的一個(gè)外部視圖的3D環(huán)視，以及有內(nèi)部視圖的一個(gè)3D環(huán)視，方便駕駛員從各個(gè)角落去看車周圍的一些信息。傳統(tǒng)后視鏡有許多盲區(qū)，但是通過環(huán)視系統(tǒng)就比較方便的去觀察車身周圍。同時(shí)，也可以基于3D環(huán)視，去查找車周圍的一些障礙物。

對環(huán)視來說，除了最基本的顯示圖形方面，你可能還要做圖像的一個(gè)識別，也就是計(jì)算機(jī)視覺部分。我們把這三種處理并行化，內(nèi)部就可以分為并行的一個(gè)三路數(shù)據(jù)流。在做圖像識別的同時(shí)不會影響到圖像顯示效果，然后也不會影響錄制效果。這三個(gè)應(yīng)用同時(shí)完成去提高系統(tǒng)運(yùn)行效率，然后去提升系統(tǒng)的性能。

我們這邊把ISP集成到芯片內(nèi)部，去做更好的控制，也會對系統(tǒng)的集成性得到比較好的提升。然后你就可以在我們的SOC上面靈活去支持不同的曝光條件、分辨率、色彩調(diào)整，以及利用后面的視覺加速，這就是R-Car產(chǎn)品集成ISP所帶來的一些優(yōu)勢。

除了集成ISP外，我們還集成一些瑞薩自己的IP核去提升系統(tǒng)的性能。利用我們硬件IP核去做環(huán)視魚眼畸變校正。因?yàn)楹芏喹h(huán)視系統(tǒng)，都使用的是廣角攝像頭，這種廣角攝像頭會有一些魚眼畸變，對于后期的特效處理及人視覺上效果不是很好。所以我們使用了硬件的方式去完成畸變校正并優(yōu)化功耗。

環(huán)視系統(tǒng)實(shí)際上是比較簡單的一個(gè)系統(tǒng)，除了主控的SOC之外，外面會搭配一顆芯片去連接四顆攝像頭，同時(shí)還會有一些存儲，包括RAM和FLASH及一顆電源管理芯片去管理SOC和外圍的硬件電源，通過接口把環(huán)視數(shù)據(jù)傳送到主機(jī)端或其他地方顯示，或者只是語音提醒。 針對這樣的系統(tǒng)，所用到芯片里面的也會有許多IP，上圖就是簡單的入門級的一個(gè)環(huán)視系統(tǒng)的架構(gòu)。

高端環(huán)視系統(tǒng)結(jié)構(gòu)相對來說復(fù)雜一點(diǎn)。它的攝像頭可能擴(kuò)展到六顆或八顆并在車內(nèi)部加一些攝像頭。基于此我們又提出了雙芯片的搭配方案，有比較好顯示效果的同時(shí)包含強(qiáng)大的識別功能。這樣的環(huán)視系統(tǒng)除了簡單的環(huán)視之外，還可以實(shí)現(xiàn)一些輔助泊車的功能。

自動駕駛感知判斷部分想要做一顆比較強(qiáng)大的大腦還是比較困難的。我們對量產(chǎn)車主要集中L2和L3等級像半自動泊車，和高速公路上面的一些自動駕駛方面的應(yīng)用場景。我們就提出像R-Car H3搭配R-Car V3的系統(tǒng)搭配。

瑞薩電子 - TTTech合作高度自動駕駛平臺 (HADP)

因?yàn)樽詣玉{駛系統(tǒng)相當(dāng)復(fù)雜，客戶直接利用我們的新品也比較難使用。所以我們也提出一些評估板開發(fā)套件供客戶個(gè)使用。我們?nèi)鹚_電子推出了一個(gè)套件，里面內(nèi)部包含兩顆R-CAR H3的芯片以及RH850的MCU去實(shí)現(xiàn)L2、L3等級系統(tǒng)驗(yàn)證，就可以做前期的評估和開發(fā)。

我們跟TTTech合作開發(fā)的套件，它內(nèi)部結(jié)構(gòu)上是跟前面的R-Drive是一樣的，同時(shí)提供多達(dá)十六路的攝像頭輸入以及多路的以太網(wǎng)和KFD的接口，另外還有視頻輸入、輸出的一些接口。

HADP的好處是一個(gè)硬件設(shè)計(jì)是完全車規(guī)級的設(shè)計(jì)，客戶很快就可以用它導(dǎo)入實(shí)際產(chǎn)品。同時(shí)TTTech有比較強(qiáng)大的軟件實(shí)力和比較好的以太網(wǎng)架構(gòu)，所以說基于我們這樣的硬件平臺，加上他們軟件架構(gòu)，客戶會比較方便得進(jìn)行一些自動駕駛上層的算法開發(fā)以及傳感器的接入，加快復(fù)雜的自動駕駛應(yīng)用開發(fā)。