Nauto的“ADAS+DMS”的融合模型

隨著DMS即將廣泛采用，初創(chuàng)公司Nauto看到了一個機(jī)會，通過融合艙外和艙內(nèi)攝像頭的數(shù)據(jù)，將其AI算法出售給OEM。Nauto是否真的在正確的時間推出了正確的技術(shù)呢？

許多車廠已經(jīng)在多款車型上采用了ADAS，搭載多個攝像頭。同時，車廠也在搭載DMS，用攝像頭監(jiān)控車內(nèi)人類駕駛員的行為。

但這兩個系統(tǒng)從來都不是一起工作的。ADAS和DMS由不同的供應(yīng)商開發(fā)，兩個系統(tǒng)間的數(shù)據(jù)也無法互相關(guān)聯(lián)（雖然說的不是一回事，但我總是能想起小鵬車主下跪刷臉是怎么回事……）。

加州Palo Alto的初創(chuàng)公司Nauto，希望改變這一情況。通過一個平臺，融合車輛外部和內(nèi)部生成的數(shù)據(jù)，Nauto相信它將有助于提升道路與駕駛安全。

Nauto的創(chuàng)始人兼CEO Stefan Heck解釋說，“消費者反饋顯示，許多駕駛員對ADAS或DMS經(jīng)常發(fā)出的誤報感到惱火。這代表行業(yè)還沒有做對這一點?！?/p>

數(shù)據(jù)融合

從2015年起，Nauto就一直在用艙內(nèi)攝像頭監(jiān)控商業(yè)車隊駕駛員的行為。同時，Nauto也一直用艙外攝像頭監(jiān)控道路。這項研究收集了有關(guān)行人、騎自行車的人和其他車輛行為的知識。它捕獲了許多險些發(fā)生、緊急避險和高風(fēng)險事件的場景。

通過結(jié)合艙外和艙內(nèi)攝像頭的數(shù)據(jù)，Nauto看到了駕駛員分心行為和道路上實時發(fā)生的風(fēng)險之間的關(guān)聯(lián)。該公司表示，它已經(jīng)分析了“數(shù)十億的數(shù)據(jù)點”，并開發(fā)了“可以預(yù)測、防止和減少高風(fēng)險事件的算法?！?/p>

800個車隊

當(dāng)Heck創(chuàng)立Nauto時，科技行業(yè)對完全自動駕駛汽車（AV）充滿了期待。當(dāng)時人們都在預(yù)測，AV的大量涌現(xiàn)意味著計算機(jī)駕駛員不僅將取代人類出租車和卡車司機(jī)，而且還會使街道更加安全。

與眾不同的是，Heck一直專注于幫助人們更好地駕駛，而不是取代他們。Nauto表示，其原始使命是為期八年，目的是為車隊駕駛員提供預(yù)防碰撞的能力。

將Nauto與大多數(shù)其他AV初創(chuàng)公司區(qū)分開來的是兩種商業(yè)實踐：首先，與商業(yè)車隊服務(wù)運(yùn)營商建立合作關(guān)系；其次，專注于后市場以啟動Nauto平臺的部署。

Heck說，最初，Nauto強(qiáng)調(diào)的是艙內(nèi)發(fā)生的場景。但在這個過程中，Nauto也收集了艙外的風(fēng)險數(shù)據(jù)，例如追尾、斑馬線上的行人、信號燈和停車標(biāo)識。

在開發(fā)AI算法來預(yù)測高風(fēng)險事件時，Nauto采用了基于深度學(xué)習(xí)的方法，使用從800個商業(yè)車隊收集的數(shù)據(jù)。Heck估計，800個車隊相當(dāng)于200，000名司機(jī)，車輛總數(shù)稍微少一些。

Nauto 學(xué)到了什么？

對于從200，000名車隊駕駛員收集的數(shù)據(jù)，Heck說，“所有碰撞事故的70%都是由駕駛員不注意引起的。比如使用手機(jī)、吃東西、低頭做別的事或困倦，導(dǎo)致了分心?！?/p>

這都讓Heck感到驚訝。他解釋說，這意味著“整個汽車行業(yè)歷來都只專注于那余下的30%，而忽視了由艙內(nèi)引發(fā)的70%的風(fēng)險?！?/p>

Heck稱駕駛員分心是“流行病”。盡管有這樣的證據(jù)，但車內(nèi)監(jiān)控仍然是一個相對新的功能。當(dāng)Euro NCAP開始評估能有效檢測疲勞和分心的DMS時，汽車OEM們才開始有動力接受DMS。

安全專家們越來越認(rèn)為，來自DMS的準(zhǔn)確信息對安全至關(guān)重要。因為具有可脫手自動駕駛的車輛正在陸續(xù)推出。

當(dāng)車廠允許人類駕駛員放開方向盤時，DMS是一個后備方案，它能準(zhǔn)確地顯示出當(dāng)計算機(jī)駕駛員需要接管方向盤時，人類司機(jī)正在做什么。

Nauto的路線圖

八年過去了，Nauto在車隊領(lǐng)域中取得了突破。Nauto的技術(shù)已被用于監(jiān)控商業(yè)車隊駕駛員以提高安全性。

那么，接下來會是什么呢？Heck說，Nauto的路線圖上有四件事。

首要的是“融合”。

Nauto正在努力融合車輛的外部和內(nèi)部風(fēng)險，創(chuàng)建一個“在駕駛監(jiān)控之上的下一級能力”。

Heck覺得車廠對有效的DMS越來越感興趣，而這正是Nauto的機(jī)會。

Heck說，內(nèi)外攝像頭數(shù)據(jù)的融合產(chǎn)生了全面的安全光譜?！叭绻覀冎礼{駛員分心了，我們會在碰撞之前更早介入。”他稱這是“一種新能力”，因為像前方碰撞預(yù)警這樣的ADAS功能通常獨立于DMS運(yùn)行。

其次，Nauto的產(chǎn)品之前大部分在售后市場銷售，但即將進(jìn)入OEM車輛?？梢詮腂rightDrop獲得集成了Nauto的電動送貨車。Heck表示，Navistar正在推出搭載了Nauto的商用卡車，“在接下來的幾個月里還有更多的合作伙伴?！?/p>

第三，Nauto正在研究集成的保險模型。“我們有一個合作伙伴關(guān)系，任何公用事業(yè)公司只要有合適的保險供應(yīng)商，就可以有效地免費獲取Nauto?！盚eck提到了Nauto與英國最大的商業(yè)保險公司Aviva的試點項目。Nauto的下一個目標(biāo)是美國。

Heck表示，公司的下一個目標(biāo)是讓Nauto設(shè)計到乘用車中。盡管尚未宣布，但計劃是“首先將Nauto集成到輕型商用車、貨車和皮卡中……然后擴(kuò)展到其它車型?！?/p>

硬件構(gòu)成

任何好的AI算法都需要優(yōu)秀的硬件，即合適的攝像頭和計算單元。那么，Nauto的售后市場平臺的硬件構(gòu)成是什么呢？

Nauto平臺的艙外攝像頭采用了Sony圖像傳感器，而艙內(nèi)攝像頭則是Omnivision的圖像傳感器。計算單元采用了Qualcomm Snapdragon 845，集成了高端GPU、DSP和8個Arm內(nèi)核。

Heck說，Nauto在Snapdragon上運(yùn)行的艙內(nèi)和艙外算法最高可達(dá)每秒15幀。Nauto在Snapdragon的Arm內(nèi)核上運(yùn)行其融合模型。

Nauto平臺可從OBD端口獲取數(shù)據(jù)，使Nauto能夠讀取剎車位置、安全氣囊部署和其他車內(nèi)機(jī)械裝置。Nauto從GPS傳感器和多普勒接收車輛位置和速度數(shù)據(jù)，然后融合所有數(shù)據(jù)。

當(dāng)被問到這是如何工作時，Heck說：“我們會查看你面前是否有威脅，你正在以多快的速度行駛，你是否正在轉(zhuǎn)彎，以及你是否已經(jīng)在剎車。然后我們會監(jiān)控你的注意力狀態(tài)。如果你在保持專注，并且已經(jīng)開始剎車，我們不會干擾，因為我們知道你已經(jīng)看到了威脅，并且已經(jīng)在應(yīng)對它。但如果你正在加速或保持速度不變，而你面前有威脅，而你正在看手機(jī)或喝咖啡，那么我們會警告你并進(jìn)行干預(yù)?！?/p>

那么，如果OEM想要在他們的車輛中使用Nauto，他們需要添加什么呢？

車輛應(yīng)該有一個200-500MP的艙外攝像頭，Heck說：“低于720P，就很困難了。如果沒有艙內(nèi)攝像頭顯然是個問題。但是，好在現(xiàn)在每個車廠都在考慮在他們的新車中增加DMS?！?/p>

大多數(shù)車輛已經(jīng)有了GPS和LTE。但是算力呢？

Heck承認(rèn)，這個特性的差別很大。對于使用Intel/Mobileye的車輛，Nauto運(yùn)行在Xeon上。對于部署了Qualcomm高端汽車平臺的其他車輛，則沒有問題。Heck指出，現(xiàn)在只有少數(shù)OEM使用Nvidia。Nauto已經(jīng)在Nvidia上進(jìn)行了測試，但尚未部署。

關(guān)于Nauto的融合模型所需的處理能力，Heck表示：“這不是一個黑白分明的問題，因為算法的不同部分消耗的計算量不同……一般來說，它需要幾個TOPS?！?/p>

通過在AV堆棧上增加Nauto的融合模型，汽車OEM能獲得什么呢？Heck表示，Nauto可以為人類駕駛員提供更細(xì)顆粒度的安全介入。

“你看到一個行人正在你面前過馬路。如果你看著前方道路卻沒有做出反應(yīng)，那就是……典型的行人碰撞預(yù)警的場景。所以，這種情況下我們只會在碰撞前約三秒鐘才介入。但如果你正在看手機(jī)，根本沒看行人，我們可能會在碰撞前四秒介入。而如果你已經(jīng)開始剎車，然后，也在看行人，那么，我們就不會介入?！?/p>

Heck說，融合的目標(biāo)是“稀疏但有效地介入。”

當(dāng)Nauto供應(yīng)售后市場產(chǎn)品時，它也提供了它開發(fā)的所有ADAS和DMS軟件部分。

但對于OEM車輛，所有的軟件部分都是“可選的”。例如，如果OEM更喜歡Mobileye的ADAS系統(tǒng)和Seeing Machines的DMS，那沒問題。OEM需要做的就是在他們的堆棧上添加Nauto更安全的融合模型。Nauto的模型可以授權(quán)。

競爭

盡管市面上還沒有ADAS+DMS融合模型，但Nauto可能不會長時間保持優(yōu)勢。

一些DMS技術(shù)供應(yīng)商正在他們的DMS算法中研發(fā)融合模型。

然而，Heck強(qiáng)調(diào)了Nauto的領(lǐng)先地位?！拔覀兪切袠I(yè)先驅(qū)，我們擁有一些非?；镜年P(guān)于內(nèi)外融合的專利?！彼麤]有詳細(xì)說明，但補(bǔ)充說，“想要繞過這一點將會很困難?！?/p>

大數(shù)據(jù)也是Nauto的明顯優(yōu)勢。因為Nauto起初在商用車隊中開始運(yùn)營，積累了關(guān)于內(nèi)外關(guān)系的數(shù)據(jù)。Heck表示，Nauto的大部分競爭對手要么“只關(guān)注艙內(nèi)，要么只關(guān)注艙外，他們從未同時關(guān)注過兩者。”

接著是行駛里程。比起Waymo積累的2000萬英里（這是所有自動駕駛公司中最高的），Nauto已經(jīng)行駛了30億英里。

最后，因為Nauto一直與車隊合作，Heck說：“我們實際上知道其中涉及的經(jīng)濟(jì)風(fēng)險。我們不僅會看它是否會導(dǎo)致碰撞，還會看碰撞的嚴(yán)重程度，以及會造成多大的損失。”

這種知識，在一個可預(yù)見的危險情況下，將促使Nauto的技術(shù)提前介入。另一方面，在較不危險的情況下，Nauto可以給予駕駛員更多的自由裁量權(quán)。Heck相信，管理這些變量最終可能會決定融合模型的用戶接受度。

Nauto已經(jīng)進(jìn)行了三輪融資，擁有約150名員工，其中三分之一是合同工。雖然尚未盈利，但Heck表示Nauto還處于“成長階段”，可能在幾年后進(jìn)行IPO。

審核編輯 ：李倩