小米鐵蛋都有哪些秘密功能

“鐵蛋鐵蛋，握個(gè)手”

“鐵蛋鐵蛋，作個(gè)揖”

“鐵蛋鐵蛋，跳支舞”

作為小米科技園里的新晉團(tuán)寵，鐵蛋都有哪些秘密功能？如果擁有一只鐵蛋，你將會(huì)獲得怎么樣的新奇體驗(yàn)？

這次，我們邀請(qǐng)了幾位初入職場(chǎng)的小米同學(xué)，一起來體驗(yàn)擁有鐵蛋的一天。每個(gè)同學(xué)都可以認(rèn)領(lǐng)一只屬于自己的鐵蛋，他們將攜鐵蛋一起，通過闖關(guān)的方式，去解鎖鐵蛋的技術(shù)盲盒。當(dāng)智能的鐵蛋和熱愛技術(shù)的同學(xué)強(qiáng)強(qiáng)聯(lián)手，他們會(huì)帶來哪些精彩的技術(shù)故事呢？

小米鐵蛋這些神秘超能力的背后都有哪些秘密？來看看工程師們的介紹！

Q：鐵蛋的相機(jī)技術(shù)應(yīng)用在哪些方面？能實(shí)現(xiàn)哪些功能？

A：基于小米自研的人體檢測(cè)、人體重識(shí)別、人臉檢測(cè)識(shí)別、室內(nèi)建圖導(dǎo)航等算法的應(yīng)用，鐵蛋可以實(shí)現(xiàn)人臉識(shí)別、智能跟隨、自主避障，以及拍照、錄像等功能。

在跟隨時(shí)，結(jié)合人體ReID算法，可以對(duì)主人進(jìn)行實(shí)時(shí)跟隨；當(dāng)目標(biāo)人體脫離鐵蛋可視范圍（如拐角），再次出現(xiàn)時(shí)，鐵蛋依舊能夠準(zhǔn)確的識(shí)別和跟隨；當(dāng)有其他人出現(xiàn)在主人和鐵蛋中間時(shí)，也不會(huì)誤跟蹤到路人身上。

此外，鐵蛋可實(shí)現(xiàn)自動(dòng)規(guī)劃到下一目標(biāo)點(diǎn)的前進(jìn)路線，并在導(dǎo)航運(yùn)動(dòng)過程中自主規(guī)避遇到的障礙物。

Q：為什么鐵蛋能夠做到快速、準(zhǔn)確的識(shí)別主人？

A：鐵蛋頭部配備了一顆1300萬像素的廣角相機(jī)，根據(jù)鐵蛋和人體的相對(duì)高度，我們?cè)O(shè)計(jì)了一個(gè)合適的仰角，使機(jī)器狗可以最大化的捕捉到前方的人臉和人體信息。用戶在拿到鐵蛋的第一時(shí)間，可以通過APP錄入主人的人臉特征信息，因此鐵蛋就可以通過視覺算法對(duì)畫面中出現(xiàn)的每一個(gè)人進(jìn)行比對(duì)識(shí)別，這樣鐵蛋就可以通過人臉來識(shí)別主人了。

小米自研的人臉識(shí)別算法是基于最新的深度學(xué)習(xí)算法，可實(shí)現(xiàn)實(shí)時(shí)對(duì)輸入畫面進(jìn)行人臉檢測(cè)，當(dāng)檢測(cè)到人臉后對(duì)人臉上關(guān)鍵點(diǎn)，進(jìn)行識(shí)別和分析最終對(duì)每一個(gè)人進(jìn)行ID識(shí)別。目前人臉關(guān)鍵點(diǎn)最高可支持216個(gè)，擁有百萬級(jí)的訓(xùn)練數(shù)據(jù)，速度極快，只需要2毫秒。

Q：當(dāng)主人在人群復(fù)雜場(chǎng)景移動(dòng)時(shí)，為什么鐵蛋能夠?qū)崟r(shí)準(zhǔn)確的跟隨主人？同時(shí)能夠自主避障？

A：鐵蛋配備的AI交互相機(jī)和2個(gè)150°的超廣角魚眼相機(jī)，搭配深度攝像模組，使得鐵蛋具有超強(qiáng)的視覺空間感知能力，為鐵蛋的智能跟隨功能奠定了硬件基礎(chǔ)。鐵蛋的自主跟隨功能是多個(gè)算法模塊協(xié)作完成的，涉及的軟件算法模塊包括：人臉識(shí)別、人形檢測(cè)、人體ReID、人體位置計(jì)算、SLAM建圖、路徑規(guī)劃、導(dǎo)航避障等算法模塊。

鐵蛋在開啟主人跟隨模式后，首先通過人臉識(shí)別將主人和人體對(duì)應(yīng)起來，在跟隨的過程中實(shí)時(shí)進(jìn)行人體ReID保證鐵蛋不會(huì)被陌生人領(lǐng)走；在跟隨前行過程中，我們會(huì)實(shí)時(shí)計(jì)算主人與鐵蛋的相對(duì)位置關(guān)系，計(jì)算主人的前行速度并預(yù)測(cè)主人的行徑路，根據(jù)這些信息鐵蛋會(huì)實(shí)時(shí)的調(diào)整自己的速度和方向以實(shí)現(xiàn)智能的等距跟隨，特別是當(dāng)主人前進(jìn)過快，或者拐彎鐵蛋會(huì)通過語音提示主人。在跟隨前行過程中，鐵蛋會(huì)實(shí)時(shí)的進(jìn)行SLAM導(dǎo)航避障，跟隨過程中鐵蛋檢測(cè)到前方有障礙物時(shí)，會(huì)根據(jù)地圖進(jìn)行局部的路徑規(guī)劃和導(dǎo)航，自主的繞開障礙物，找到一條最優(yōu)的路徑跟上主人的步伐。

Q：鐵蛋是怎么做到認(rèn)識(shí)路的？

A：鐵蛋具有自主定位導(dǎo)航的功能。在鐵蛋頭部裝有AI交互相機(jī)、雙目超廣角相機(jī)、Intel Realsense D450深度攝像頭等傳感器。利用這些傳感器通過SLAM技術(shù)實(shí)現(xiàn)鐵蛋的定位和環(huán)境感知，建立導(dǎo)航地圖。通過APP，用戶可查看地圖，選擇目的地。目的地確認(rèn)后，鐵蛋通過導(dǎo)航規(guī)劃技術(shù)可自動(dòng)規(guī)劃到目標(biāo)點(diǎn)的前進(jìn)路線，并自主規(guī)避運(yùn)動(dòng)過程中遇到的障礙物。簡(jiǎn)單講就是，SLAM技術(shù)告訴鐵蛋你在哪兒，你周圍環(huán)境是什么樣。導(dǎo)航告訴鐵蛋你去哪兒，以及怎么去。

Q：在復(fù)雜環(huán)境里中準(zhǔn)確尋找到物品，鐵蛋是如何做到的？

A：鐵蛋有探索未知環(huán)境和目標(biāo)檢測(cè)功能，實(shí)現(xiàn)邊走邊找的功能。利用頭部視覺模組實(shí)時(shí)感知局部環(huán)境，發(fā)現(xiàn)環(huán)境中邊界和可通行區(qū)域，同時(shí)，在行走過程中不斷通過目標(biāo)檢測(cè)算法來對(duì)場(chǎng)景中的物體進(jìn)行實(shí)時(shí)的定位及分類，檢測(cè)到場(chǎng)景中有特定物品時(shí)，把此位置作為導(dǎo)航目標(biāo)，規(guī)劃出一條可行路徑并走過去。

Q：開發(fā)過程中最大的挑戰(zhàn)是什么？

A：第一點(diǎn)：從0到1，歷時(shí)10個(gè)月完成了小米第一代四足機(jī)器人視覺功能的技術(shù)預(yù)研與量產(chǎn)交付；

第二點(diǎn)：基于NVIDIA平臺(tái)而非我們熟悉或者有一定積累的高通平臺(tái)，在此過程中我們一邊擴(kuò)大團(tuán)隊(duì)，一邊學(xué)、探索和開發(fā)，大部分的算法都是自己開發(fā)的，過程非常艱辛；

第三點(diǎn)：鐵蛋是第一個(gè)直播發(fā)布的仿生機(jī)器人平臺(tái)，量產(chǎn)并發(fā)售給普通用戶的機(jī)器人平臺(tái)，在安全性和可靠性方面，我們做了充足的工作。

Q：鐵蛋未來還會(huì)有可能開發(fā)出哪些功能？

A：鐵蛋匯集了小米的核心技術(shù)積累，包括但不限于機(jī)器學(xué)習(xí)、生物識(shí)別、計(jì)算機(jī)視覺等。在高端硬件模組和多種軟件算法的應(yīng)用下，鐵蛋可以實(shí)現(xiàn)更真實(shí)的生物反應(yīng)以及環(huán)境觀察和辨識(shí)能力。未來，在視覺交互層面，我們將會(huì)創(chuàng)造更有趣的玩法，開辟更多新功能，讓鐵蛋的交互場(chǎng)景也更加豐富；并會(huì)不斷的開發(fā)和優(yōu)化適合鐵蛋平臺(tái)的SLAM和導(dǎo)航的算法框架，使其有更優(yōu)異的性能，在復(fù)雜的環(huán)境下依舊具備精準(zhǔn)的建圖定位能力和導(dǎo)航避障能力。此外，機(jī)器視覺、導(dǎo)航避障、人機(jī)交互、Al語音算法等技術(shù)可以反哺手機(jī)、智能家居等產(chǎn)品。

劉慈欣表示：“科技與科幻都是人類想象力的延伸，和人類未來的生活息息相關(guān)?？萍荚诤芏喾矫鎸⒖苹米兂涩F(xiàn)實(shí)?！?/p>

鐵蛋融合了仿生機(jī)器人的特性，在動(dòng)物屬性上增加了高科技的智能算法，賦予它人類最期待的智能功能，包括但不限于機(jī)器學(xué)習(xí)、生物識(shí)別、計(jì)算機(jī)視覺等，支持超感視覺探知系統(tǒng)，是科技和現(xiàn)實(shí)載體的結(jié)合。基于小米自研的人臉識(shí)別、人體檢測(cè)、室內(nèi)建圖導(dǎo)航等算法的應(yīng)用，內(nèi)置高性能超感視覺探知系統(tǒng)和AI語音交互系統(tǒng)，搭配深度攝像模組，使得鐵蛋具有科技感的同時(shí)，兼具真實(shí)的生物反應(yīng)。

我是Cyberdog鐵蛋，未來我會(huì)不斷學(xué)習(xí)更多的技能，融入更多的前沿新興科技，變成一個(gè)“全能鐵蛋”，讓全球每個(gè)人都能享受科技帶來的美好生活，請(qǐng)大家敬請(qǐng)期待吧！

原文標(biāo)題：聽說，有人向鐵蛋發(fā)起了挑戰(zhàn)

文章出處：【微信公眾號(hào)：小米公司】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:pj