什么情況下對(duì)極幾何約束會(huì)不成立？

問(wèn)題一：什么情況下對(duì)極幾何約束會(huì)不成立？

答案摘要：對(duì)極幾何約束在以下情況下不成立：純旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，當(dāng)相機(jī)基線長(zhǎng)度為0時(shí)，或者當(dāng)兩個(gè)相機(jī)的成像平面平行時(shí)。在這些情況下，對(duì)極幾何約束無(wú)法提供準(zhǔn)確的幾何關(guān)系。

問(wèn)題二：為什么使用5張相移和7張互補(bǔ)格雷碼的圖像標(biāo)定DLP結(jié)果錯(cuò)誤？

答案摘要：使用5張相移和7張互補(bǔ)格雷碼的圖像標(biāo)定DLP，結(jié)果錯(cuò)誤。可能的原因有兩個(gè)。首先，相移周期和互補(bǔ)格雷碼的偏移量可能沒(méi)有正確對(duì)應(yīng)，導(dǎo)致像平面坐標(biāo)計(jì)算錯(cuò)誤。其次，互補(bǔ)格雷碼可能錯(cuò)位，需要確保投影儀的分辨率是格雷碼數(shù)量的倍數(shù)。如果投影儀分辨率不滿足條件，可以生成更高分辨率的格雷碼并進(jìn)行裁切。

問(wèn)題三：如何將目標(biāo)檢測(cè)的結(jié)果和場(chǎng)景流估計(jì)結(jié)合？

答案摘要：目標(biāo)檢測(cè)的結(jié)果可以和場(chǎng)景流估計(jì)結(jié)合，可以通過(guò)多任務(wù)框架將兩個(gè)任務(wù)統(tǒng)一到一個(gè)網(wǎng)絡(luò)框架中。例如，一種方法是使用"PillarFlowNet"，它同時(shí)進(jìn)行LiDAR場(chǎng)景流估計(jì)和目標(biāo)檢測(cè)，并實(shí)現(xiàn)了實(shí)時(shí)性和精度的提升。另外，還可以先進(jìn)行目標(biāo)檢測(cè)，然后將檢測(cè)結(jié)果輸入到場(chǎng)景流估計(jì)中進(jìn)行進(jìn)一步處理。這種方法的時(shí)間復(fù)雜度可能較高，但可以實(shí)現(xiàn)物體狀態(tài)檢測(cè)。還可以在兩幀點(diǎn)云數(shù)據(jù)上標(biāo)注出目標(biāo)框的位置信息，然后在輸出中可視化標(biāo)記的場(chǎng)景流，以實(shí)現(xiàn)物體運(yùn)動(dòng)狀態(tài)檢測(cè)。

問(wèn)題四：在垃圾分揀分類抓取中，使用目標(biāo)檢測(cè)算法和6D位姿估計(jì)算法能結(jié)合嗎？是否有一種能直接同時(shí)完成目標(biāo)檢測(cè)和6D位姿估計(jì)的網(wǎng)絡(luò)？哪種技術(shù)路線比較可行？

答案摘要：兩種技術(shù)路線都是可行的。一種是將目標(biāo)檢測(cè)算法和6D位姿估計(jì)算法分開(kāi)處理，并在后處理中進(jìn)行結(jié)合。另一種是使用一些能同時(shí)完成目標(biāo)檢測(cè)和6D位姿估計(jì)的網(wǎng)絡(luò)，如YOLO+anygrasp，或結(jié)合常見(jiàn)的目標(biāo)檢測(cè)算法（如YOLO、Faster R-CNN、SSD）和6D位姿估計(jì)算法（如DeepIM、PoseCNN）。具體哪種路線更可行，可以根據(jù)實(shí)際情況和實(shí)驗(yàn)結(jié)果來(lái)選擇。

問(wèn)題五：現(xiàn)在有批量的深度圖和與之對(duì)應(yīng)的彩色圖，如何去做位姿估計(jì)和重建？所用的設(shè)備是利用蘋果的前置深度相機(jī)獲取的人頭部圖像。

答案摘要：關(guān)于使用深度圖和彩色圖進(jìn)行位姿估計(jì)和重建的問(wèn)題中，一種方法是建議直接跑基于深度圖的Structure from Motion (SFM) 算法，而一種方法是可以使用支持深度圖的SFM算法，如colmap和orbslam。還提到了一些RGBD SLAM算法，例如rtabmap、bundle fusion、elastic fusion和snake slam等。對(duì)于開(kāi)發(fā)類似App的任務(wù)，有人推薦利用luma.ai路線，或者嘗試使用現(xiàn)成的3D scanner App。對(duì)于重建結(jié)果，建議可以嘗試photogrammetry路線，或者直接利用rtabmap進(jìn)行RGBD SLAM。同時(shí)，也提到了使用基于深度圖的位姿估計(jì)算法，例如基于PointNet改進(jìn)的算法，以及其他一些深度學(xué)習(xí)方法，如DeepIM和PVNet。有關(guān)基于深度圖的位姿估計(jì)的文章也得到了推薦。總體而言，可以根據(jù)具體需求和實(shí)驗(yàn)結(jié)果選擇適合的方法。