在自動駕駛中，環(huán)境感知是一個非常重要的環(huán)節(jié)，它不僅可以幫助無人駕駛汽車進行定位，還可以告知障礙物等信息以幫助決策模塊去調(diào)整駕駛行為。在視覺感知任務(wù)中，實際上有很多細分的任務(wù)類型，比如目標檢測、目標跟蹤、語義分割、實例分割、關(guān)鍵點檢測等，而這些細分任務(wù)在我們的環(huán)境感知中都有著非常重要的應(yīng)用。

1、關(guān)鍵點檢測技術(shù)簡介

在圖像處理中，關(guān)鍵點本質(zhì)上是一種特征。它是對一個固定區(qū)域或者空間物理關(guān)系的抽象描述，描述的是一定鄰域范圍內(nèi)的組合或上下文關(guān)系。它不僅僅是一個點信息，或代表一個位置，更代表著上下文與周圍鄰域的組合關(guān)系。

比如在人臉關(guān)鍵點檢測任務(wù)當中，有 28 個關(guān)鍵點，或是現(xiàn)在比較流行的 64 個、128 個關(guān)鍵點，這里面每個點在不同的人臉當中，代表了一類的特征，且具有一定的通用性。這一類特征不僅包含了像素的一些特性，比如嘴唇的特征點，包含了嘴唇與面部的位置關(guān)系。

右邊的圖片是前段時間比較火的阿里推出的服飾關(guān)鍵點比賽，比如在這件服飾中提供了 13 類關(guān)鍵點，每個關(guān)鍵點之所以被定位為一類關(guān)鍵點，因為它代表了服飾當中某一個特定的位置，或者某一個特定的位置所能代表的周圍的關(guān)系。而在人體姿態(tài)檢測當中，這個關(guān)鍵點不僅代表一個關(guān)節(jié)，還代表著這個關(guān)節(jié)和其他關(guān)節(jié)之間的關(guān)系，比如這個關(guān)節(jié)能跟其他哪些關(guān)節(jié)聯(lián)系得比較緊密。

2、關(guān)鍵點檢測在自動駕駛中的應(yīng)用

在自動駕駛當中，有一些關(guān)鍵點檢測的應(yīng)用。

比如箭頭的檢測，檢出箭頭的同時，可以把它的關(guān)鍵節(jié)點回歸出來，不同的顏色的點代表不同的類型，并且不同的點有它的位置信息。通過這些點，作為地圖上的坐標，可以實時、精確地告訴車輛，告訴自動駕駛的大腦，我們現(xiàn)在的位置。箭頭的關(guān)鍵點檢測，也是用了類似的方法，雖然它的網(wǎng)絡(luò)模型已經(jīng)改得面目全非了，但是它的原理是一樣的，通過不同等級的金字塔級別，可以把不同級別的點信息融合起來，從而提高它的精度，另一方面提高它的檢測率。

在箭頭或者是其他的一些關(guān)鍵點當中，也是需要知道每個點和另外一個點之間連接的關(guān)系，也就是它關(guān)系的回歸。

并不是所有的點回歸都能夠很精確。比如有些點在圖像上，車輛運行過程中，有些箭頭的關(guān)鍵點可以準確地回歸出來，有些可能識別出來錯誤，這受限于我們之前學(xué)習(xí)到的經(jīng)驗等。這類問題可以通過一些后續(xù)的改進，比如說網(wǎng)絡(luò)的改進、攝像本身的改進。另外也可以通過后期的其他公式、其他算法上用的多一幀或是匹配的方式，去修正一下錯誤。

另外在自動泊車或者自主泊車當中，需要先檢測出車位，我們用點回歸的方式可以把車位的頂點回歸出來。在一個圖象當中，可以回歸出車位當中的一些關(guān)鍵點，這個關(guān)鍵點是有不同類型的。通過車位的關(guān)鍵點，我們可以精確獲知到我們實車或者是車輛自身距離這些關(guān)鍵點和車位之間距離是多少，我們相對的要調(diào)整控制模塊，使得我們能夠自動泊進去這個車位。所以，回歸的車位頂點信息，對我們自動泊車或者是自主泊車來說是非常重要的信息。

另外，利用點回歸的方式，同時結(jié)合語義分割的手段，可以給出一個信息更加豐富的結(jié)果，網(wǎng)絡(luò)可以輸出這方面的結(jié)果，相當于是分割出來的車位信息、車庫當中車輛數(shù)的信息、車位是不是空車位、這個區(qū)域是不是空車位的信息。

同時通過點回歸的方式，在網(wǎng)絡(luò)的另一個分支，可以得到關(guān)鍵點的位置在哪里。比如我們知道這個地方是個空車位，我們也知道它車位的位置，這樣對我們自動泊車來說，就可以直接去停，這是很好的感知功能。