無人車自動駕駛系統技術主要分為感知定位、決策規劃、控制執行 3 大模塊。環境感知模塊處于自動駕駛系統架構的上游，通過車上安裝的視覺傳感器或者雷達獲取周圍環境信息，算法模塊通過對傳感器輸入的原始數據進行處理后，將準確的環境信息輸給下游模塊。因此，如何快速準確理解并感知環境信息，是保障無人車準確進行決策規劃與控制執行的前提。

　　按感知環境用傳感器的布置方案可將無人車大致分為 2 類：①以激光雷達為主要傳感器、單獨相機等為輔助傳感器的方案;②以相機為主要傳感器、毫米波雷達等為輔助傳感器的方案。李研芳等、楊鑫等采用決策級融合方法，將四線激光雷達檢測結果與基于圖像的檢測結果進行融合，彌補了單一傳感器的局限，解決了單獨毫米波雷達傳感器存在的虛假目標問題和單獨相機存在的漏檢問題。鄭少武等采用深度學習方法，分別對點云數據與圖像數據進行目標檢測，并采用匈牙利算法進行跟蹤匹配，輸出最終的融合結果，但該方法沒有考慮投影后置信度的問題，無法消除外參誤差對融合結果帶來的影響。陳昆設計了一種基于雙目視覺和激光雷達前融合的道路環境感知方法，基于卷積神經網絡方法，對雙目視差圖和激光雷達視差圖進行融合，提高了算法的可移植性。梁晨晨等提出一種基于角度對齊的毫米波雷達與相機的決策級目標檢測方法，通過聯合標定和近似插值，將攝像頭識別到的目標與毫米波雷達探測到的目標進行融合，實現道路環境的融合感知。

　　筆者基于 FloodFill 與譜聚類算法相結合的激光雷達目標檢測方法，提出激光雷達與相機融合的城市交叉口車輛識別檢測方案，基于平面法線對齊方法對激光雷達點云與相機圖像進行時間與空間對齊，并引入遺傳算法對求解結果進行優化。設置城市典型交叉路口環境，采用該檢測法對激光雷達與相機融合的車輛識別效果進行分析，對所提出的決策級融合方案的正確性與有效性進行驗證。

　　1 基于激光雷達的點云聚類目標檢測

　　傳統的歐氏聚類算法本質上是將距離較近的點聚為一類，只要點與點之間的距離小于設定的半徑閾值，即認為屬于一類，這種聚類方法會將 2 個距離近的目標識別為同一個物體。在城市交叉路口場景中，待檢測目標之間的距離通常會很小，傳統的聚類方法無法滿足無人車對交通場景的檢測需求，而聚類分割問題則可將聚類問題轉化為求解 2 個子圖之間相互連接的邊權值最小問題，從而使得每個子圖內部數據點的相似度最大，子圖之間的相似度最小，即將點云的聚類分割問題轉換為子圖的最優劃分問題。本研究提出一種基于 FloodFill 與譜聚類算法結合的激光雷達點云聚類方法，結合搜索算法理論與圖像分割領域中的譜聚類理論，首先對預處理后的點云進行過分割，再利用譜聚類算法對過分割的結果進行重新聚類，即可完成對交叉路口場景車輛或行人目標的檢測。

　　結合 FloodFill 算法與譜聚類算法的點云聚類方法，首先利用 FloodFill 算法將激光雷達點云做 1 次簡單的聚類，得到聚類后點云，并對點云進行過分割;然后利用譜聚類算法將過分割的點云重新聚合，構造高度特征，并結合高度特征和歐氏距離來計算連通組件之間的權重;最后根據權重矩陣來重新聚合連通組件，達到聚類點云的目的。

　　利用 SVLSimulator 自動駕駛仿真軟件，模擬城市道路中的交叉路口場景，對基于 FloodFill 算法結合譜聚類算法的激光雷達點云聚類方法進行仿真，晴天場景激光雷達檢測結果顯示：經過激光雷達點云類聚，50m 以內左側相鄰的 4 輛車，被分割為 4 個目標，由于激光雷達傳感器的屬性限制，存在目標之間互相遮擋問題;由于黃色校車位于激光雷達 50m 以外的遠處，激光雷達產生了識別錯誤，校車車身后半部沒有被檢測到。

　　2 基于圖像的目標檢測

　　基于 YOLOv2，重新設計網絡的預測參數和損失函數，使用 VOC2007 數據集中城市交叉口及汽車的圖片對神經網絡進行訓練。首先輸入圖像，并根據選用的卷積網絡調整圖像的大小，得到卷積特征圖;然后利用檢測網絡進行回歸和分類處理，得到目標邊框，進行目標識別。設置交叉路口仿真場景，利用短焦相機識別，基于圖像的車輛目標識別結果顯示，基于圖像方法，無法對距離無人車 50m 以外目標進行識別。

　　3 激光雷達與相機信息融合檢測方法

　　目標融合主要包含激光雷達和相機檢測數據的空間對齊以及時間對齊。空間對齊主要是解決相機坐標系與激光雷達坐標系之間的位姿轉換關系，時間對齊則是解決由于激光雷達與相機傳感器頻率不同造成的時間戳不同步問題。經過空間和時間同步之后，即可獲得信息完整的目標信息，為無人車自動駕駛系統下游模塊提供可靠、豐富的環境信息。

　　激光雷達與相機的空間對齊：空間對齊方式是將激光雷達坐標系通過一系列轉換與相機坐標系進行重合，實現點云信息和圖像信息的一致。由于傳感器在無人車上的安裝位置不同，激光雷達坐標系與相機坐標系之間存在旋轉和平移轉換。本研究采用標定板法線擬合方式來求解，并引入遺傳算法對參數進行優化。首先估計旋轉向量，在激光雷達點云庫中利用自帶函數可以提取出目標標定板的點云平面以及其法線向量，相機中標定板的法線求解庫中同樣可以檢測標定板在圖像中的像素點，根據制作標定板的參數可以直接獲得該像素點對應在標定板坐標系中的實際位置，將相機的內參數、畸變參數和對應的匹配點，利用 PnP 函數對輸出的旋轉向量做羅德里格斯變換，即可得到旋轉矩陣，再由旋轉矩陣計算得到法線向量，將相關向量代入公式，即可解出激光雷達到相機的旋轉關系，進而得到平移矩陣。采用遺傳算法來優化位姿參數，在標定過程中，通過不斷變換標定板與傳感器之間的距離和標定板的角度，求解多組結果，作為遺傳算法優化的樣本種群。設計適應度函數來計算法線對齊的誤差及法線與平面的位置誤差等，解決了遺傳算法優化中個體評估問題，適應度函數值低的個體將被送入交叉、變異流程中進行更新迭代，直到獲得最優估計值或者達到最大迭代次數，遺傳算法終止。

　　激光雷達與相機的時間對齊：在真實道路場景中，激光雷達和相機是互相獨立的傳感器，二者坐標系互相獨立，且采樣頻率不同。雖然進行空間對齊將二者的坐標系聯合起來，但是無人車在行駛時，周圍環境一直處于變化中，采樣頻率不同導致無人車接收的點云信息和圖像信息不一致，會影響信息融合的精度。因此需要對激光雷達和相機采集的信息進行時間同步，保證激光雷達和相機在同一時刻完成信息采集，即 1 幀點云信息對應 1 幀圖像信息，從而提高信息融合的精度。選用激光雷達的工作頻率為 20.0Hz，相機工作頻率為 28.7Hz。鑒于相機的掃描頻率高于激光雷達，因此，采用基于時間戳的同步方式。以激光雷達的掃描時刻為基準，對相機采集的圖像信息進行緩存，系統在接收點云信息和圖像信息時會附加系統當前時刻的時間戳。當點云信息獲取后，從緩存中找到與該時刻點云信息的時間戳最相近的圖像信息，然后將點云信息和圖像信息同時送入處理函數進行信息融合，完成 2 種傳感器信息的時間同步。

　　點云與圖像信息融合：點云和圖像信息完成時間、空間匹配后，接下來對 2 種信息進行融合。采用目標級融合策略，將激光雷達點云聚類得到的障礙物投影到圖像上，障礙物點云的三維包絡框變成二維包絡框，然后與圖像中車輛目標分類器得到的像素二維框進行對比，并基于激光雷達的物理特性設計新的融合指標。對采樣的 20 組數據進行重投影，分析其重投影誤差，中心點重投影像素誤差小于 15mm，這對于低速無人車而言，能夠滿足數據融合的要求。

　　4 仿真結果與分析

　　在 SVLSimulator 自動駕駛仿真軟件中，分別構建晴天、霧天、夜晚以及雨天場景，將 2 種傳感器融合，檢測結果與單傳感器檢測結果進行對比。

　　晴天場景：晴天單相機檢測結果顯示，在相機視野內的車輛可被檢測到，對相機視野外的目標無法進行檢測。單激光雷達檢測結果顯示，對近處的車輛激光雷達檢測效果良好，但遠處目標無法檢測，而相機可以檢測到。將 2 種傳感器融合，檢測結果在檢測范圍上有明顯增大，使無人車具備感知周圍 360° 范圍內的目標，且增加了有效檢測距離，至 50m 以外的遠處。

　　霧天場景：霧天單相機檢測結果顯示，由于濃霧的影響，極大降低了圖像中目標的色彩強度變化，增大了特征提取的難度，導致相機視野中的目標出現漏檢。單激光雷達檢測結果顯示，濃霧對其檢測影響不大。將 2 種傳感器融合，由于濃霧影響了相機對遠處目標的識別，導致無人車的檢測范圍并沒有增加，但融合激光雷達之后，能夠克服由于濃霧對相機檢測造成的影響，實現了無人車周圍 360° 范圍內的目標感知。

　　夜晚場景：夜晚單相機檢測結果顯示，無人車右前方的一輛車在高精度地圖中的車道位置與仿真器中車輛真實的車道位置不對應，這是由于夜晚相機對目標距離估計不準所造成的。而激光雷達在夜間的檢測結果相對相機的檢測結果更加準確，且不受光線影響。將 2 種傳感器融合，融合檢測可以彌補相機受光線影響的缺陷。

　　雨天場景：雨天單相機檢測結果顯示，由于雨水影響，造成相機對車輛目標位置的估計出現偏差。單激光雷達的檢測結果顯示，目標位置檢測相對相機更加準確，但檢測不到遠處的白色轎車。將 2 種傳感器融合，采用融合激光雷達檢測，可減小雨水天氣對無人車感知功能的影響，在雨天下依然能對遠處車輛目標進行識別，實現了無人車周圍 360° 范圍內的目標感知。

　　綜合 4 種天氣條件下對單相機檢測結果、激光雷達檢測結果和融合檢測結果進行可視化，并統計車輛目標的檢測結果，發現在不同天氣條件下，單傳感器檢測與傳感器融合檢測均存在不同程度的目標漏檢情況，單相機檢測情況下，漏檢數量最多，融合檢測漏檢數量最少。通過傳感器的融合，感知系統可以綜合相機與激光雷達的優勢，實現優勢互補，使得遠處的車輛目標能被無人車識別，并且借助激光雷達 360° 的視野優勢，實現對交叉路口的全方位感知。

　　5 結論

　　基于 FloodFill 與譜聚類算法結合方法，提出基于激光雷達點云的目標檢測方法，將譜聚類算法應用于點云的聚類分割中，考慮連通組件之間的特征距離，改進相似度矩陣。結果表明，激光雷達對近處目標有良好的檢測效果，對于距離無人車 50m 以內的相鄰車道中的車輛目標，能夠準確識別其位置。

　　基于平面法線對齊方法，對激光雷達點云信息與相機圖像信息進行融合，引入遺傳算法對求解結果進行優化，對結果進行高斯分布處理，獲得最優解。結果表明，重投影像素誤差小于 15mm。

　　構建城市交叉口仿真環境，針對晴天、雨天、夜晚及霧天場景，分別對單相機檢測、激光雷達檢測及融合檢測方法進行仿真分析。結果表明，進行傳感器融合之后，綜合激光雷達與相機的優勢，無人車能夠對自車周圍 360° 范圍內的目標進行識別。

李勝琴;孫 鑫;張民安,東北林業大學機電工程學院,202406