文｜松靈機器人
2020年11月23日，一篇名為《CamVox: 一種低成本、高精度的激光雷達輔助視覺SLAM系統》論文發表在康奈爾大學的arXri平臺，該論文由南方科技大學ISEE團隊基于SCOUT MINI移動機器人平臺進行快速二次開發，并在平臺上搭載了GPS、Camera、LivoxHorizon、IMU等設備。
圖一示出了從CamVox構建的示例軌跡和地圖
CamVox是什么？
近年來，自主移動機器人得到飛速發展，在基于相機的同步定位和建圖(SLAM)基礎上結合激光雷達是提高整體定位精度的有效方法之一，尤其是在大規模室外場景下。低成本激光雷達(如Livox激光雷達)的出現與應用，使我們能夠以更低的預算和更高的性能去嘗試和開發這種SLAM系統。
南方科技大學ISEE團隊通過探索Livox激光雷達的獨特特征,將Livox激光雷達應用到視覺SLAM(ORBSLAM2)中,提出了CamVox。同時，基于Livox激光雷達的非重復特性, 提出了一種適用于非受控場景的激光雷達-相機自動標定方法，更長的深度探測范圍也有利于更有效的建圖。
為什么要實現CamVox？
由于豐富的角度分辨率和信息豐富的顏色信息，相機可以通過簡單的投影模型和光束調整提供良好定位和建圖性能。從最初的單目相機到雙目相機，再到RGB-D相機，它們都有著不同類型的問題，這些問題對精度、尺寸會產生較大影響。即便后來采用融合像機和IMU的組合方式，卻因為消費級IMU只能在相對較低的精度下工作,并且IMU本身容易受到偏置、噪聲和漂移等的影響，但是高端IMU的成本非常高，這些都不利于IMU進行普及。
另一方面，激光雷達提供了直接的空間測量。激光雷達SLAM框架已經開發出來且相對成熟，但是多線激光雷達通常成本太高，無法用于實際應用。幸運的是,Livox推出了一種基于棱鏡掃描的新型激光雷達，由于采用了新的掃描方法，成本可以大大降低,被大規模采用。此外這種新的掃描方法允許不重復的掃描模式，非常適合于在累積時獲取相對高清晰度的點云。此功能在校準激光雷達和相機時非常有用，因為傳統的多線激光雷達缺乏線間空間的精度，棱鏡設計還具有用于信號接收的最大光學孔徑,并允許遠程檢測。
圖二表示與傳統激光雷達相比，三種Livox激光雷達模型的點云密度隨積分時間的變化
由于激光雷達的遠距離探測和高精度特征,相機和激光雷達之間的外部參數標定成為更重要的考慮因素。激光雷達相機的建議解決方案可以分為兩種方式。第一個是標定過程是否需要一個比標定目標，第二個是標定是否可以在沒有人為干預的情況下工作。這些年來,許多標定技術都是基于固定的校準目標或人工努力，但到目前為止,標定仍然是一項具有挑戰性的任務，在不受控制的場景中，沒有用于標定激光雷達和攝像機的開源算法。Livox激光雷達的非重復掃描模式可以提供一個更容易的解決方案。
如何實現CamVox？
由于從Livox lidars獲得的稠密、長距離和精確的點與相機圖像相融合，因此可以分配比傳統RGB-D相機(由于檢測距離)或雙目視覺相機更多的近點。因此相機和激光雷達的優勢可以通過緊耦合的方式加以利用。
A.硬件和軟件
CamVox硬件包括一個MV-CE060-10UC滾動快門相機，一個Livox激光雷達和一個慣性測量單元(慣性傳感INS)。附加的GPS-RTK(慣性導航系統)用于地面真實度估計。
系統在幾個并行線程上運行，如上圖所示。除了ORB-SLAM2的主要線程之外，還添加了一個額外的RGB-D輸入預處理線程，以捕獲來自同步相機和激光雷達(IMU校正)的數據，并將其處理成統一的RGB-D幀。可以觸發自動校準線程來校準相機和激光雷達，當檢測到機器人不移動或通過人類交互時，自動進行校準。然后對校準結果進行評估并輸出，用于潛在的參數更新。
B.預處理
預處理線程從激光雷達獲取原始點，由IMU進行校正，并根據相機的外部校準投影到深度圖像中，然后將RGB圖像與深度圖像組合作為RGB-D幀的輸出。由于激光雷達持續掃描環境，每個數據點都是在略有不同的時間戳獲得的，需要IMU進行校正。
圖三為機器人平臺、CamVox硬件組成、圖片案例
為了糾正當機器人處于連續運動時點云變形的這種失真，機器人的運動是在每個激光雷達點輸出時間從慣性測量單元姿態插值，并轉換當觸發信號開始時，激光雷達指向激光雷達坐標，這也是捕捉相機圖像的時間。
圖5示出了當機器人處于連續運動點云變形的例子
C.校準
由于激光雷達的遠程能力，校準精度在CamVox中至關重要。由于Livox激光雷達不重復的特性，只要我們能夠積累幾秒鐘的掃描點，深度圖像就可以變得像相機圖像一樣高分辨率，并且與相機圖像的對應關系變得容易找到。
圖七為整個校正算法的結構
因此我們能夠基于場景信息在幾乎所有的現場場景中自動進行這種校準。當檢測到機器人靜止時，設置自動校準的觸發，以消除運動模糊。我們在靜止狀態下積累激光雷達點幾秒鐘，相機圖像也被捕獲.
結 果
具體來說,我們將首先顯示自動校準的結果，還評估了為關鍵點選擇深度閾值的效果。最后，我們評估了CamVox與主流SLAM框架的比較軌跡，并給出了時間分析。
A.自動校準結果
圖八為自動校準結果
B.關鍵點深度閾值的評估
C.軌跡比較
D.計時結果
CamVox框架的時序分析如表二所示。自動校準大約需要58s完成。因為校準線程僅在機器人處于靜止狀態時偶爾運行，并且參數的更新可能發生在稍后的時間，所以這樣的計算時間對于實時性能來說不是問題，
結論和展望
綜上所述，提出CamVox作為一種新的低成本激光雷達輔助的視覺SLAM框架，旨在結合兩者的優點，即來自攝像機的最佳角度分辨率和來自激光雷達的最佳深度和距離。由于Livox激光雷達的獨特工作原理，開發了一種可以在不受控制的場景中執行的自動校準算法。在自動校準精度、關鍵點分類深度閾值和軌跡比較方面對新框架進行了評估。它也可以在機載計算機上實時運行。南方科技大學ISEE團隊希望這個新的框架可以用于機器人和傳感器研究,并為社區提供現成的低成本解決方案。
選對一個機器人平臺，項目已成功了一半
機器人底盤承載著機器人定位、導航、移動、避障等多種功能，是機器人必不可少的重要硬件。同時，機器人作為一個多種技術與功能的集合體，除了部分軟件功能之外，其他重要部分都在機器人底盤這一硬件模塊之上，機器人底盤不僅是各種傳感器、機器視覺、激光雷達、電機輪子等設備的集成點，更承載了機器人本身的定位、導航、移動、避障等基礎功能。
據了解，市面上機器人底盤的價格通常在2-10萬之間，對于功能要求越高的機器人，底盤的價格也相對越高，在成本和功能之間始終無法找到一個平衡點，高昂的成本讓不少企業和消費者難以負擔。同時，現在的服務機器人底盤普遍采用的是通用底盤，但其實不少下游企業對底盤的制作要求各不相同，根據場景的差異，對形狀大小的要求也不盡相同。
針對這一現狀，松靈機器人自主研發了包括SCOUT 2.0, SCOUT MINI, HUNTER 2.0, BUNKER, TRACE等通用底盤。上文所采用的機器人底盤-SCOUT MINI是松靈機器人專為前沿科學實驗設計的全能型移動研究平臺。
此外，SCOUT MINI的標準化協議和接口，方便快速進行二次開發；多方位的安裝支架提供豐富的外部設備支持。自帶獨立主控可以完成自身的運動控制，并可以定制復雜的操作模式，主控提供串口/標準 CAN 總線作為通訊接口，可以接入差分 GPS、慣導系統、雙目攝像頭、激光雷達、紅外/超聲波避障傳感器等一系列外部設備。同時支持更高級的自動駕駛系統的接入，例如 ROS、百度 Apollo 等都可以以此作為移動平臺，做應用開發。
巡檢
巡檢領域是當前應用最廣的一個領域，客戶在底盤上面添加激光雷達、IMU、超聲波雷達、人臉識別、警報等傳感器后，使機器人能夠應用在化工廠巡檢、街道巡檢、倉庫巡檢等地。
巡檢機器人
例如廣智微芯就通過松靈SCOUT開發了完全自主智能路徑規劃和導航的智能巡檢車，通過本地智能視頻分析技術，實現異常侵入、打架斗毆等危險情況告警功能。
基于松靈智行導航套件，開發了能夠在工地上自主導航、實現路徑規劃的工地巡檢車，通過激光雷達、超聲波雷達、攝像頭等傳感器，可實現視頻拍攝錄制、人臉識別、自動避障、自動軌跡巡檢等功能，能夠在工地上日夜巡視，全天候作業，降低人力成本。
工地巡檢車
沙漠綠化
華東師范大學軟件工程學院智能機器人運動與視覺實驗室的張新宇老師團隊通過在SCOUT上面搭載機械臂以及其他傳感器，設計研發“種樹機器人集群”，用于治理土地沙漠化，助力生態恢復。該機器人集群已經在內蒙古阿拉善進行種樹測試，并獲得了央視報道關注。
種樹機器人
5G應用
隨著5G應用的部署，松靈機器人聯手華為榮耀推出5G手機遠程操控消毒機器人。使用榮耀V30作為控制端，通過5G信號的加持，輕松實現千里遙控，無須人員到場，有效改善一線作業人員的作業環境，實現零距離接觸。
遠程操控消毒機器人
松靈FreeWalker是一套基于4-5G移動網絡的遠程超視距駕駛方案，基于4-5G網絡大帶寬、低時延的特性，用戶可超視距控制移動機器人完成復雜現場任務，不受距離、環境等因素干擾。該套裝擁有兩個版本：駕駛艙版本適用于專用固定位置遠程駕駛，便攜版本適用于移動或現場遠程駕駛。目前FreeWalker套件已在運營商5G展廳部署，使消費者能夠更直觀的看到5G帶來的革命性應用場景。
基于松靈機器人移動底盤及4-5G遠程駕駛套裝，Weston Robot成功研發適用于室內外無人消毒機器人，該機器人可完成遠程無人化消毒工作，該成果作為先進抗疫情措施被媒體廣泛報道，并被mathwork作為案例引用。
Weston Robot——消毒機器人
教育
截至目前，松靈機器人已經與清華大學、北理工、哈工大、南洋理工大學等國內外100多所高校達成合作，并與南科大、東莞理工等院校建立校企合作，在移動機器人底盤領域，開展運動控制、機器感知、ROS開源等方向的課題研究。松靈機器人現已開啟全球性ROS開源生態圈建設，致力于為學校和科研用戶打造一流的ROS學習和交流平臺。
某高校使用案例
聲明：本文的部分論文簡述內容來源于”當SLAM遇見小王同學“公眾號，版權屬原作者所有。如涉及到版權問題，請及時和我們聯系，核實后協商處理或刪除。
