2022年8月22日-24日,VALSE 2022大會在天津國家會展中心正式舉辦。奧比中光作為金牌贊助商,以「見」機而行,「視」不可擋為主題亮相,憑借六足仿生機器人JetHexa、高精度三維人臉重建系統、三維視覺在線課程等產品及內容,展示3D視覺感知在機器人、元宇宙等領域的創新應用潛能,讓與會者一覽3D數字化世界的精彩。
六足仿生機器人燃爆現場
8月22日上午,六足仿生機器人JetHexa在VALSE 2022奧比中光展位亮相,憑借酷炫的外觀與3D視覺“慧眼”成為了現場焦點,吸引眾多青年學子與開發者交流體驗。JetHexa搭載了奧比中光DaBai DCW深度相機以及NVIDIA Jetson Nano、激光雷達等硬件,可實現精準的建圖導航、動態避障、路徑規劃、體感交互。
六足仿生機器人JetHexa成為VALSE現場焦點
3D視覺感知交互能力是機器人的“眼睛”。奧比中光的3D視覺傳感器可以幫助機器人高效完成人臉識別、距離感知、避障、導航等功能。奧比中光此次還展出了Orbbot S1移動機器人、Orbbot Arm桌面機械臂系統等機器人開發相關套件,助力開發者打造機器人3D視覺應用。
奧比中光展位吸引眾多學子圍觀
頂會論文分享:結合單目結構光和雙目立體視覺的深度估計
8月23日下午,在VALSE大會Workshop上,奧比中光研究院三維重建組負責人徐玉華博士以《消費級深度相機與應用》為題發表演講,并分享其團隊CVPR 2022論文成果《結合單目結構光和雙目立體視覺的深度估計》(Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light)。
奧比中光研究院徐玉華博士演講現場圖
在Workshop現場,徐玉華博士從現有消費級深度相機入手,對比了單目結構光、被動雙目、主動雙目、ToF等不同技術方案的優劣勢,并分享了其在論文中提出的一種新型深度估計系統:它由一個RGB相機、一個紅外相機和一個紅外散斑投影器組成。
徐玉華博士團隊提出的全新深度相機設計思路
紅外相機可以同時接收紅外光(人眼不可見)和環境光(人眼可見)。紅外相機和紅外投影器可以構成一個單目結構光子系統,而紅外相機和RGB相機又可以構成一對雙目立體視覺子系統。
主動的單目結構光子系統對被動雙目立體視覺子系統難以處理的弱紋理對象(如白墻)具有很好的魯棒性,而雙目子系統對于遠距離物體和戶外場景具有較好的適應性。因此,這兩種類型的深度估計子系統可以優勢互補。通過將單目結構光子系統獲得的初始深度圖融合到立體匹配網絡的代價空間(Cost Volume)中,可以獲得一個魯棒的深度估計系統。
深度估計流程
基于該原理,徐玉華博士團隊構建了一個原型系統,并建立了一個新的立體視覺數據集,以驗證新方法的有效性。測試結果表明,該系統的Bad2.0匹配誤差不到被動立體視覺系統的1/3。
論文提出的深度相機的效果,與現有的主動式深度傳感系統Intel D435相比,輸出的深度圖具有更好的完整性,并且深度圖和RGB圖像是逐像素天然對齊的。
與其他深度相機在室外對比
精度優于0.15mm,重建元宇宙“數字人”
在演講中,徐玉華博士還展示了奧比中光專門為高精度人臉三維重建設計開發的消費級深度相機Gemini Metric。由于采用了優化的硬件和高精度立體匹配算法,Gemini Metric可實現高幾何精度、高保真紋理的三維人臉重建,精度優于0.15mm,可滿足高質量數字人創建、醫學美容整形等應用。
由Gemini Metric生成的三維人臉模型
從入門到精通,奧比中光3D視覺課程上線
本次參展VALSE 2022,奧比中光3D視覺開發者社區現場帶來《三維視覺:原理與實踐》在線課程,為眾多學子、開發者開啟3D視覺世界大門。
該課程由奧比中光多位算法專家、資深算法工程師打造,系統地介紹了3D視覺的基本原理及應用實踐。課程內容涵蓋基礎二維圖像處理算法、深度學習方法、相機模型與標定、雙目立體視覺、散斑結構光、飛行時間法(ToF)等三維成像原理與算法、基于點云的三維重建算法、基于RGBD相機和LiDAR的SLAM算法、3D人臉識別算法、RGBD圖像分割算法、基于RGBD圖像人體姿態估計、ROS機器人小車實戰等,幫助學生、開發者在3D視覺領域實現從入門到精通的進階。
3D視覺感知技術已經深入大眾的生活。在智能手機上,3D視覺感知被用于支付、解鎖、照片美顏等。在移動機器人和無人機上,3D視覺感知被用于避障、定位、導航。在智能汽車行業,3D視覺感知被用于自動駕駛、輔助駕駛。在AR/VR、元宇宙等領域,3D視覺感知被用于人機交互、內容創作。
奧比中光是市場上為數不多能夠提供全套自主知識產權3D視覺感知產品的企業,也是全球少數幾家全面布局六大3D視覺感知技術路線的公司。目前,奧比中光已經構建起“全棧式技術研發能力+全領域技術路線布局”的3D視覺感知技術體系,重點賦能生物識別、機器人、智能終端、智能汽車、智慧家庭、數字孿生、AR交互等應用場景,為各行各業數字化智能化升級提供3D視覺感知技術支撐。