傳動網 > 新聞頻道 > 技術前沿 > 資訊詳情

雙目立體視覺“新生”

時間:2022-03-14

來源:中國傳動網

導語:目前,在面向高階智能駕駛賽道,一部分廠商不斷強化純視覺感知能力,比如,特斯拉、Mobileye(也在布局4D成像雷達、激光雷達),同時依賴數據訓練迭代;另一部分則尋求通過雙目立體視覺+激光雷達+高分辨率雷達來實現,比如,雷克薩斯、奔馳S。

  視覺感知正在經歷一輪新的市場變革。

  特斯拉“拋棄”傳統毫米波雷達,原因是目前的視覺(攝像頭)與雷達的前融合,還無法經受復雜道路場景的考驗,尤其是非4D成像雷達無法在感知能力上與攝像頭的分辨率匹配(前融合)。

  目前,在面向高階智能駕駛賽道,一部分廠商不斷強化純視覺感知能力,比如,特斯拉、Mobileye(也在布局4D成像雷達、激光雷達),同時依賴數據訓練迭代;另一部分則尋求通過雙目立體視覺+激光雷達+高分辨率雷達來實現,比如,雷克薩斯、奔馳S。

  廠商不斷強化純視覺感知能力.jpg


  同時,單目攝像頭也在尋求擴展“深度估計”感知能力,比如,密集光流技術+自監督單目圖像深度估計。不過,通過平面2D幀來實現3D視圖,單目系統存在可靠性難題(比如,對不同復雜場景、動靜態物體感知的性能指標能否達到同樣的水準),技術門檻較高。

  在行業人士看來,距離準確度和精度是更高級別自動輔助駕駛的關鍵組成部分。激光雷達、4D成像雷達是解決方案之一,但仍需要可見光/紅外攝像頭感知能力的提升來配合。

  突破方向之一,就是雙目立體視覺。這個在過去被行業視為小眾技術路線的方案,正在演變成高階智能駕駛系統的主流方案。同時,更多供應商的進入,也讓雙目立體視覺(甚至搭配雷達的情況下)的系統成本具備挑戰傳統1V1R的可行性。

  在前裝市場,去年開始,雙目立體視覺的搭載車型也在增加,并且不再只是豪華品牌的專屬。比如,吉利旗下星越L、領克07/09、極狐阿爾法S華為HI版以及更多自主品牌新車正在陸續“升級”雙目立體視覺配置。

  一、重新認識“雙目立體視覺”

  高工智能汽車研究院監測數據顯示,2021年全年國內新車(自主+合/獨資)標配雙目立體視覺ADAS上險量為22.4萬輛,同比上年增長13.71%。而在供應端,除了日立、Veoneer、大陸、博世等傳統雙目立體視覺方案商,也有不少初創公司進入賽道。

  實際上,不管是瑞薩、TI、安霸還是英偉達、高通等芯片廠商,對于雙目立體視覺應用都有支持。比如,瑞薩的R-Car V3H,除了支持多傳感融合、高達800萬像素攝像頭的ISP,同時支持用于CNN、密集光流、立體視覺和物體分類的專用硬件加速器。

  

支持多傳感融合.jpg

  而在面向域控制器賽道,安霸半導體最新發布的大算力SoC-CV3(等效算力500TOPS,上圖為架構)就自帶了雙目立體視覺引擎和稠密光流引擎,從而實現深度檢測和運動感知。

  考慮到高階智能駕駛賽道還處于早期階段,不同技術路線的博弈還沒有定論。這為雙目立體視覺(實際上斯巴魯量產搭載雙目和Mobileye成立時間都在1999年)提供了爭奪份額的機會。

  兩年前,Xilinx宣布將與斯巴魯合作,基于汽車級Zynq UltraScale+多處理器芯片系統(MPSoC),為其下一代雙目高級駕駛輔助系統提供算力支持。同時,雙目立體視覺方案商也同步更換為Veoneer。

  按照斯巴魯的說法,新一代系統采用的圖像處理技術可以掃描立體攝像機捕捉到的所有信息,并創建高精度的3D點云,從而更好的應對高級別自動駕駛場景。

  隨后,豐田旗下豪華品牌雷克薩斯在2020年底正式上市最新一代LS轎車,除了搭載由電裝開發的激光雷達,還有雙目立體攝像頭,可以實現在高速公路上自動換道并實現換道超車。

  緊接著,去年底梅賽德斯·奔馳全新一代Drive Pilot系統(首發搭載新一代S級轎車)獲得監管機構L3級(低速)自動駕駛上路許可,前置雙目立體視覺+毫米波雷達+激光雷達的配置成為焦點。

  按照此前公開的數據,這套感知系統的選裝價格低于9500美元。其中,雙目立體視覺感知(視場角70度)由Veoneer提供,完全集成硬件和感知軟件(CNN+3D立體視覺,對車前物體進行精確分類和定位),支持車道檢測、可行駛區域檢測、小障礙物檢測和三維物體分類。

  這其中,雙目立體視覺與激光雷達的數據前融合能力被激發。

  從物理性能來看,激光雷達通過測量光信號從物體反射到車端傳感器所需要的時間來提供距離測量。類似的,雙目立體視覺也提供距離估計,基于從兩個不同的視角獲取的視覺信息的三角測量結果。

  而通過立體視覺生成的數據更豐富,這反過來使激光雷達的障礙檢測更容易。此外,在弱光場景下,立體視覺的分辨率也很高(這一點在4D成像雷達也可以奏效)。

  此外,在測距方面,立體視覺通過處理兩幅圖像得到的間接測量。但無論如何,立體視覺都能夠提供遠程(不強制要求精確測量距離)和短程(要求高精度執行精確機動)應用所需的精度水平。

  在這方面,立體視覺可以與激光雷達形成很好的互補關系。同時,立體視覺提供的雙重圖像還可以用來并行執行單目CNN算法,如物體分類。而其特有的優勢在于,不需要單目視覺過于依靠深度學習能力,實現對未知障礙物的感知。

  “我們把立體視覺的機械工程問題轉變為軟件問題,”NODAR公司創始人Dr. Leaf Jiang表示,針對遠距離探測,可以基于軟件算法創新,實現兩顆攝像頭超大距離的寬基線配置,同時允許機械公差和主動補償功能。

  與此同時,目前一些車企搭載的多目攝像頭方案,也同樣可以通過立體視覺成像方案來進行“硬件復用”。比如,兩顆攝像頭的視場交集部分,即便是不同焦距、不同距離的攝像頭。這打破了過去對雙目立體視覺的傳統認知(固定基線、規格統一)。

  案例之一就是特斯拉。

  在“棄用”雷達的同時,特斯拉在FSD軟件中開始采用多攝像頭+實時運行神經網絡的技術路線,這其中就可能采用了兩種技術,主要就是通過軟件技術來實現硬件“升級”。

  一是類似立體視覺,通過兩顆攝像頭重疊視場或者類似虛擬立體技術(實際分辨率是原有攝像頭的1/8,同時在中距區間內發揮作用);二是運動視差技術,通過連續幀追蹤物體(與背景和其他物體相對移動),來實現深度預估。

 立體視覺.png

  最近,特斯拉宣布,在原有Model 3和Model Y車型基礎上,今年2月中旬開始,Model S和Model X車型也開始“移除”毫米波雷達。這意味著,特斯拉正式完成全系車型的純視覺感知能力,技術成熟度已經達到一定水準。

  “每增加一個傳感器,就會增加系統的輸入帶寬要求。因此,需要找到傳感器的最優配置,應該限制傳感器的總數,但不限制捕獲的數據的數量和類型?!碧厮估膶@牧线@樣寫道。

  當然,還有一些企業采用非可見光紅外攝像頭來補充立體視覺感知的能力。比如,QuadSight的四目視覺系統,在現有雙目立體系統的基礎上,增加了兩個紅外攝像頭,這使得探測范圍從可見光擴展到紅外波段。

  二、爭奪規?;涞貦C會

  但要成為主流,任何一種感知方案都要經受成本的考驗。

  而對于雙目立體視覺方案來說,短期內更大的機會或許在法規(新車評級)入門級市場。畢竟,在高階智能駕駛賽道,任何技術路線還都處于小規模上車周期。

  高工智能汽車研究院監測數據顯示,2021年度中國市場(不含進出口)15萬元及以下新車上險量達到1120.11萬輛,占全部新車比重超50%,同比保持小幅增長。

  而在ADAS(L0-L2)部分,這個價格區間的前裝搭載率僅為19.73%,低于市場平均水平近20個百分點。這個區間由于成本敏感度高,近年來,基于純單目前向視覺感知方案異軍突起。

  此前,包括采埃孚、法雷奧、智駕科技、知行科技、福瑞泰克等Tier1供應商開始前裝交付基于單攝像頭(寬視場角)的L1/L2級輔助駕駛方案,再通過360度環視/周視,可以實現更高階感知。

  2020年7月,采埃孚在中國市場首發量產基于單攝像頭(S-Cam4.8)的L2單車道智能駕駛系統,搭載于自主品牌哈弗SUV熱銷車型,該項目由采埃孚中國團隊負責開發。更多的中國供應商也在入局。

  比如,知行科技的第二代產品IFC2.0(單目攝像頭方案)提升了2倍的FOV(100°),提供十字路口輔助相關功能;同時,基于比第一代提升3倍的算力,可以同時跟蹤更多的目標。這套性價比極高的方案同樣可實現L2級自動駕駛輔助系統。

  按照該公司的說法,單攝像頭方案對整個系統的識別、定位、規劃、控制等環節的精度要求非常高,方案的成功量產充分證明公司在核心算法、軟硬件開發和系統集成驗證方面的技術能力。

  此外,按照高階智能駕駛技術架構的發展趨勢,這套基于單目感知的低成本、高性價比方案同時可以作為復雜多傳感+域控制器方案的冗余備份。不過,單目要“優化”性能,需要大量的數據迭代。

  隨著新車評級指標的逐步升級,以及車企對于技術路線選擇、功能差異化的考慮,也給了雙目立體視覺感知方案一次突圍的機會?!叭绻麖南到y開發角度,而不是單一的硬件考慮,雙目立體視覺方案已經可以與單目抗衡成本,”行業人士指出。

  一直以來,受限于成本及量產開發難度、可選供應商數量少等原因,雙目立體視覺僅僅是小眾化的感知方案,但在不依靠毫米波雷達的情況下,同樣具備獨立實現各種ADAS功能的能力。

  同時,隨著高分辨率攝像頭的逐步上車,車端處理器能力的提升以及實時在線校準、深度學習實現分類等技術的成熟,雙目立體視覺方案已經具備挑戰能力。和幾年前相比,供應商的能力和方案成熟度也已經進入新的周期。

  以元橡科技自主研發的智能立體視覺高級ADAS系統解決方案為例,可以智能識別全類型障礙物、精準記錄位置信息,30米以內精度達到99%,最遠可探測200米距離(平均誤差低于5%),實時畫面延遲達到毫秒級。

  此外,通過幾代系統的迭代升級,根據美國公路安全協會(IIHS)的數據,斯巴魯的EyeSight(立體視覺)駕駛輔助系統可以將追尾事故的可能性降低至多85%,甚至比很多搭載單目+毫米波雷達的車型數據還要高出不少。

  而傳統的單目視覺最大的瓶頸在于對訓練樣本的依賴,即便擁有海量數據用來訓練深度模型,仍然無法保證能夠正確處理所有場景,特別是對于低頻出現的非常見障礙物。這也是為什么不少企業開始動起了“數據迭代,驅動系統優化”的模式。

  不同的是,雙目立體攝像頭是一個具有天然測量能力的傳感器,能直接得到物體空間位置和大小,可以對任意障礙物進行檢測,而不只針對事先訓練的模型,避免因漏檢造成意外風險。

  同時,這也是一個天然融合的傳感器,將深度學習和圖像學習進行有效糅合(特斯拉似乎在專利中也有提及),以應對部分惡劣天氣和照明條件,從而解決單目感知的全場景覆蓋的瓶頸。

  這也解決了目前絕大部分單目+毫米波雷達融合方案的可靠性難題。但同時,視覺側能力的提升,意味著毫米波雷達可以專注于自己的能力范圍,比如,提高車輛空間感知能力。

  這意味著,相比于“前融合”的開發難度,雙目立體視覺+雷達降低了系統開發成本?!鞍l揮各自所長,比拉郎配,效果更好”。

  以全新奔馳S級轎車L3級系統為例,Veoneer的雙目立體感知方案,基于CNN深度學習技術,結合3D立體視覺,對車前物體進行精確分類和定位,實現車道檢測、自由空間檢測、小障礙物檢測和三維物體分類。

  相比較而言,這款車搭載的毫米波雷達和激光雷達都不是性能“爆表”的產品。比如,法雷奧的第二代混合固態激光雷達SCALA2,大陸集團的長距離毫米波雷達ARS510(并非ARS540的4D成像)。

  這意味著,從系統而非單一傳感器角度來看,雙目立體視覺的優勢在于可以降低其他傳感器與感知系統進行協同數據融合開發的難度和成本。

  “這將打開全新的感知組合設計選項,并站在系統的角度降低全生命周期開發成本,再加上攝像頭的復用,還可以提供冗余的感知能力。”業內人士表示。

  數據顯示,從去年開始,國內不少車企(包括商用車、乘用車)已經開始選擇雙目立體視覺方案作為前裝量產定點,預計未來三年,將是放量周期。

 


中傳動網版權與免責聲明:

凡本網注明[來源:中國傳動網]的所有文字、圖片、音視和視頻文件,版權均為中國傳動網(www.hysjfh.com)獨家所有。如需轉載請與0755-82949061聯系。任何媒體、網站或個人轉載使用時須注明來源“中國傳動網”,違反者本網將追究其法律責任。

本網轉載并注明其他來源的稿件,均來自互聯網或業內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。

關注伺服與運動控制公眾號獲取更多資訊

關注直驅與傳動公眾號獲取更多資訊

關注中國傳動網公眾號獲取更多資訊

最新新聞
查看更多資訊

熱搜詞
  • 運動控制
  • 伺服系統
  • 機器視覺
  • 機械傳動
  • 編碼器
  • 直驅系統
  • 工業電源
  • 電力電子
  • 工業互聯
  • 高壓變頻器
  • 中低壓變頻器
  • 傳感器
  • 人機界面
  • PLC
  • 電氣聯接
  • 工業機器人
  • 低壓電器
  • 機柜
回頂部
點贊 0
取消 0