機(jī)器視覺三維成像技術(shù)簡介（一）

三維成像技術(shù)概述

三維成像，是在傳統(tǒng)二維成像基礎(chǔ)上增加了深度信息，進(jìn)而可以勝任更高精度的定位、識別和檢測任務(wù)，現(xiàn)如今已廣泛應(yīng)用在消費電子、醫(yī)藥及工業(yè)領(lǐng)域。

根據(jù)數(shù)據(jù)獲取方式可以分為接觸式和非接觸式兩種。接觸式根據(jù)有無損傷被測對象可以分為無損和有損兩種類型。非接觸式根據(jù)信號的使用方式可以分為傳輸式和反射式。反射式又可以進(jìn)一步分為光學(xué)和非光學(xué)兩類。光學(xué)式根據(jù)是否需要外加人造光源可以分為主動式和被動式兩大類型。被動視覺成像只依賴相機(jī)接收到的由目標(biāo)場景產(chǎn)生的光輻射信息，該輻射信息通過二維圖像像素灰度值進(jìn)行度量。

被動視覺常用于特定條件下的三維成像場合，如室內(nèi)、目標(biāo)場景輻射動態(tài)范圍不大和無遮擋，場景表面非光滑，且紋理或幾何特征清晰，容易通過立體匹配尋找匹配點。主動立體視覺是利用光調(diào)制（如編碼結(jié)構(gòu)光、激光調(diào)制等）照射目標(biāo)場景，對目標(biāo)場景表面的點進(jìn)行編碼標(biāo)記，然后對獲取的場景圖像進(jìn)行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的三維信息。主動立體視覺的優(yōu)點是抗干擾性強(qiáng)、對環(huán)境要求不高（如通過帶通濾波消除環(huán)境光干擾），三維測量精度、重復(fù)性和可靠性高，缺點是對于結(jié)構(gòu)復(fù)雜的場景容易產(chǎn)生遮擋問題。根據(jù)成像原理又可以進(jìn)一步細(xì)分，具體如下圖所示：

接觸式由于需要用探頭或探針隨被測物表面移動，大小受到限制，也容易劃傷被測物，精度也比較差。像三坐標(biāo)測量機(jī)（Coordinate Measuring Machine，CMM）就是通過探針與物體表面上的離散點測量出被測對象的三維信息。目前三維成像多以利用光學(xué)原理的非接觸式為主，更安全，更高效，更精準(zhǔn)。一個直觀的例子是以往道路施工人員在對坑洼道路維修時使用類似直尺的金屬棒來測量深度，一直沒有一種經(jīng)濟(jì)高效的解決方案，但隨著三維光學(xué)成像技術(shù)的應(yīng)用已經(jīng)改變了這個流程。

本文主要討論機(jī)器視覺領(lǐng)域主流的三維成像技術(shù)，包括飛行時間、結(jié)構(gòu)光、激光三角、雙目立體視覺及以光場成像技術(shù)，最后會補(bǔ)充介紹毫米波雷達(dá)和激光雷達(dá)及各三維成像方案應(yīng)用場景和精度水平對比。

飛行時間法

飛行時間（Time of Flight，ToF），利用發(fā)光二極管（Light Emitting Diode，LED）或鐳射二極管（Laser Diode，LD）發(fā)射出紅外光信號，根據(jù)信號發(fā)射與返回的時間差來測量傳感器與被測物之間的距離。ToF攝像頭通過使用調(diào)制光源（如激光）主動照亮被測物，然后用對激光波長敏感的傳感器捕捉反射光，以此測量距離。傳感器測量從攝像頭發(fā)射光，到攝像頭接收到發(fā)射光之間的時間延遲?t。時間延遲與攝像頭和物體之間的兩倍距離（往返）成正比；因此，距離可以估算為深度 = cΔt/2，其中c表示光速。這個過程與超聲波類似，后者通過聲音，而非光線來測量距離，雷達(dá)則通過無線電波來測量距離。與超聲相比，飛行時間（ToF）攝像機(jī)能夠更快生成具有高（深度）精度的高分辨率深度圖（空間分辨率與RGB攝像機(jī)相當(dāng)），且能覆蓋更大范圍——畢竟，光速遠(yuǎn)遠(yuǎn)大于聲速。雖然雷達(dá)的探測距離更遠(yuǎn)，但飛行時間（ToF）的準(zhǔn)確性與分辨率均更勝yi籌。

目前存在多種不同的測量?T的方法，其中兩種最為常用：連續(xù)波(CW)方法和脈沖方法。連續(xù)波(CW)方法，有時也被稱為間接飛行時間（iToF），該方法測量發(fā)送和接收的光脈沖之間的相移。脈沖方法，有時也被稱為直接飛行時間（dToF），該方法測量發(fā)射的脈沖和接收的光脈沖之間的經(jīng)過時間。這種方法跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，ToF相機(jī)則是同時得到整幅圖像的深度信息。值得注意的是，目前已經(jīng)實施且在市面上使用的絕大多數(shù)連續(xù)波ToF系統(tǒng)都使用CMOS傳感器，脈沖ToF系統(tǒng)則使用非CMOS傳感器（特別是CCD）。使用CW iToF圖像傳感器的優(yōu)勢之一：它們基于傳統(tǒng)的半導(dǎo)體基礎(chǔ)設(shè)施進(jìn)行大規(guī)模量產(chǎn)，能夠以經(jīng)濟(jì)的成本實現(xiàn)高像素密度的短程成像。選擇iToF，還是dToF深度成像系統(tǒng)，最終要看應(yīng)用需求和使用環(huán)境。iToF適用于需要高空間分辨率的短程成像（0.5米、5米和10米）。dToF更適合對空間分辨率要求不高的遠(yuǎn)距離成像。人工智能(AI)和光學(xué)系統(tǒng)設(shè)計使得選擇iToF技術(shù)和dToF技術(shù)的分界線不再那么清晰明確。在能感知環(huán)境的智能邊緣系統(tǒng)中，iToF和dToF傳感器都與RGB圖像和慣性傳感器集成，并在AI的助力之下提升性能，消除偽影。

就像鼠標(biāo)改變了計算機(jī)交互，觸摸屏技術(shù)推動了智能手機(jī)和平板電腦的普及一樣，飛行時間（ToF）技術(shù)正在助力實現(xiàn)非接觸式3D交互。在推動工業(yè)4.0發(fā)展方面，飛行時間（ToF）技術(shù)具有類似效用。從用于質(zhì)量檢測的工業(yè)機(jī)器視覺，到用于資產(chǎn)管理的體積檢測，再到推動自主（設(shè)備）生產(chǎn)的導(dǎo)航技術(shù)，制造行業(yè)開始采用這些傳感技術(shù)，并逐步轉(zhuǎn)向適合惡劣工業(yè)環(huán)境的高分辨率系統(tǒng)。目前，我們周圍采用飛行時間（ToF）技術(shù)的應(yīng)用層出不窮，從汽車座艙安全，到家庭運(yùn)動設(shè)備，再到游戲和畫面逼真的3D遠(yuǎn)程協(xié)作。甚至對于倉庫、桶、大型儲物罐的儲量檢測也有廣泛的應(yīng)用。飛行時間（ToF）技術(shù)的未來應(yīng)用之一是自動駕駛汽車中，作為雷達(dá)、LIDAR和其他深度傳感器的補(bǔ)充。

目前的消費級ToF深度相機(jī)主要有：微軟的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的ToF深度相機(jī)等。這些產(chǎn)品已經(jīng)在體感識別、手勢識別、環(huán)境建模等方面取得了較多的應(yīng)用，最典型的就是微軟的Kinect 2。

ToF成像可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集，其特點是：檢測速度快、視野范圍較大、工作距離遠(yuǎn)、價格便宜，但精度低，易受環(huán)境光的干擾。對于光滑物體（反射光朝向不同方向）或者有夾角的物體（發(fā)生多次反射），飛行時間成像精度均會受到影響。

與普通相機(jī)類似，ToF相機(jī)芯片前端需要一個搜集光線的鏡頭。不過與普通光學(xué)鏡頭不同的是這里需要加一個帶通濾光片來保證只有與照射光源波長相同的光才能進(jìn)入。

ToF的優(yōu)勢：飛行時間由于采用主動光源照射被測物，在沒有環(huán)境光照的ji端情況下仍然可以正常工作。與立體相機(jī)或三角測量系統(tǒng)比，ToF相機(jī)體積小巧，重量輕，跟一般相機(jī)大小相去無幾，非常適合于一些需要輕便、小體積相機(jī)的場合。飛行時間算法原理相對簡單，所以ToF相機(jī)能夠?qū)崟r快速的計算深度信息，達(dá)到幾十到100fps。而雙目立體相機(jī)需要用到復(fù)雜的相關(guān)性算法，處理速度較慢。ToF的深度計算不受物體表面灰度和特征影響，可以非常準(zhǔn)確的進(jìn)行三維探測。而雙目立體相機(jī)則需要目標(biāo)具有良好的特征變化，否則會無法進(jìn)行深度計算。由于光的速度非常快，ToF相機(jī)需要復(fù)雜的設(shè)計才能實現(xiàn)往返信號時間差的檢測，制造相對困難，ToF相機(jī)的深度計算精度不隨距離改變而變化，在整個測量范圍內(nèi)基本能穩(wěn)定在cm級，這對于一些大范圍運(yùn)動的應(yīng)用場合非常有意義。相對于結(jié)構(gòu)光相機(jī)，在10米范圍內(nèi)，ToF相機(jī)精度更低，10米外則精度更高。ToF相機(jī)的一個顯著優(yōu)勢是工作距離比較寬，可以覆蓋0.5米到10米的范圍，精度要求不高的場景有的甚至達(dá)到幾百米，該場景下一般照射單元采用紅外LED而非激光，不傷害眼睛。而結(jié)構(gòu)光相機(jī)成像范圍只有2到3米，但是精度會更高。因此雖然ToF相機(jī)可以工作在較短距離范圍，當(dāng)需要一定精度要求時，并不是好的選擇。

TOF深度相機(jī)對時間測量的精度要求較高，發(fā)射脈沖必須在非常短的時間(皮秒級），即使采用最高精度的電子元器件，也很難達(dá)到毫米級的精度。因此，在近距離測量領(lǐng)域，尤其是1m范圍內(nèi)，TOF深度相機(jī)的精度與其他深度相機(jī)相比還具有較大的差距，這限制它在近距離高精度領(lǐng)域的應(yīng)用。ToF相機(jī)在遠(yuǎn)距離測距上由一定優(yōu)勢，但是價格相對昂貴，并且沒有顏色信息。

ToF相機(jī)精度很大程度上與距離相關(guān)，一般認(rèn)為可以通過1%的成像距離進(jìn)行估算，因此如果被測物是5米遠(yuǎn)，ToF相機(jī)可以達(dá)到5cm的精度。而雙目立體相機(jī)精度大概是5-10%的成像距離，結(jié)構(gòu)光相機(jī)是精度最高的，可以達(dá)到1mm。

延伸：光學(xué)雷達(dá)屬于飛行時間類型嗎

光學(xué)雷達(dá)（Light Detection and Ranging，LiDAR），又名飛行時間激光掃描儀（ToF Laser Scanner），有時也稱激光雷達(dá)（Laser Radars），通過向周圍環(huán)境多角度發(fā)射激光脈沖根據(jù)飛行時間來測量被測物距離。此外，光學(xué)雷達(dá)為了在深度圖上反映被測物更多的細(xì)節(jié)還會測量反射光強(qiáng)度。另外，3D ToF也可以看作是一種無掃描儀LiDAR技術(shù)。

SICK Visionary-T Mini 3D相機(jī)

SICK Visionary-T Mini 3D相機(jī)憑借 3D 飛行時間 (TOF) 技術(shù)，實現(xiàn)緊湊型外殼和出色的數(shù)據(jù)質(zhì)量機(jī)器人技術(shù)、運(yùn)輸車和物流的自動化應(yīng)用離不開準(zhǔn)確可靠的 2D 和 3D 測距數(shù)據(jù)。此外，即使安裝空間狹小，視覺系統(tǒng)也應(yīng)該可以輕松集成到相應(yīng)的機(jī)器設(shè)計中。SICK Visionary-T Mini 3D相機(jī) 產(chǎn)品系列將高性能與緊湊型結(jié)構(gòu)設(shè)計和較高的成本效益相結(jié)合。另外，3D 視覺傳感器可為數(shù)據(jù)分析提供具有高像素密度的詳細(xì)二維和三維散點圖。自動運(yùn)行模式可簡化其機(jī)器集成，并確保操作更加簡便。

關(guān)于昊艾智能

昊艾智能是德國 SICK 在中國 3D 視覺領(lǐng)域的專業(yè)代理商。

昊艾智能專注于提供3D機(jī)器視覺整體解決方案，助力中國智能制造水平的提升與產(chǎn)業(yè)升級！

目前，我們擁有一批高素質(zhì)的3D機(jī)器視覺應(yīng)用工程師與算法研發(fā)工程師，具有完備的機(jī)器視覺項目評估能力與底層核心算法開發(fā)能力。我們的3D機(jī)器視覺整體解決方案在動力電池、汽車行業(yè)、消費電子、白色家電、軌交檢測等多個領(lǐng)域成功落地實施，積累了豐富的3D機(jī)器視覺項目應(yīng)用與軟件開發(fā)經(jīng)驗！

昊艾智能主營產(chǎn)品：3D機(jī)器視覺整體解決方案，包括結(jié)構(gòu)光3D相機(jī)、激光線掃相機(jī)、SICK 3D線激光輪廓傳感器、TOF相機(jī)，高精度3D測量系統(tǒng)、視覺引導(dǎo)定位系統(tǒng)、無序抓取系統(tǒng)等，可實現(xiàn)平面度、高度差、位置度測量、凹凸缺陷檢測、膠路檢測、視覺引導(dǎo)機(jī)器人打磨、視覺引導(dǎo)機(jī)器人工件定位裝配、工件無序抓取等功能。