機(jī)器視覺三維成像技術(shù)簡介（二）

結(jié)構(gòu)光

結(jié)構(gòu)光（Structured Light），利用鐳射二極管（Laser Diode，LD）或數(shù)字光源處理器（Digital Light Processor，DLP）將預(yù)先設(shè)計(jì)的具有特殊結(jié)構(gòu)的圖案（比如離散光斑、條紋光、編碼結(jié)構(gòu)光等）投影在被測物上，使用另一個(gè)相機(jī)觀察經(jīng)由物體不同高度位置反射回來的圖案變形情況，如果被測物表面是一個(gè)平面，則所觀察的結(jié)構(gòu)光圖案與投影類似，沒有變形，只是根據(jù)距離遠(yuǎn)近發(fā)生一定的尺度變化。但是如果被測物表面是不平的，有高低差的，則所觀察到的結(jié)構(gòu)光圖案就會(huì)隨著被測物的高度變化而發(fā)生不同程度的變形，根據(jù)這些變形就能計(jì)算被測物的位置和深度信息。

結(jié)構(gòu)光成像一般分為三步（條紋投影技術(shù)為例）：

第1步，條紋產(chǎn)生：通過計(jì)算機(jī)編程產(chǎn)生正弦條紋，將該正弦條紋通過投影設(shè)備投影至被測物，利用 CCD 相機(jī)拍攝條紋受物體調(diào)制的彎曲程度，解調(diào)該彎曲條紋得到相位，再將相位轉(zhuǎn)化為全場的高度。這里使用的是四步移相法， 因此這里產(chǎn)生四幅相位差 pi/2 的條紋。然后將該四幅條紋分時(shí)投影到被測物（面具）上，采集到如下圖左邊的圖（當(dāng)然也是四幅），同時(shí)要采集四幅參考面的條紋（未被調(diào)制，同樣四幅）。

第2步，相位恢復(fù)：由采集到的四幅受調(diào)制條紋圖計(jì)算出被調(diào)制相位，這里得到的相位圖是截?cái)嘞辔粓D，因?yàn)樗?步移相算法得到的結(jié)果是由反正切函數(shù)計(jì)算所得，因而被限制在[-pi,pi]之間，也就是說每當(dāng)其值超過該范圍，其又會(huì)重新開始。

第3步，3D 重構(gòu)：上述二者相減得到相位差，該相位差則表征了被測物相對參考面的高度信息，再代入相位與高度轉(zhuǎn)化公式（其中相應(yīng)參數(shù)經(jīng)過標(biāo)定），得到 3D 結(jié)構(gòu)的圖像，具體的 3D 重構(gòu)十分依賴算法的支持，具體重構(gòu)過程需 要的算法也十分復(fù)雜。

結(jié)構(gòu)光三維成像技術(shù)目前是機(jī)器人三維視覺感知的主要方式，結(jié)構(gòu)光成像系統(tǒng)是由若干個(gè)投影儀和相機(jī)組成，常用的結(jié)構(gòu)形式有：單投影儀-單相機(jī)、單投影儀-雙相機(jī)、單投影儀-多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)-多投影儀等典型結(jié)構(gòu)形式。

結(jié)構(gòu)光和雙目立體視覺都是基于三角測量原理，要求相機(jī)和投影儀之間或雙目視覺中兩個(gè)相機(jī)之間必須間隔一定的距離，并且存在一定的夾角a（一般>15°）才能實(shí)現(xiàn)測量，都存在體積較大，如果被測物表面陡峭或有臺(tái)階容易產(chǎn)生遮擋的缺點(diǎn)。

基于結(jié)構(gòu)光和三維物體識(shí)別技術(shù)開發(fā)的機(jī)器人三維視覺引導(dǎo)系統(tǒng)，可對較大深度測量范圍內(nèi)散亂堆放的零件進(jìn)行全自由的定位和抓取。相比傳統(tǒng)的二維視覺定位方式只能對固定深度零件進(jìn)行識(shí)別且只能獲取零件的部分自由度的位置信息，具有更高的應(yīng)用柔性和更大的檢測范圍?？蔀闄C(jī)床上下料、零件分揀、碼垛堆疊等工業(yè)問題提供有效的自動(dòng)化解決方案。

結(jié)構(gòu)光技術(shù)和激光三角有一些類似之處，但系統(tǒng)更加復(fù)雜獲取的信息也更豐富，可以生成更多細(xì)節(jié)的點(diǎn)云。結(jié)構(gòu)光相機(jī)更適合被測物靜止的場景，激光三角相機(jī)則更適合被測物運(yùn)動(dòng)的狀態(tài)，尤其是傳送帶或傳輸線上。在環(huán)境光復(fù)雜或者陽光直射的場景，大功率激光三角相機(jī)更具有優(yōu)勢，激光器通過投射一個(gè)波長非常窄的光，圖像傳感器可以通過窄帶濾波器濾除環(huán)境光干擾。結(jié)構(gòu)光相機(jī)大多使用LED光源，沒有安全風(fēng)險(xiǎn)。激光三角相機(jī)則使用激光，對眼睛有潛在的安全風(fēng)險(xiǎn)。對于亞微米應(yīng)用場景，結(jié)構(gòu)光相機(jī)更有優(yōu)勢，激光三角相機(jī)由于存在激光散斑而達(dá)不到亞微米的精度。結(jié)構(gòu)光相機(jī)是全視場一次即可完成三維成像，而不像激光三角相機(jī)那樣一次只可以獲取被測物斷面的深度信息。實(shí)際應(yīng)用中，結(jié)構(gòu)光相機(jī)是將精確校準(zhǔn)的白色或藍(lán)色且有特殊結(jié)構(gòu)的光投影到被測物上，常見的結(jié)構(gòu)有平行的線、條紋或者網(wǎng)格。當(dāng)結(jié)構(gòu)光照射在被測物表面上，光的結(jié)構(gòu)會(huì)隨著被測物表面高低及曲率的變化而變化。以條紋形結(jié)構(gòu)光為例，條紋在被測物表面會(huì)變厚或變薄，意味著這些地方的采樣點(diǎn)與相機(jī)的距離相應(yīng)地較近或較遠(yuǎn)，特殊設(shè)計(jì)的模式識(shí)別和三維重建算法會(huì)根據(jù)信息完成三維成像。一些結(jié)構(gòu)光相機(jī)的投影儀同時(shí)具有RGB相機(jī)的作用可以獲取被測物的紋理和色彩信息。

昊艾智能代理的ZIVID結(jié)構(gòu)光相機(jī)采用單投影儀單相機(jī)的設(shè)計(jì)，與主動(dòng)雙目立體視覺相似，但是少了一個(gè)相機(jī)。通過主動(dòng)投射結(jié)構(gòu)化光源的形式人為給目標(biāo)測量物體添加了易于識(shí)別的特征點(diǎn)。由于結(jié)構(gòu)預(yù)先已知且不是隨機(jī)的，特征提取的運(yùn)算量更低，同時(shí)也避免了相關(guān)性計(jì)算問題。單投影儀單相機(jī)的結(jié)構(gòu)光相機(jī)和主動(dòng)雙目立體視覺相機(jī)一樣，同樣面臨著塊平均、分辨率和精度的問題。ZIVID結(jié)構(gòu)光相機(jī)為了克服這些問題通過引入同時(shí)具有時(shí)域和空間域編碼的結(jié)構(gòu)光。但是結(jié)構(gòu)光相機(jī)和激光三角相機(jī)一樣，對于鏡面、深色或吸收率大的物體，依然會(huì)產(chǎn)生數(shù)據(jù)丟失和檢測錯(cuò)誤。下面是ZIVID結(jié)構(gòu)光相機(jī)和雙目立體視覺相機(jī)所獲取的點(diǎn)云對比：

小米在小米8透明探索版上發(fā)了安卓陣營的3D結(jié)構(gòu)光技術(shù)，OPPO隨后在Find X中也用上了3D結(jié)構(gòu)光，Vivo發(fā)了ToF 3D超感應(yīng)技術(shù)，30萬個(gè)紅外測量點(diǎn)。ToF有效深度信息量是結(jié)構(gòu)光10倍的由來，除了信息量更高之外，ToF的工作距離也要比結(jié)構(gòu)光更高，使用距離可達(dá)3米，達(dá)到了后者的三倍。

激光三角

激光三角（Laser Triangulation）測量法是將相機(jī)鏡頭和激光成一定的角度，激光光源投射到被測物的表面，生成物體表面的輪廓線，若要獲取被測物的三維圖像，物體和相機(jī)必須要發(fā)生相對運(yùn)動(dòng)以生成多條物體表面輪廓線，最后相機(jī)將這些輪廓線組成一副三維圖像。該方法通過測量一條線的幾何偏移，該線的值與物體的高度有關(guān)。它是基于對象掃描的一維成像技術(shù)。根據(jù)激光發(fā)射器與被測物的距離，鐳射點(diǎn)會(huì)出現(xiàn)在相機(jī)視場的不同位置。由鐳射點(diǎn)、相機(jī)和激光發(fā)射器形成三角形光路，因此該技術(shù)常被稱為三角測量。該技術(shù)對結(jié)構(gòu)化或復(fù)雜的表面敏感，在被測物過高時(shí)一些激光線會(huì)因?yàn)檎趽醵荒芊瓷涞较鄼C(jī)。

按入射光束與被測物體表面法線的角度關(guān)系，激光三角測量法可分為斜射式和直射式兩種。直射式是入射光束與被測物體表面法線的夾角為0。斜射式是入射光束與被測物體表面法線的夾角為a>0。常見的直射式和斜射式布置方式具體如下圖所示：

直射式

斜射式

下面以直射式為例介紹激光三角測量法的原理。

上圖中紅色、綠色和藍(lán)色虛線表示不同距離反射光將投射到相機(jī)成像面的不同位置，根據(jù)這些位置計(jì)算傳感器與被測物表面的距離。垂直距離d的變化將導(dǎo)致相機(jī)成像位置d'的變化?？梢钥闯鲞@種技術(shù)的測量范圍和精度相互制約。精度越高意味著垂直距離的變化反映在相機(jī)成像面上位移變化越小。這樣一來，目標(biāo)位置的變化范圍必然是有限的。隨著目標(biāo)深度的增加，很快就會(huì)超過相機(jī)成像傳感器的物理尺寸。在光學(xué)系統(tǒng)的具體設(shè)計(jì)中，需要根據(jù)測量需求在測量范圍和測量精度上做權(quán)衡，以實(shí)現(xiàn)佳的效果。

以激光三角測量法為基礎(chǔ)的相機(jī)主要由鐳射二極管（Laser Diode，LD）、會(huì)聚鏡頭、接收鏡頭、圖像傳感器和一個(gè)信號處理單元組成。其光路具體如下圖所示：

• x表示被測物表面相對于初始參考平面的偏移

• x'表示被測物在圖像傳感器上的偏移

• a表示激光束與接收鏡頭光軸的夾角

• β表示接收鏡頭光軸與成像傳感器表面的夾角

• L表示被測物表面與接收鏡頭的距離

• L'表示接收鏡頭與圖像傳感器所成像的距離

則利用相似三角形原理，可得到：

激光三角測量法具有非常高的分辨率和測量精度，其分辨率可擴(kuò)展到毫米及微米級別，但在實(shí)際應(yīng)用中受相機(jī)和激光光源橫向距離的限制，并且測量時(shí)間較長，僅適用于較短距離的測量。對于直射式激光三角相機(jī)雖然增大相機(jī)光軸和激光平面之間的夾角，可以提高 z 軸分辨率，但隨著夾角 θ 的增大，光學(xué)遮擋現(xiàn)象也會(huì)愈發(fā)明顯尤其是物體表面有凹凸起伏時(shí)，這種結(jié)構(gòu)均存在一定的遮擋：激光線照不到的區(qū)域稱為陰影，相機(jī)接收不著反射光線的區(qū)域稱為盲區(qū)。

如果被測物體的表面不均勻，則除了光學(xué)遮擋外，還有可能出現(xiàn)多重反射。

如下圖，光線1是入射光在物體表面發(fā)生的第1次反射，光線2是入射光在物體表面發(fā)生的第二次反射，這兩條光線在探測器上的成像位置不同。

如下圖，紅色入射光線在物體表面發(fā)生的兩次次反射，這兩次光線在探測器上的成像位置相同。

Zivid 2+ M60

昊艾智能代理的Zivid 2+ M60是高分辨率機(jī)器人固定式3D+2D相機(jī)，用于對分辨率、準(zhǔn)確性和細(xì)節(jié)要求高的應(yīng)用。該款相機(jī)是Zivid 3D相機(jī)中可以捕獲最清晰、最密集點(diǎn)云的產(chǎn)品，每平方厘米可達(dá)5000個(gè)點(diǎn)，尺寸準(zhǔn)確度大于99.8%，一切物體都可以以其真實(shí)形式展現(xiàn)。對于檢測質(zhì)量和精細(xì)靈巧的裝配任務(wù)，它可以輕松地觀察到每個(gè)細(xì)節(jié)、特征以及缺陷。僅100毫秒的時(shí)間內(nèi)捕捉到最令人驚嘆的點(diǎn)云。

關(guān)于昊艾智能

昊艾智能是德國 ZIVID 在中國 3D 視覺領(lǐng)域的專業(yè)代理商。

昊艾智能專注于提供3D機(jī)器視覺整體解決方案，助力中國智能制造水平的提升與產(chǎn)業(yè)升級！

目前，我們擁有一批高素質(zhì)的3D機(jī)器視覺應(yīng)用工程師與算法研發(fā)工程師，具有完備的機(jī)器視覺項(xiàng)目評估能力與底層核心算法開發(fā)能力。我們的3D機(jī)器視覺整體解決方案在動(dòng)力電池、汽車行業(yè)、消費(fèi)電子、白色家電、軌交檢測等多個(gè)領(lǐng)域成功落地實(shí)施，積累了豐富的3D機(jī)器視覺項(xiàng)目應(yīng)用與軟件開發(fā)經(jīng)驗(yàn)！

昊艾智能主營產(chǎn)品：3D機(jī)器視覺整體解決方案，包括結(jié)構(gòu)光3D相機(jī)、激光線掃相機(jī)、SICK 3D線激光輪廓傳感器、TOF相機(jī)，高精度3D測量系統(tǒng)、視覺引導(dǎo)定位系統(tǒng)、無序抓取系統(tǒng)等，可實(shí)現(xiàn)平面度、高度差、位置度測量、凹凸缺陷檢測、膠路檢測、視覺引導(dǎo)機(jī)器人打磨、視覺引導(dǎo)機(jī)器人工件定位裝配、工件無序抓取等功能。