自動(dòng)化集成系統(tǒng)配套服務(wù)商-日弘智能今天為大家講講機(jī)器人視覺(jué)成像的結(jié)構(gòu)形式有哪些?機(jī)器人視覺(jué)成像的結(jié)構(gòu)形式。

　　機(jī)器人視覺(jué)成像的結(jié)構(gòu)形式

　　機(jī)器人視覺(jué)系統(tǒng)的主要功能是模擬人眼視覺(jué)成像與人腦智能判斷和決策功能，采用圖像傳感技術(shù)獲取目標(biāo)對(duì)象的信息，通過(guò)對(duì)圖像信息提取、處理并理解，最終用于機(jī)器人系統(tǒng)對(duì)目標(biāo)實(shí)施測(cè)量、檢測(cè)、識(shí)別與定位等任務(wù)，或用于機(jī)械人自身的伺服控制。

　　在工業(yè)應(yīng)用領(lǐng)域，最具有代表性的機(jī)器人視覺(jué)系統(tǒng)就是機(jī)器人手眼系統(tǒng)。根據(jù)成像單元安裝方式不同，機(jī)器人手眼系統(tǒng)分為兩大類(lèi)：固定成像眼看手系統(tǒng)(Eye-to-Hand)與隨動(dòng)成像眼在手系統(tǒng)(Eye-in-Hand， or Hand-eye)，如下圖2所示。

　　圖 2 兩種機(jī)器人手眼系統(tǒng)的結(jié)構(gòu)形式(a)眼在手機(jī)器人系統(tǒng)，(b)眼看手機(jī)器人系統(tǒng)

　　有些應(yīng)用場(chǎng)合，為了更好地發(fā)揮機(jī)器人手眼系統(tǒng)的性能，充分利用固定成像眼看手系統(tǒng)全局視場(chǎng)和隨動(dòng)成像眼在手系統(tǒng)局部視場(chǎng)高分辨率和高精度的性能，可采用兩者混合協(xié)同模式，如用固定成像眼看手系統(tǒng)負(fù)責(zé)機(jī)器人的定位，使用隨動(dòng)成像眼在手系統(tǒng)負(fù)責(zé)機(jī)器人的定向;或者利用固定成像眼看手系統(tǒng)估計(jì)機(jī)器人相對(duì)目標(biāo)的方位，利用隨動(dòng)成像眼在手系統(tǒng)負(fù)責(zé)目標(biāo)姿態(tài)的高精度估計(jì)等，如圖3所示。

　　圖 3 機(jī)器人協(xié)同視覺(jué)系統(tǒng)原理圖

　　機(jī)器人視覺(jué)三維成像方法

　　3D視覺(jué)成像可分為光學(xué)和非光學(xué)成像方法。目前應(yīng)用最多的還是光學(xué)方法，其包括：飛行時(shí)間法、激光掃描法、激光投影成像、立體視覺(jué)成像等。

　　飛行時(shí)間3D成像

　　飛行時(shí)間(TOF)相機(jī)每個(gè)像素利用光飛行的時(shí)間差來(lái)獲取物體的深度。目前已經(jīng)有飛行時(shí)間面陣相機(jī)商業(yè)化產(chǎn)品，如Mesa Imaging AG SR-4000， PMD Technologies Cam Cube 3.0，微軟Kinect V2等。

　　TOF成像可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集，其特點(diǎn)是：檢測(cè)速度快、視野范圍較大、工作距離遠(yuǎn)、價(jià)格便宜，但精度低，易受環(huán)境光的干擾。例如Camcueb3.0具有可靠的深度精度(《3mm @ 4m)，每個(gè)像素對(duì)應(yīng)一個(gè)3D數(shù)據(jù)。

　　掃描3D成像

　　掃描3D成像方法可分為掃描測(cè)距、主動(dòng)三角法、色散共焦法。掃描測(cè)距是利用一條準(zhǔn)直光束通過(guò)1D測(cè)距掃描整個(gè)目標(biāo)表面實(shí)現(xiàn)3D測(cè)量的。主動(dòng)三角法是基于三角測(cè)量原理，利用準(zhǔn)直光束、一條或多條平面光束掃描目標(biāo)表面完成3D成像，如圖4所示。色散共焦通過(guò)分析反射光束的光譜，獲得對(duì)應(yīng)光譜光的聚集位置， 如圖5所示。

　　圖 4 線結(jié)構(gòu)光掃描三維點(diǎn)云生成示意圖

　　圖 5 色散共焦掃描三維成像示意圖

　　掃描3D成像的最大優(yōu)點(diǎn)是測(cè)量精度高。其中色散共焦法還有其它方法難以比擬的優(yōu)點(diǎn)，如非常適合測(cè)量透明物體、高反與光滑表面的物體。但缺點(diǎn)是速度慢、效率低;用于機(jī)械手臂末端時(shí)，可實(shí)現(xiàn)高精度3D測(cè)量，但不適合機(jī)械手臂實(shí)時(shí)3D引導(dǎo)與定位，因此應(yīng)用場(chǎng)合有限。另外主動(dòng)三角掃描在測(cè)量復(fù)雜結(jié)構(gòu)面形時(shí)容易產(chǎn)生遮擋，需要通過(guò)合理規(guī)劃末端路徑與姿態(tài)來(lái)解決。

　　結(jié)構(gòu)光投影3D成像

　　結(jié)構(gòu)光投影三維成像目前是機(jī)器人3D視覺(jué)感知的主要方式。結(jié)構(gòu)光成像系統(tǒng)是由若干個(gè)投影儀和相機(jī)組成，常用的結(jié)構(gòu)形式有：?jiǎn)瓮队皟x-單相機(jī)、單投影儀-雙相機(jī)、單投影儀-多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)-多投影儀等。結(jié)構(gòu)光投影三維成像的基本工作原理是：投影儀向目標(biāo)物體投射特定的結(jié)構(gòu)光照明圖案，由相機(jī)攝取被目標(biāo)調(diào)制后的圖像，再通過(guò)圖像處理和視覺(jué)模型求出目標(biāo)物體的三維信息。

　　根據(jù)結(jié)構(gòu)光投影次數(shù)劃分，結(jié)構(gòu)光投影三維成像可以分成單次投影3D和多次投影3D方法。單次投影3D主要采用空間復(fù)用編碼和頻率復(fù)用編碼形式實(shí)現(xiàn)。由于單次投影曝光和成像時(shí)間短，抗振動(dòng)性能好，適合運(yùn)動(dòng)物體的3D成像，如機(jī)器人實(shí)時(shí)運(yùn)動(dòng)引導(dǎo)，手眼機(jī)器人對(duì)生產(chǎn)線上連續(xù)運(yùn)動(dòng)產(chǎn)品進(jìn)行抓取等操作。但是深度垂直方向上的空間分辨率受到目標(biāo)視場(chǎng)、鏡頭倍率和相機(jī)像素等因素的影響，大視場(chǎng)情況下不容易提升。

　　多次投影3D具有較高空間分辨率，能有效地解決表面斜率階躍變化和空洞等問(wèn)題。不足之處在于：

　　1)對(duì)于連續(xù)相移投影方法，3D重構(gòu)的精度容易受到投影儀、相機(jī)的非線性和環(huán)境變化的影響;2)抗振動(dòng)性能差，不合適測(cè)量連續(xù)運(yùn)動(dòng)的物體;3)在Eye-in-Hand視覺(jué)導(dǎo)引系統(tǒng)中，機(jī)械臂不易在連續(xù)運(yùn)動(dòng)時(shí)進(jìn)行3D成像和引導(dǎo);4)實(shí)時(shí)性差，不過(guò)隨著投影儀投射頻率和CCD/CMOS圖像傳感器采集速度的提高，多次投影方法實(shí)時(shí)3D成像的性能也在逐步改進(jìn)。

　　對(duì)于粗糙表面，結(jié)構(gòu)光可以直接投射到物體表面進(jìn)行視覺(jué)成像;但對(duì)于大反射率光滑表面和鏡面物體3D成像，結(jié)構(gòu)光投影不能直接投射到被成像表面，需要借助鏡面偏折法。偏折法對(duì)于復(fù)雜面型的測(cè)量，通常需要借助多次投影方法，因此具有多次投影方法相同的缺點(diǎn)。另外偏折法對(duì)曲率變化大的表面測(cè)量有一定的難度，因?yàn)闂l紋偏折后反射角的變化率是被測(cè)表面曲率變化率的2倍，因此對(duì)被測(cè)物體表面的曲率變化比較敏感，很容易產(chǎn)生遮擋難題。

　　立體視覺(jué)3D成像

　　立體視覺(jué)字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu)，一般情況下是指從不同的視點(diǎn)獲取兩幅或多幅圖像重構(gòu)目標(biāo)物體3D結(jié)構(gòu)或深度信息，如圖6所示。

　　圖6 立體視覺(jué)三維成像示意圖

　　立體視覺(jué)可分為被動(dòng)和主動(dòng)兩種形式。被動(dòng)視覺(jué)成像只依賴(lài)相機(jī)接收到的由目標(biāo)場(chǎng)景產(chǎn)生的光輻射信息，該輻射信息通過(guò)2D圖像像素灰度值進(jìn)行度量。被動(dòng)視覺(jué)常用于特定條件下的3D成像場(chǎng)合，如室內(nèi)、目標(biāo)場(chǎng)景光輻射動(dòng)態(tài)范圍不大和無(wú)遮擋;場(chǎng)景表面非光滑，且紋理清晰，容易通過(guò)立體匹配尋找匹配點(diǎn);或者像大多數(shù)工業(yè)零部件，幾何規(guī)則明顯，控制點(diǎn)比較容易確定等。

　　主動(dòng)立體視覺(jué)是利用光調(diào)制(如編碼結(jié)構(gòu)光、激光調(diào)制等)照射目標(biāo)場(chǎng)景，對(duì)目標(biāo)場(chǎng)景表面的點(diǎn)進(jìn)行編碼標(biāo)記，然后對(duì)獲取的場(chǎng)景圖像進(jìn)行解碼，以便可靠地求得圖像之間的匹配點(diǎn)，再通過(guò)三角法求解場(chǎng)景的3D結(jié)構(gòu)。主動(dòng)立體視覺(jué)的優(yōu)點(diǎn)是抗干擾性能強(qiáng)、對(duì)環(huán)境要求不高(如通過(guò)帶通濾波消除環(huán)境光干擾)，3D測(cè)量精度、重復(fù)性和可靠性高;缺點(diǎn)是對(duì)于結(jié)構(gòu)復(fù)雜的場(chǎng)景容易產(chǎn)生遮擋問(wèn)題。

　　基于結(jié)構(gòu)光測(cè)量技術(shù)和3D物體識(shí)別技術(shù)開(kāi)發(fā)的機(jī)器人3D視覺(jué)引導(dǎo)系統(tǒng)，可對(duì)較大測(cè)量深度范圍內(nèi)散亂堆放的零件進(jìn)行全自由的定位和拾取。相比傳統(tǒng)的2D視覺(jué)定位方式只能對(duì)固定深度零件進(jìn)行識(shí)別且只能獲取零件的部分自由度的位置信息，具有更高的應(yīng)用柔性和更大的檢測(cè)范圍。可為機(jī)床上下料、零件分揀、碼垛堆疊等工業(yè)問(wèn)題提供有效的自動(dòng)化解決方案。

　　機(jī)器視覺(jué)3D引導(dǎo)系統(tǒng)框架

　　3D重建和識(shí)別技術(shù)通過(guò)自主開(kāi)發(fā)的3D掃描儀可獲準(zhǔn)確并且快速地獲取場(chǎng)景的點(diǎn)云圖像，通過(guò)3D識(shí)別算法，可實(shí)現(xiàn)在對(duì)點(diǎn)云圖中的多種目標(biāo)物體進(jìn)行識(shí)別和位姿估計(jì)。

　　3D重建和識(shí)別效率

　　多種材質(zhì)識(shí)別效果測(cè)試 得益于健壯的重建算法和識(shí)別算法，可對(duì)不同材質(zhì)的零件進(jìn)行穩(wěn)定的重建和識(shí)別，即便是反光比較嚴(yán)重的鋁材料及黑色零件都能獲得較好的重建和識(shí)別效果，可適用于廣泛的工業(yè)場(chǎng)景。

　　機(jī)器人路徑規(guī)劃并不是獲得零件的位姿信息后就能馬上進(jìn)行零件的拾取，這僅僅只是第一步，要成功拾取零件還需要完成以下幾件事：

　　自主開(kāi)發(fā)的機(jī)器人軌跡規(guī)劃算法，可輕松完成上述工作，保證機(jī)器人拾取零件過(guò)程穩(wěn)定可靠。

　　快速切換拾取對(duì)象只需要四個(gè)簡(jiǎn)單的操作即可實(shí)現(xiàn)拾取對(duì)象的快速切換，無(wú)需進(jìn)行復(fù)雜的工裝、產(chǎn)線的調(diào)整。

　　性能比較

　　1. 類(lèi)似于飛行時(shí)間相機(jī)、光場(chǎng)相機(jī)這類(lèi)的相機(jī)，可以歸類(lèi)為單相機(jī)3D成像范圍，它們體積小，實(shí)時(shí)性好，適合隨動(dòng)成像眼在手系統(tǒng)執(zhí)行3D測(cè)量、定位和實(shí)時(shí)引導(dǎo)。但是，飛行時(shí)間相機(jī)、光場(chǎng)相機(jī)短期內(nèi)還難以用來(lái)構(gòu)建普通的隨動(dòng)成像眼在手系統(tǒng)，主要原因如下：

　　1)飛行時(shí)間相機(jī)空間分辨率和3D精度低，不適合高精度測(cè)量、定位與引導(dǎo)。2)對(duì)于光場(chǎng)相機(jī)，目前商業(yè)化的工業(yè)級(jí)產(chǎn)品只有為數(shù)不多的幾家，如德國(guó)Raytrix，雖然性能較好，空間分率和精度適中，但價(jià)格貴，使用成本太高。

　　圖 7 隨動(dòng)成像眼在手系統(tǒng)機(jī)器人3D視覺(jué)成像優(yōu)選方案

　　2. 結(jié)構(gòu)光投影3D系統(tǒng)，精度和成本適中，有相當(dāng)好的應(yīng)用市場(chǎng)前景。它由若干個(gè)相機(jī)-投影儀組成的，如果把投影儀當(dāng)作一個(gè)逆向的相機(jī)，可以認(rèn)為該系統(tǒng)是一個(gè)雙目或多目3D三角測(cè)量系統(tǒng)。

　　3. 被動(dòng)立體視覺(jué)3D成像，目前在工業(yè)領(lǐng)域也得到較好應(yīng)用，但應(yīng)用場(chǎng)合有限。因?yàn)閱文苛Ⅲw視覺(jué)實(shí)現(xiàn)有難度，雙目和多目立體視覺(jué)要求目標(biāo)物體紋理或幾何特征清晰。

　　4. 結(jié)構(gòu)光投影3D、雙目立體視覺(jué)3D都存在下列缺點(diǎn)：體積較大，容易產(chǎn)生遮擋。針對(duì)這個(gè)問(wèn)題雖然可以增加投影儀或相機(jī)覆蓋被遮擋的區(qū)域，但會(huì)增加成像系統(tǒng)的體積，減少在Eye-in-Hand系統(tǒng)中應(yīng)用的靈活性。

　　總結(jié)

　　雖然光學(xué)3D視覺(jué)成像測(cè)量方法種類(lèi)繁多，但能夠安裝在工業(yè)機(jī)器人上，組成一種合適的隨動(dòng)成像眼在手系統(tǒng)，對(duì)位置變動(dòng)的目標(biāo)執(zhí)行3D成像測(cè)量、引導(dǎo)機(jī)器人手臂準(zhǔn)確定位和實(shí)施精準(zhǔn)操作的方法有限。因?yàn)閺墓I(yè)應(yīng)用的角度來(lái)說(shuō)，我們更關(guān)心的是3D視覺(jué)傳感器的精度、速度、體積與重量。鑒于機(jī)器人末端能夠承受的端載荷有限，允許傳感器占用的空間有限，傳感器在滿足成像精度的條件下，重量越輕體積越小也就越實(shí)用。所以，對(duì)于隨動(dòng)成像眼在手系統(tǒng)，最佳3D成像方法是采用被動(dòng)單目(單相機(jī))3D成像方法，這樣不僅體積小、重量輕，也解決了雙目和多目多視圖遮擋難題。

　　關(guān)于機(jī)器人視覺(jué)成像的結(jié)構(gòu)形式有哪些?機(jī)器人視覺(jué)成像的結(jié)構(gòu)形式的知識(shí)點(diǎn)，想要了解更多的，可關(guān)注日弘智能官網(wǎng)，如有需要了解更多運(yùn)動(dòng)控制卡,運(yùn)動(dòng)控制器,Ethercat總線控制器,Codesys,視覺(jué)系統(tǒng),視覺(jué)運(yùn)動(dòng)控制系統(tǒng),視覺(jué)激光打標(biāo)機(jī)系統(tǒng),視覺(jué)點(diǎn)膠機(jī)系統(tǒng),五軸聯(lián)動(dòng)系統(tǒng),振動(dòng)刀切割系統(tǒng),裁布切割系統(tǒng)的相關(guān)技術(shù)知識(shí)，歡迎留言獲取!