本發(fā)明屬于機器視覺圖像測量與自動控制技術領域，特別涉及一種移動視覺機器人及其測控方法。

背景技術：

隨著機器人性能不斷地完善，移動機器人的應用范圍隨之擴展，不僅在工業(yè)、農業(yè)、醫(yī)療、服務等行業(yè)中得到廣泛的應用，而且在城市安全、國防和空間探測領域等有害與危險場合得到很好的應用。因此，移動機器人技術已經得到世界各國的普遍關注。移動機器人在代替人工勞動以及在危險環(huán)境中工作都起到了很好的效果，因此一款高效，安全，可靠的移動機器人對于自動化工業(yè)生產十分重要。而現(xiàn)有移動機器人的引導方式又有很大的局限性，GPS引導誤差很大，無法進行精確的移動和操作，而常見的電磁感應式或類似的引導又對工作環(huán)境要求很高，并且移動路徑幾乎完全固定。

技術實現(xiàn)要素：

為了克服上述現(xiàn)有技術的缺點，本發(fā)明的目的在于提供一種移動視覺機器人及其測控方法，移動機器人通過視覺圖像方法進行引導，使移動機器人實現(xiàn)靈活準確的移動方式，并且為了進一步提高機器人精度，采取全局圖像和局部細節(jié)圖像兩套圖像互補的方法，同時利用視覺信息消除累積誤差。

為了實現(xiàn)上述目的，本發(fā)明采用的技術方案是：

一種移動視覺機器人，包括一個四輪全方位的移動平臺1，移動平臺1上固定一個可旋轉并執(zhí)行多種動作的機械手2，在移動平臺1上用支架3固定有一臺相機一4，可拍攝機器人正前方移動路徑以及周圍環(huán)境的全局圖像，此外，在機械手2末端固定有一臺相機二5，可根據(jù)實際情況調整機械手2位置及角度從而拍攝特定對象的細節(jié)圖像，機器人移動平臺1內部安裝一臺工控機6，用于接收動作指令，處理視覺圖像，路徑規(guī)劃及發(fā)送操作指令等等。

所述四輪全方位移動平臺1由四個安裝有編碼器7的直流電機8分別驅動四個全方位輪9所控制，可以實現(xiàn)狹小空間內各個方向的直行以及原地旋轉等動作，所述相機一4可根據(jù)需求調整俯仰角和焦距等參數(shù)以滿足對不同環(huán)境中的視距和視野范圍等需求，所述相機二5位置跟隨機械手2動作，視角總與機械手2操作平面相垂直。

工控機6通過串口向控制器10發(fā)送操作指令，控制器10生成對應的控制信號發(fā)送至移動平臺1及機械手2的各個電機，并接收實時反饋信號實現(xiàn)負反饋控制，所述相機一4和相機二5同時將實時圖像發(fā)送至工控機6以進行視覺分析，并根據(jù)視覺圖像所提供的反饋信息實時控制移動機器人的各個動作。

本發(fā)明還提供了一種移動視覺機器人測控方法，包括以下步驟：

給定機器人具體動作指令，指令包含內容為對何種物體進行何種動作，以及目標物體的坐標方位；

計算并規(guī)劃機器人移動平臺1實際移動路徑，工控機6根據(jù)路徑產生操作指令控制機器人移動平臺1轉向目標位置；

機器人向目標位置移動，相機一4和相機二5實時采集移動路徑上的圖像，修正方向偏差并避免碰撞；

經過一次或多次移動接近目標位置后，根據(jù)相機一4采集的圖像判斷目標物體的具體方位坐標，修正移動路徑；

令機器人機械手2移動至目標物體正上方后，根據(jù)相機二5采集的圖像獲取目標物體的精確位置與姿態(tài)信息，進而機械手2對目標物體完成指令中給定的動作；

根據(jù)相機一4采集的圖像中的標定信息修正機器人移動平臺1和機械手2的坐標誤差，等待下一輪動作指令。

對于圖像中目標物體的判斷，是根據(jù)目標物體的多個特征構成的模型進行的，這些特征包括但不僅限于顏色特征，形狀特征，大小特征，以及對應某些物體獨有的突出特征，對于需要操作的物體需要分別對應相機一4采集的圖像和相機二5采集的圖像建立兩套模型。主要思想是根據(jù)實際情況，首先根據(jù)顏色等特征對圖像中的所有對象進行一次篩選，之后對篩選剩下的對象的提取輪廓進行模板匹配，從而得到目標物體在圖像中的坐標位置。由于相機獲取的圖像會存在不同程度的畸變，因此需要對識別得到的目標物體在圖像中的坐標進行坐標轉換計算得到其世界坐標。

給定機器人移動指令時，僅需指出移動目的地的坐標，機器人便可自動計算最佳移動路徑以并開始移動操作，同時記錄并更新自身的坐標和方位角，同時機器人可根據(jù)周圍環(huán)境特征修正移動誤差造成的坐標偏移，防止累積誤差產生而導致錯誤發(fā)生；誤差修正過程主要利用相機一4采集的圖像中可利用的正交于世界坐標系的直線特征或是標記，采用視覺方法計算這些直線的角度以及與機器人的距離，依次計算機器人的實際坐標和方位角，從而達到修正誤差的目的。

與采用其他方式進行引導的移動機器人相比，本發(fā)明采用視覺檢測方法，兩臺相機分別獲取全局圖像和局部圖像，通過模式識別方法并利用全局圖像與局部圖像互補對目標物體進行定位，根據(jù)定位信息現(xiàn)場規(guī)劃機器人移動路徑，并根據(jù)圖像信息實現(xiàn)對機器人的控制、方位修正和對目標的操作。實現(xiàn)了不同場景情況下的目標識別與定位、現(xiàn)場路徑規(guī)劃、機器人移動誤差修正和計算機對移動機器人的自動控制。從而在具有較高移動和操作精度的前提下，可以靈活的給定移動機器人不同的操作指令使機器人對目標物體自動完成一些復雜的操作。并且對環(huán)境要求較小，抗干擾能力強，僅需簡單的直線標志甚至不需要專用的標志便可完成運行。

附圖說明

圖1為本發(fā)明實驗平臺系統(tǒng)結構框圖。

圖2為本發(fā)明中移動機器人3D示意圖。

圖3為本發(fā)明中機器人移動平臺底盤的內部俯視圖。

圖4為本發(fā)明的機器人視覺測控方法總體流程圖。

圖5為本發(fā)明的目標識別與定位圖像算法流程圖。

具體實施方式

下面結合附圖和實施例詳細說明本發(fā)明的實施方式。

本發(fā)明移動視覺機器人測控方法主要是給定機器人具體動作指令，指令包含內容為對何種物體進行何種動作，以及目標物體的坐標方位；計算并規(guī)劃移動平臺1實際移動路徑，工控機6根據(jù)路徑產生操作指令控制移動平臺1轉向目標位置；機器人向目標位置移動，相機一4和相機二5實時采集移動路徑上的圖像，修正方向偏差并避免碰撞；經過一次或多次移動接近目標位置后，根據(jù)相機一4采集的圖像判斷目標物體的具體方位坐標，修正移動路徑；令機械手2移動至目標物體正上方后，根據(jù)相機二5采集的圖像獲取目標物體的精確位置與姿態(tài)信息，進而機械手2對目標物體完成指令中給定的動作；根據(jù)相機一4采集的圖像中的標定信息修正移動平臺1和機械手2的坐標誤差，等待下一輪動作指令。

本發(fā)明搭建如下實驗平臺對該方法的可行性進行驗證。

本發(fā)明使用移動移動平臺1為四輪全方位移動平臺，其上搭載一臺五自由度機械手2，移動平臺1內部搭載有一臺工控機6可通過Wi-Fi接收遠程指令并處理視覺圖像，計算移動路徑，發(fā)送操作指令。在移動平臺1上機械手2后面使用支架3固定有一視角傾斜向下的相機一4，在機械手2夾具末端固定有另一相機二5視角朝向機械手操作方向。

對于移動機器人，其相機一4用于采集機器人正前方以及移動路徑上的全局圖像，可根據(jù)需求調整俯仰角和焦距等參數(shù)以滿足對不同環(huán)境中的視距和視野范圍等需求，相機二5用于采集不同操作情況下各種對象的細節(jié)圖像，相機二5位置跟隨機械手2動作，視角總與機械手2操作平面相垂直。相機一4和相機二5均通過USB接口與工控機6相連，以便將兩部相機采集的圖像都發(fā)送至工控機進行處理。

移動移動平臺1內部安裝工控機6、無線收發(fā)模塊、控制器10和驅動器11，移動平臺1的底盤上安裝四個帶有光電編碼器7測速模塊的12V直流電機8，直流電機8驅動四個全方位輪9帶動移動平臺1，通過一塊12V鋰離子電池12為機器人的所有電機和控制器10以及工控機6提供電源?？刂破?0和驅動器11通過串口與工控機6相連，控制器10接收到工控機6指令后，其處理器將指令解析并調制PWM信號輸出值驅動器11，從而令驅動器11通過改變輸入電壓達到控制移動平臺1各個電機以及機械手2的各個關節(jié)的運動。同時移動平臺1電機編碼器7和機械手2將反饋信號實時返回至控制器10，計算得到移動平臺1各個電機的實際速度和機械手2的實際姿態(tài)，根據(jù)實際數(shù)據(jù)使用PID控制計算控制器10輸出信號，令移動平臺1各個電機速度趨近于給定速度，機械手2姿態(tài)趨近于給定姿態(tài)，從而實現(xiàn)負反饋控制。

基于該系統(tǒng)裝置，基于相機一4和相機二5獲取到的圖像，首先采用canny算子獲取圖像中的所有輪廓，設定合適的面積閾值，超過閾值的輪廓為圖像中的有效目標，其余為噪聲，之后對每一個輪廓進行判斷，判定輪廓為已知目標物體或是地面標示和移動路徑上的障礙。判定輪廓的方法為，首先計算輪廓中的相減混色，即提取輪廓內部圖像中的RGB分量分別對應計算混合顏色空間模型參數(shù)并取平均，包括R-B，R-G，B-G分量，通過比較混合顏色空間模型與模板的相似度對輪廓進行第一輪分類，混合顏色空間模型可以有效提取出目標輪廓的顯著顏色特征而受光照強弱影響較小，避免了現(xiàn)場光照變化對裝置效果產生的影響。之后對這些輪廓采用歸一化相關系數(shù)匹配法與可能存在的目標模板進行模板匹配，目標模板在加入新目標時采集得到，分為對應相機一4圖像和相機二5圖像的兩套模板。在提取出可能存在的所有目標后，便可得知目標物體在圖像中的坐標，對于圖像中的其他輪廓，首先濾除噪聲干擾，之后根據(jù)輪廓大小判斷是否為移動路徑上的障礙或是其他標示。

通過分析相機一4拍攝到的圖片并獲取到目標物體在圖像中的坐標后，由于圖像存在畸變，對于矩形圖片對應的實際地面為一倒立的梯形，因此需要通過畸變校正將圖像坐標系轉換為世界坐標系，轉換方法如下：假設目標在圖像中的坐標為(u,v)，相機一4俯仰角為θ，焦距為f，視角為α，相機一4距地面高度為h，對比圖像與實際地面可以發(fā)現(xiàn)，產生的畸變分為橫向畸變和縱向畸變兩類，對于橫向畸變，即X軸方向上的畸變，可近似認為是線性的；而對于縱向畸變，即Y軸上的畸變，相機一4遠處的目標會被壓縮，并且目標距離相機一4越遠時，壓縮越嚴重，這種壓縮是非線性的。因此計算目標在世界坐標系中的坐標(x,y)中坐標x的近似值為：

x＝kuv

其中k為圖像坐標系中像素距離與世界坐標系中實際距離在X軸方向上的比例系數(shù)。

坐標y的近似值為：

由于上述的坐標變換及機器人的移動均會存在一定的誤差，若要對目標物體做到更精確的操作，必須達到更高的定位精度，因此在機器人接近目標物體后，使用相機二5拍攝得到的圖像進行精確定位。當機械手2末端大致位于目標物體上方且相機二5視角與物體放置表面垂直時，通過上述目標定位方法可識別出目標物體在相機二5拍攝得到圖像中的坐標，由于拍攝距離較近，圖像畸變可忽略不計，從而通過線性變換便可求得目標物體相對于機械手2末端的坐標，由于機械手2末端的位置是可知的，因此可以得到目標物體的世界坐標，據(jù)此便可進一步對目標物體進行各種精確操作。

在機器人移動時，給定移動目的地世界坐標(x_d,y_d)后，根據(jù)機器人所記錄的自身坐標(x_c,y_c)和方位角θ_c，計算得到相應的機器人轉向角度θ_t為：

機器人移動距離d為：

得到機器人的轉向角度θ_t和移動距離d之后，據(jù)此進行移動，并更新機器人自身坐標(x_c,y_c)和方位角θ_c。在移動過程中，由于地面環(huán)境等多種因素，每次移動之后會累積一定的誤差，若不進行修正，則多次移動后誤差累積過大，同時機器人自身坐標(x_c,y_c)和方位角θ_c偏差過大導致坐標系混亂無法使用。因此在每3到5次移動之后應進行誤差修正，使方位角θ_c和機器人自身坐標(x_c,y_c)保持準確。方位角的修正過程主要根據(jù)周圍環(huán)境特征進行，一般機器人的運行環(huán)境地面會有正交于世界坐標系的直線特征可供利用，例如墻壁于地面接壤處，地表紋路，以及桌面邊沿等等，如果運行環(huán)境中不存在類似的特征，則需增加簡單的直線標示。機器人在靜止狀態(tài)下時，使用Hough變換檢測得到相機一4得到的圖像中的所有直線，根據(jù)當前機器人方位角θ_c提取出傾斜角度接近于和-θ_c并且長度大于所設定閾值的直線，通過該直線傾斜角度便可得到機器人準確的方位角。機器人自身坐標的修正則需要依靠某個已知坐標的標定點，根據(jù)識別出相機一4得到的圖像中標定點的坐標，轉換得到標定點相對于移動平臺1的坐標，進一步便可得到移動平臺1的準確坐標。

通過以上方法，便可以實現(xiàn)移動機器人的目標定位，自動控制和誤差修正等功能。本發(fā)明根據(jù)獲取的圖像信息，采用圖像畸變矯正和模式識別方法計算移動機器人以及特定目標的定位和狀態(tài)信息，進而控制機器人對目標物體完成指令動作，具有精度高，抗干擾強的特點，不需要復雜的環(huán)境支持，適用于各種實驗室和工廠環(huán)境。