Visuell servoing

Visuell servoing , även känd som vision-baserad robotkontroll och förkortat VS , är en teknik som använder återkopplingsinformation extraherad från en synsensor (visuell återkoppling) för att styra en robots rörelse . En av de tidigaste tidningarna som talar om visuell servoing var från SRI International Labs 1979.

Visuell servoing taxonomi

Ett exempel på visuell servoing i ett höghastighetsfångningssystem

Det finns två grundläggande konfigurationer av robotens sluteffektor (hand) och kameran:

  • Öga i hand, eller slutpunktskontroll med öppen slinga, där kameran är fäst vid den rörliga handen och observerar målets relativa position.
  • Eye-to-hand, eller end-point closed-loop-kontroll, där kameran är fixerad i världen och observerar målet och handens rörelse.

Kontrolltekniker för visuell betjäning klassificeras i stort sett i följande typer:

  • Bildbaserad (IBVS)
  • Positions-/ posebaserad (PBVS)
  • Hybrid tillvägagångssätt

IBVS föreslogs av Weiss och Sanderson. Kontrolllagen är baserad på felet mellan aktuella och önskade egenskaper på bildplanet och involverar ingen uppskattning av målets ställning. Funktionerna kan vara koordinaterna för visuella särdrag, linjer eller ögonblick av regioner. IBVS har svårigheter med rörelser mycket stora rotationer, vilket har kommit att kallas kameraretreat.

PBVS är en modellbaserad teknik (med en enda kamera). Detta beror på att positionen för objektet av intresse uppskattas med avseende på kameran och sedan utfärdas ett kommando till robotstyrenheten, som i sin tur styr roboten. I det här fallet extraheras även bildegenskaperna, men de används dessutom för att uppskatta 3D-information ( objektets position i kartesiska rymden), därför servos den i 3D.

Hybridmetoder använder någon kombination av 2D- och 3D-servoing. Det har funnits några olika tillvägagångssätt för hybridservoing

  • 2-1/2-D servering
  • Rörelsepartitionsbaserad
  • Partitionerad DOF-baserad

Undersökning

Följande beskrivning av det tidigare arbetet är uppdelad i 3 delar

  • Kartläggning av befintliga visuella servometoder.
  • Olika funktioner som används och deras inverkan på visuell servoing.
  • Fel- och stabilitetsanalys av visuella servosystem.

Kartläggning av befintliga visuella servometoder

Visuella servosystem, även kallade servoing, har funnits sedan tidigt 1980-tal, även om själva termen visuell servo myntades först 1987. Visual Servoing är i huvudsak en metod för robotstyrning där sensorn som används är en kamera (visuell sensor). ). Servoing består i första hand av två tekniker, den ena innebär att man använder information från bilden för att direkt styra robotens frihetsgrader (DOF), så kallad Image Based Visual Servoing (IBVS). Medan den andra involverar den geometriska tolkningen av informationen som extraheras från kameran, som att uppskatta positionen för målet och kamerans parametrar (förutsatt att någon grundläggande modell av målet är känd). Andra servoklassificeringar finns baserade på variationerna i varje komponent i ett servosystem, t.ex. kamerans placering, de två typerna är öga-i-hand- och hand-öga-konfigurationer. Baserat på kontrollslingan är de två typerna ändpunkt-öppen-slinga och ändpunkt-sluten slinga. Baserat på om styrningen appliceras på lederna (eller DOF) direkt eller som ett lägeskommando till en robotstyrenhet är de två typerna direkt servoering och dynamisk se-och-rörelse. Eftersom det var ett av de tidigaste verken föreslog författarna ett hierarkiskt visuellt servoschema som tillämpas på bildbaserad servoing. Tekniken bygger på antagandet att en bra uppsättning funktioner kan extraheras från föremålet av intresse (t.ex. kanter, hörn och tyngdpunkter) och användas som en delmodell tillsammans med globala modeller av scenen och roboten. Styrstrategin tillämpas på en simulering av en två- och tre DOF-robotarm.

Feddema et al. introducerade idén att generera uppgiftsbana med avseende på funktionshastigheten. Detta för att säkerställa att sensorerna inte görs ineffektiva (stoppar återkopplingen) för robotens rörelser. Författarna antar att objekten är kända a priori (t.ex. CAD-modell) och att alla funktioner kan extraheras från objektet. Arbetet av Espiau et al. diskuterar några av de grundläggande frågorna inom visuell servoing. Diskussionerna koncentreras på modellering av interaktionsmatrisen, kameran, visuella egenskaper (punkter, linjer, etc..). I ett adaptivt servosystem föreslogs med en look-and-move servoing-arkitektur. Metoden använde optiskt flöde tillsammans med SSD för att tillhandahålla ett konfidensmått och en stokastisk kontroller med Kalman-filtrering för kontrollschemat. Systemet antar (i exemplen) att kamerans plan och särdragens plan är parallella., diskuterar ett tillvägagångssätt för hastighetskontroll med hjälp av det jakobiska förhållandet s˙ = Jv˙. Dessutom använder författaren Kalman-filtrering, förutsatt att den extraherade positionen för målet har inneboende fel (sensorfel). En modell av målhastigheten utvecklas och används som en feed-forward-ingång i styrslingan. Nämner också vikten av att undersöka kinematisk diskrepans, dynamiska effekter, repeterbarhet, utjämningstidssvängningar och fördröjning i respons.

Corke ställer en uppsättning mycket kritiska frågor om visuell servoing och försöker utveckla deras implikationer. Uppsatsen fokuserar främst på dynamiken i visuell servoing. Författaren försöker ta itu med problem som eftersläpning och stabilitet, samtidigt som han talar om framkopplingsvägar i kontrollslingan. Uppsatsen försöker också söka motivering för bangenerering, metodik för axelkontroll och utveckling av prestandamått.

Chaumette in ger god insikt i de två stora problemen med IBVS. En, servo till ett lokalt minima och för det andra, når en jakobiansk singularitet. Författaren visar att bildpunkter ensamma inte gör bra egenskaper på grund av förekomsten av singulariteter. Uppsatsen fortsätter, genom att diskutera möjliga ytterligare kontroller för att förhindra singulariteter, nämligen villkorsnummer för J_s och Jˆ+_s, för att kontrollera nollutrymmet för ˆ J_s och J^T_s. En huvudpoäng som författaren lyfter fram är förhållandet mellan lokala minima och orealiserbara bildfunktionsrörelser.

Under åren har många hybridtekniker utvecklats. Dessa involverar beräkning av partiell/fullständig pose från epipolär geometri med hjälp av flera vyer eller flera kameror. Värdena erhålls genom direkt uppskattning eller genom ett lärande eller ett statistiskt schema. Medan andra har använt en växlingsmetod som växlar mellan bildbaserad och positionsbaserad baserat på en Lyapnov-funktion. De tidiga hybridteknikerna som använde en kombination av bildbaserade och poseringsbaserade (2D- och 3D-information) tillvägagångssätt för servoing krävde antingen en hel eller partiell modell av objektet för att extrahera poseringsinformationen och använde en mängd olika tekniker för att extrahera rörelseinformationen från bilden. använde en affine motion-modell från bildrörelsen förutom en grov polyedrisk CAD-modell för att extrahera objektspositionen med avseende på kameran för att kunna servo på objektet (på linjerna av PBVS).

2-1/2-D visuell servoing utvecklad av Malis et al. är en välkänd teknik som bryter ner den information som krävs för servoing på ett organiserat sätt som frikopplar rotationer och translationer. Tidningarna antar att den önskade ställningen är känd a priori. Rotationsinformationen erhålls från partiell ställningsuppskattning, en homografi, (i huvudsak 3D-information) som ger en rotationsaxel och vinkeln (genom att beräkna egenvärdena och egenvektorerna för homografin). Översättningsinformationen erhålls direkt från bilden genom att spåra en uppsättning funktionspunkter. De enda villkoren är att de särdragspunkter som spåras aldrig lämnar synfältet och att en djupuppskattning förutbestäms av någon off-line-teknik. 2-1/2-D servoing har visat sig vara mer stabil än de tekniker som föregick den. En annan intressant observation med denna formulering är att författarna hävdar att den visuella jakobianen inte kommer att ha några singulariteter under rörelserna. Hybridtekniken utvecklad av Corke och Hutchinson, populärt kallad portionerad tillvägagångssätt delar upp den visuella (eller bilden) Jacobian i rörelser (både rotationer och translationer) som relaterar X- och Y-axlar och rörelser relaterade till Z-axeln. beskriver tekniken för att bryta ut kolumner av den visuella Jacobian som motsvarar Z-axelns translation och rotation (nämligen den tredje och sjätte kolumnen). Det partitionerade tillvägagångssättet har visat sig hantera Chaumette Conundrum som diskuteras i. Denna teknik kräver en bra djupuppskattning för att fungera korrekt. beskriver ett hybridt tillvägagångssätt där betjäningsuppgiften delas upp i två, nämligen huvud- och sekundärt. Huvuduppgiften är att hålla de intressanta egenskaperna inom synfältet. Medan den sekundära uppgiften är att markera en fixeringspunkt och använda den som referens för att föra kameran till önskad pose. Tekniken behöver en djupuppskattning från en off-line procedur. Uppsatsen diskuterar två exempel för vilka djupuppskattningar erhålls från robotodometri och genom att anta att alla funktioner är på ett plan. Den sekundära uppgiften uppnås genom att använda begreppet parallax. Funktionerna som spåras väljs av en initiering som utförs på den första bilden, som vanligtvis är punkter. genomför en diskussion om två aspekter av visuell servoing, funktionsmodellering och modellbaserad spårning. Det primära antagandet är att 3D-modellen av objektet är tillgänglig. Författarna lyfter fram uppfattningen att ideala egenskaper bör väljas så att rörelsens DOF ​​kan frikopplas genom linjär relation. Författarna introducerar också en uppskattning av målhastigheten i interaktionsmatrisen för att förbättra spårningsprestandan. Resultaten jämförs med välkända servotekniker även när ocklusioner inträffar.

Olika funktioner som används och deras inverkan på visuell servoing

Det här avsnittet diskuterar det arbete som gjorts inom området visuell servoing. Vi försöker spåra de olika teknikerna i användningen av funktioner. Det mesta av arbetet har använt bildpunkter som visuella drag. Formuleringen av interaktionsmatrisen förutsätter att punkter i bilden används för att representera målet. Det finns en del arbete som avviker från användningen av punkter och användningsområden, linjer, bildmoment och momentinvarianter. I diskuterar författarna en affinbaserad spårning av bildegenskaper. Bilddragen är valda utifrån ett diskrepansmått, som baseras på den deformation som funktionerna genomgår. Funktionerna som användes var texturfläckar. En av nyckelpunkterna i uppsatsen var att det betonade behovet av att titta på funktioner för att förbättra visuell servoing. I författarna titta på val av bild funktioner (samma fråga diskuterades också i samband med spårning). Effekten av valet av bildegenskaper på styrlagen diskuteras med avseende på enbart djupaxeln. Författare betraktar avståndet mellan särdragspunkter och området för ett objekt som särdrag. Dessa funktioner används i kontrolllagen med lite olika former för att belysa effekterna på prestanda. Det noterades att bättre prestanda uppnåddes när servofelet var proportionellt mot förändringen i djupaxeln. ger en av de tidiga diskussionerna om användningen av ögonblick. Författarna tillhandahåller en ny formulering av interaktionsmatrisen med hjälp av hastigheten för momenten i bilden, om än komplicerad. Även om momenten används, är momenten av den lilla förändringen av konturpunkternas placering med användning av Greens sats. Tidningen försöker också bestämma uppsättningen funktioner (på ett plan) för en 6 DOF-robot. In diskuterar användningen av bildmoment för att formulera det visuella jakobiska. Denna formulering möjliggör frikoppling av DOF baserat på den valda typen av moment. Det enkla fallet med denna formulering liknar teoretiskt sett 2-1/2-D servoing. Tidsvariationen för momenten (m˙ij) bestäms med hjälp av rörelsen mellan två bilder och Greens Theorem. Relationen mellan m˙ij och hastighetsskruven (v) ges som m˙_ij = L_m_ij v. Denna teknik undviker kamerakalibrering genom att anta att objekten är plana och använda en djupuppskattning. Tekniken fungerar bra i det plana fallet men tenderar att vara komplicerat i det allmänna fallet. Grundidén är baserad på arbetet i [4] Momentinvarianter har använts i. Nyckelidén är att hitta särdragsvektorn som frikopplar all rörelsens DOF. Några observationer som gjordes var att centraliserade moment är oföränderliga för 2D-översättningar. En komplicerad polynomform är utvecklad för 2D-rotationer. Tekniken följer undervisning-för-visning, och kräver därför värdena för önskat djup och område av objektet (förutsatt att kamerans och objektets plan är parallella och objektet är plant). Andra delar av egenskapsvektorn är invarianterna R3, R4. Författarna hävdar att ocklusioner kan hanteras. och bygga vidare på det arbete som beskrivs i. Den stora skillnaden är att författarna använder en teknik som liknar, där uppgiften delas upp i två (i det fall funktionerna inte är parallella med kameraplanet). En virtuell rotation utförs för att föra det visade parallellt med kameraplanet. konsoliderar författarnas arbete med bildögonblick.

Fel- och stabilitetsanalys av visuella servosystem

Espiau visade från rent experimentellt arbete att bildbaserad visuell servoing (IBVS) är robust mot kalibreringsfel. Författaren använde en kamera utan explicit kalibrering tillsammans med punktmatchning och utan poseringsuppskattning. Uppsatsen tittar på effekten av fel och osäkerhet på termerna i interaktionsmatrisen utifrån ett experimentellt tillvägagångssätt. Målen som användes var punkter och antogs vara plana.

En liknande studie gjordes där författarna utför experimentell utvärdering av ett fåtal okalibrerade visuella servosystem som var populära på 90-talet. Det viktigaste resultatet var experimentella bevis på effektiviteten av visuell servokontroll jämfört med konventionella kontrollmetoder. Kyrki et al. analysera servofel för positionsbaserad och 2-1/2-D visuell servoing. Tekniken innebär att bestämma felet i att extrahera bildposition och sprida den för att göra uppskattning och servostyrning. Punkter från bilden mappas till punkter i världen a priori för att få en kartläggning (vilket i grunden är homografin, även om det inte uttryckligen anges i tidningen). Denna mappning är nedbruten till rena rotationer och translationer. Poseuppskattning utförs med hjälp av standardteknik från Computer Vision. Pixelfel omvandlas till posen. Dessa sprider sig till styrenheten. En observation från analysen visar att fel i bildplanet är proportionella mot djupet och fel i djupaxeln är proportionellt mot kvadraten på djupet. Mätfel vid visuell servoing har undersökts utförligt. De flesta felfunktioner relaterar till två aspekter av visuell servoing. En är steady state-fel (en gång servo) och två på stabiliteten hos reglerslingan. Andra servofel som har varit av intresse är de som uppstår från poseringsuppskattning och kamerakalibrering. I, författarna utökar det arbete som gjorts genom att överväga global stabilitet i närvaro av inneboende och yttre kalibreringsfel. ger ett tillvägagångssätt för att begränsa uppgiftsfunktionens spårningsfel. I, författarna använder undervisning-genom-visa visuell servoteknik. Där den önskade ställningen är känd a priori och roboten flyttas från en given ställning. Huvudsyftet med papperet är att fastställa den övre gränsen för positioneringsfelet på grund av bildbrus med hjälp av en konvex optimeringsteknik. ger en diskussion om stabilitetsanalys med hänsyn till osäkerheten i djupskattningar. Författarna avslutar artikeln med observationen att för okänd målgeometri krävs en mer exakt djupuppskattning för att begränsa felet. Många av de visuella servoteknikerna förutsätter implicit att endast ett objekt finns i bilden och att relevant funktion för spårning tillsammans med objektets yta är tillgänglig. De flesta tekniker kräver antingen en partiell poseringsuppskattning eller en exakt djupuppskattning av den aktuella och önskade posen.

programvara

Se även

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Visual_servoing&oldid=1123026003 "