Binokulär olikhet

Binokulär disparitet hänvisar till skillnaden i bildplacering av ett objekt som ses av vänster och höger öga , vilket är ett resultat av ögonens horisontella separation ( parallax ) . Hjärnan använder binokulär disparitet för att extrahera djupinformation från de tvådimensionella retinala bilderna i stereopsis . I datorseende hänvisar binokulär disparitet till skillnaden i koordinater för liknande funktioner inom två stereobilder.

En liknande skillnad kan användas vid avståndsmätning av en tillfällighetsavståndsmätare för att bestämma avstånd och/eller höjd till ett mål. Inom astronomi kan skillnaden mellan olika platser på jorden användas för att bestämma olika himmelsparallax, och jordens omloppsbana kan användas för stjärnparallax .

Definition

Figur 1. Definition av binokulär disparitet (fjärr och nära).

Människoögon är horisontellt åtskilda med cirka 50–75 mm ( avstånd mellan pupillerna ) beroende på varje individ. Således har varje öga en lite olika syn på omvärlden. Detta kan lätt ses när man växelvis stänger ena ögat samtidigt som man tittar på en vertikal kant. Den binokulära skillnaden kan observeras från en uppenbar horisontell förskjutning av den vertikala kanten mellan båda vyerna.

Vid varje givet ögonblick möts de två ögonens siktlinje vid en punkt i rymden. Denna punkt i rymden projicerar till samma plats (dvs mitten) på näthinnan i de två ögonen. På grund av de olika synpunkter som observerats av vänster och höger öga, faller dock många andra punkter i rymden inte på motsvarande näthinnan. Visuell binokulär disparitet definieras som skillnaden mellan projektionspunkten i de två ögonen och uttrycks vanligtvis i grader som synvinkeln .

Termen "binokulär disparitet" avser geometriska mätningar som görs utanför ögat. Skillnaden mellan bilderna på den faktiska näthinnan beror på faktorer internt i ögat, särskilt placeringen av nodpunkterna, även om tvärsnittet av näthinnan är en perfekt cirkel. Disparitet på näthinnan överensstämmer med binokulär disparitet när den mäts som grader, medan den är mycket annorlunda om den mäts som avstånd på grund av den komplicerade strukturen inuti ögat.

Figur 1: Hela svarta cirkeln är fixeringspunkten. Det blå föremålet ligger närmare betraktaren. Därför har den en "nära" skillnad _dn . Objekt som ligger längre bort (gröna) har på motsvarande sätt en "långt" skillnad d _f . Binokulär disparitet är vinkeln mellan två projektionslinjer. En av dessa är den verkliga projektionen från objektet till den faktiska projektionspunkten. Den andra är den imaginära projektionen som löper genom fixeringspunktens nodpunkt .

I datorseende beräknas binokulär disparitet från stereobilder tagna från en uppsättning stereokameror. Det variabla avståndet mellan dessa kameror, som kallas baslinjen, kan påverka skillnaden mellan en specifik punkt på deras respektive bildplan. När baslinjen ökar, ökar skillnaden på grund av den större vinkeln som behövs för att rikta in siktet på punkten. Men i datorseende refereras binokulär disparitet som koordinatskillnader för punkten mellan höger och vänster bild istället för en visuell vinkel. Enheterna mäts vanligtvis i pixlar.

Lura neuroner med 2D-bilder

Figur 2. Simulering av skillnad från djup i planet. (avser figur 1)

Hjärnceller ( neuroner ) i en del av hjärnan som ansvarar för att bearbeta visuell information som kommer från näthinnan ( primär synbark ) kan upptäcka förekomsten av skillnader i deras input från ögonen. Specifikt kommer dessa neuroner att vara aktiva, om ett föremål med "sin" speciella olikhet ligger inom den del av synfältet som de har tillgång till ( receptivt fält) .

Forskare som undersöker exakta egenskaper hos dessa neuroner med avseende på olikhet presenterar visuella stimuli med olika skillnader till cellerna och ser om de är aktiva eller inte. En möjlighet att presentera stimuli med olika skillnader är att placera föremål på olika djup framför ögonen. Men nackdelen med denna metod kanske inte är tillräckligt exakt för objekt placerade längre bort eftersom de har mindre skillnader medan objekt närmare kommer att ha större skillnader. Istället använder neuroforskare en alternativ metod enligt schemat i figur 2.

Figur 2: Skillnaden mellan ett objekt med annat djup än fixeringspunkten kan alternativt framställas genom att presentera en bild av objektet för ena ögat och en lateralt förskjuten version av samma bild för det andra ögat. Den fullständiga svarta cirkeln är fixeringspunkten. Föremål på olika djup placeras längs linjen för fixering av vänster öga. Samma skillnad som skapas av en förskjutning i djupet hos ett objekt (fyllda färgade cirklar) kan också framställas genom att objektet förskjuts i sidled i konstant djup i bilden som ett öga ser (svarta cirklar med färgad marginal). Notera att för nära olikheter måste den laterala förskjutningen vara större för att motsvara samma djup jämfört med långt borta. Detta är vad neuroforskare vanligtvis gör med slumpmässiga punktstimuli för att studera olikhetselektivitet hos neuroner eftersom det laterala avståndet som krävs för att testa skillnader är mindre än de avstånd som krävs med djuptester. Denna princip har också tillämpats i autostereogram- illusioner.

Beräkningsskillnad med digitala stereobilder

Skillnaden mellan funktioner mellan två stereobilder beräknas vanligtvis som en förskjutning till vänster om en bildfunktion när den ses i den högra bilden. Till exempel kan en enda punkt som visas vid x- koordinaten t (mätt i pixlar ) i den vänstra bilden vara närvarande vid x - koordinaten t − 3 i den högra bilden. I det här fallet skulle skillnaden på den platsen i den högra bilden vara 3 pixlar.

Stereobilder kanske inte alltid är korrekt justerade för att möjliggöra snabb beräkning av skillnader. Till exempel kan uppsättningen kameror vridas något från nivån. Genom en process som kallas bildkorrigering roteras båda bilderna för att tillåta skillnader i endast den horisontella riktningen (dvs. det finns ingen skillnad i y -bildens koordinater). Detta är en egenskap som också kan uppnås genom exakt justering av stereokamerorna före bildtagning.

Datoralgoritm

Efter korrigering kan korrespondensproblemet lösas med en algoritm som skannar både vänster och höger bilder för matchande bildegenskaper. Ett vanligt tillvägagångssätt för detta problem är att skapa en mindre bildlapp runt varje pixel i den vänstra bilden. Dessa bildfläckar jämförs med alla möjliga skillnader i den högra bilden genom att jämföra deras motsvarande bildfläckar. Till exempel, för en skillnad på 1, skulle lappen i den vänstra bilden jämföras med en lapp av liknande storlek i den högra, förskjuten till vänster med en pixel. Jämförelsen mellan dessa två lappar kan göras genom att uppnå ett beräkningsmått från en av följande ekvationer som jämför var och en av pixlarna i lapparna. För alla följande ekvationer L och R till de vänstra och högra kolumnerna medan r och c hänvisar till den aktuella raden och kolumnen för någon av bilderna som undersöks. d hänvisar till skillnaden i den högra bilden.

Normaliserad korrelation: ${\frac {\ summa {\sum {L(r,c)\cdot R(r,cd)}}}{\sqrt {(\summa {\summa {L(r,c)^{2}}})\cdot (\ summa {\summa {R(r,cd)^{2}}})}}}$
Summan av skillnader i kvadrat: $\sum {\sum {(L(r,c)-R(r,cd))^{2}}}$
Summan av absoluta skillnader: $\sum {\sum {\left|L(r,c)-R(r,cd)\right\vert }}$

Skillnaden med det lägsta beräknade värdet med någon av ovanstående metoder anses vara skillnaden för bildfunktionen. Denna lägsta poäng indikerar att algoritmen har hittat den bästa matchningen av motsvarande funktioner i båda bilderna.

Metoden som beskrivs ovan är en brute-force sökalgoritm . Med stora patch- och/eller bildstorlekar kan denna teknik vara mycket tidskrävande eftersom pixlar ständigt undersöks på nytt för att hitta den lägsta korrelationspoängen. Denna teknik involverar emellertid också onödiga upprepningar eftersom många pixlar överlappar varandra. En effektivare algoritm innebär att komma ihåg alla värden från föregående pixel. En ännu effektivare algoritm innebär att komma ihåg kolumnsummor från föregående rad (utöver att komma ihåg alla värden från föregående pixel). Tekniker som sparar tidigare information kan avsevärt öka den algoritmiska effektiviteten för denna bildanalysprocess.

Användning av skillnader från bilder

Kunskap om skillnader kan användas i ytterligare utvinning av information från stereobilder. Ett fall där disparitet är mest användbart är för djup/avståndsberäkning. Skillnad och avstånd från kamerorna är omvänt relaterade. När avståndet från kamerorna ökar, minskar skillnaden. Detta möjliggör djupuppfattning i stereobilder. Med hjälp av geometri och algebra kan punkterna som visas i 2D-stereobilderna kartläggas som koordinater i 3D-rymden.

Detta koncept är särskilt användbart för navigering. Till exempel Mars Exploration Rover en liknande metod för att skanna terrängen efter hinder. Rovern tar ett par bilder med sina stereoskopiska navigeringskameror och olikhetsberäkningar utförs för att upptäcka förhöjda objekt (som stenblock). Dessutom kan plats- och hastighetsdata extraheras från efterföljande stereobilder genom att mäta förskjutningen av föremål i förhållande till rover. I vissa fall är detta den bästa källan till denna typ av information eftersom kodarsensorerna i hjulen kan vara felaktiga på grund av att däcket slirar.

Se även

^ Qian, N., Binocular Disparity and the Perception of Depth , Neuron, 18, 359–368, 1997.
^ Gonzalez, F. och Perez, R., Neural mechanisms underlying stereoscopic vision , Prog Neurobiol, 55(3), 191–224, 1998.
^ ^a ^b Linda G. Shapiro och George C. Stockman (2001). Datorsyn. Prentice Hall, 371–409. ISBN 0-13-030796-3 .
^ "Datorseendelaboratoriet." JPL.NASA.GOV. JPL/NASA, och webben. 5 juni 2011. < [1] >.
^ "Ryddfarkost: Ytoperationer: Rover." JPL.NASA.GOV. JPL/NASA, och webben. 5 juni 2011. http://marsrovers.jpl.nasa.gov/mission/spacecraft_rover_eyes.html .

[binocular-1] Qian, N., Binocular Disparity and the Perception of Depth , Neuron, 18, 359–368, 1997.

[neural-2] Gonzalez, F. och Perez, R., Neural mechanisms underlying stereoscopic vision , Prog Neurobiol, 55(3), 191–224, 1998.

[comp_vision-3] Linda G. Shapiro och George C. Stockman (2001). Datorsyn. Prentice Hall, 371–409. ISBN 0-13-030796-3 .

[4] "Datorseendelaboratoriet." JPL.NASA.GOV. JPL/NASA, och webben. 5 juni 2011. < [1] >.

[5] "Ryddfarkost: Ytoperationer: Rover." JPL.NASA.GOV. JPL/NASA, och webben. 5 juni 2011. http://marsrovers.jpl.nasa.gov/mission/spacecraft_rover_eyes.html .