Foveated bildbehandling
Foveated imaging är en digital bildbehandlingsteknik där bildupplösningen , eller mängden detaljer, varierar över bilden enligt en eller flera "fixeringspunkter". En fixeringspunkt indikerar den högsta upplösningsregionen i bilden och motsvarar mitten av ögats näthinna , fovea .
Placeringen av en fixeringspunkt kan specificeras på många sätt. Till exempel, när du tittar på en bild på en datorskärm , kan man ange en fixering med hjälp av en pekanordning , som en datormus. Eye trackers som exakt mäter ögats position och rörelse används också ofta för att bestämma fixeringspunkter i perceptionsexperiment. När displayen manipuleras med hjälp av en eyetracker kallas detta för en blickkontingentdisplay . Fixationer kan också bestämmas automatiskt med hjälp av datoralgoritmer .
Några vanliga tillämpningar av foveated imaging inkluderar bildsensorhårdvara och bildkomprimering. För beskrivningar av dessa och andra applikationer, se listan nedan.
Foveated imaging kallas också vanligen för rymdvarianter eller gaze contingent imaging .
Ansökningar
Kompression
Kontrastkänsligheten minskar dramatiskt när man rör sig från mitten av näthinnan till periferin. Vid bildkomprimering med förlust kan man dra fördel av detta faktum för att kompakt koda bilder. Om man känner till betraktarens ungefärliga blickpunkt kan man minska mängden information som finns i bilden när avståndet från blickpunkten ökar. Eftersom nedgången i ögats upplösning är dramatisk, kan den potentiella minskningen av displayinformationen vara betydande. Foveation-kodning kan också tillämpas på bilden innan andra typer av bildkomprimering tillämpas och kan därför resultera i en multiplikativ reduktion.
Foveated sensorer
Foveated sensorer är flerupplösta hårdvaruenheter som gör att bilddata kan samlas in med högre upplösning koncentrerad till en fixeringspunkt. En fördel med att använda foveated sensorhårdvara är att bildinsamlingen och kodningen kan ske mycket snabbare än i ett system som efterbehandlar en högupplöst bild i mjukvara.
Simulering
Foveated imaging har använts för att simulera synfält med godtycklig rumslig upplösning. Till exempel kan man presentera video som innehåller en suddig region som representerar ett skotom . Genom att använda en eye-tracker och hålla det suddiga området fixerat i förhållande till betraktarens blick kommer tittaren att få en visuell upplevelse som liknar den hos en person med ett verkligt skotom. Bilden till höger visar en ram från en simulering av en glaukompatient med ögat fixerat vid ordet "liknande".
Videospel
Foveated rendering är en kommande videospelsteknik som använder en eyetracker integrerad med ett virtual reality-headset för att minska renderingsarbetsbelastningen genom att kraftigt minska bildkvaliteten i det perifera seendet (utanför den zon som fovea tittar på ).
På CES 2016 visade SensoMotoric Instruments (SMI) ett nytt 250 Hz eyetracking-system och en fungerande foveated renderingslösning. Det härrörde från ett samarbete med kamerasensortillverkaren Omnivision som tillhandahållit kamerahårdvaran för det nya systemet.
Kvalitetsbedömning
Foveerad bildåtergivning kan vara användbar för att tillhandahålla ett subjektivt mått på bildkvalitet. Traditionella bildkvalitetsmått, såsom toppsignal-till-brusförhållande , utförs vanligtvis på bilder med fast upplösning och tar inte hänsyn till vissa aspekter av det mänskliga visuella systemet, som förändringen i rumslig upplösning över näthinnan. Ett foveat kvalitetsindex kan därför mer exakt bestämma bildkvaliteten som uppfattas av människor.
Hämtning av bilddatabas
I databaser som innehåller mycket högupplösta bilder, såsom en satellitbildsdatabas , kan det vara önskvärt att interaktivt hämta bilder för att minska hämtningstiden. Foveated bildbehandling gör att man kan skanna lågupplösta bilder och bara hämta högupplösta delar när de behövs. Detta kallas ibland progressiv överföring.
Exempelbilder
- Olika häftiga bilder
Bild med foveated luminanskanal
Foveerad bild med fixering vald med en entropiminimeringsalgoritm
- Foveated avbildning som en kompressionsteknik
18:1 kompression. Foveerad bild med fixeringspunkt på gravsten.
