Bildfusion

Bildsammanslagningsprocessen definieras som att samla all viktig information från flera bilder, och deras inkludering i färre bilder, vanligtvis en enda . Denna enstaka bild är mer informativ och korrekt än någon enskild källbild, och den består av all nödvändig information. Syftet med bildfusion är inte bara att minska mängden data utan också att konstruera bilder som är mer lämpliga och begripliga för människans och maskinens uppfattning. I datorseende är multisensor bildfusion processen att kombinera relevant information från två eller flera bilder till en enda bild. Den resulterande bilden blir mer informativ än någon av ingångsbilderna.

I fjärranalysapplikationer ger den ökande tillgängligheten av rymdburna sensorer en motivation för olika bildfusionsalgoritmer. Flera situationer i bildbehandling kräver hög rumslig och hög spektral upplösning i en enda bild. Det mesta av den tillgängliga utrustningen är inte kapabel att tillhandahålla sådana uppgifter på ett övertygande sätt. Bildfusionstekniker möjliggör integrering av olika informationskällor. Den sammansmälta bilden kan ha komplementära rumsliga och spektrala upplösningsegenskaper. Emellertid kan standardbildsammansmältningsteknikerna förvränga den spektrala informationen för multispektrala data under sammanslagning.

Inom satellitbilder finns två typer av bilder tillgängliga. Den pankromatiska bilden som erhållits av satelliter sänds med den maximala upplösningen som är tillgänglig och multispektrala data sänds med grövre upplösning. Detta kommer vanligtvis att vara två eller fyra gånger lägre. Vid mottagarstationen slås den pankromatiska bilden samman med multispektrala data för att förmedla mer information.

Det finns många metoder för att utföra bildfusion. Den mycket grundläggande är högpassfiltreringstekniken . Senare tekniker är baserade på Discrete Wavelet Transform , enhetlig rationell filterbank och Laplacian pyramid .

Multifokus bildfusion

Multi-focus image fusion används för att samla in användbar och nödvändig information från ingångsbilder med olika fokusdjup för att skapa en utgående bild som helst har all information från ingångsbilder. I visuella sensornätverk (VSN) är sensorer kameror som spelar in bilder och videosekvenser. I många tillämpningar av VSN kan en kamera inte ge en perfekt illustration inklusive alla detaljer om scenen. Detta beror på det begränsade fokusdjupet som finns i kamerans optiska lins. Därför fokuseras och rensas bara objektet i kamerans brännvidd och de andra delarna av bilden blir suddiga. VSN har en förmåga att ta bilder med olika fokusdjup i scenen med hjälp av flera kameror. På grund av den stora mängden data som genereras av kameran jämfört med andra sensorer som tryck- och temperatursensorer och vissa begränsningar som begränsad bandbredd, energiförbrukning och bearbetningstid, är det viktigt att bearbeta de lokala ingångsbilderna för att minska mängden överföring data. De ovannämnda skälen betonar det nödvändiga av sammansmältning av flerfokusbilder. Multi-focus image fusion är en process som kombinerar de ingående flerfokusbilderna till en enda bild inklusive all viktig information om ingångsbilderna och det är en mer exakt förklaring av scenen än varje enskild ingångsbild.

Varför bildfusion

Multisensordatafusion har blivit en disciplin som kräver mer generella formella lösningar för ett antal tillämpningsfall. Flera situationer i bildbehandling kräver både hög rumslig och hög spektral information i en enda bild. Detta är viktigt vid fjärranalys. Instrumenten är dock inte kapabla att tillhandahålla sådan information vare sig genom design eller på grund av observationsbegränsningar. En möjlig lösning för detta är datafusion .

Standardmetoder för bildfusion

Bildfusionsmetoder kan grovt delas in i två grupper – rumslig domänfusion och transformdomänfusion.

Fusionsmetoderna såsom medelvärdesberäkning, Brovey-metoden, principal komponentanalys ( PCA ) och IHS- baserade metoder faller under rumsliga domänansatser. En annan viktig metod för sammansmältning av rumslig domän är den högpassfiltreringsbaserade tekniken. Här injiceras högfrekventa detaljer i uppsamplade versioner av MS-bilder. Nackdelen med tillvägagångssätt för rumslig domän är att de producerar rumslig distorsion i den sammansmälta bilden. Spektral distorsion blir en negativ faktor medan vi går för vidare bearbetning, såsom klassificeringsproblem. Rumslig distorsion kan mycket väl hanteras av frekvensdomänmetoder för bildfusion. Multiupplösningsanalysen har blivit ett mycket användbart verktyg för att analysera fjärranalysbilder. Den diskreta wavelet-transformen har blivit ett mycket användbart verktyg för fusion. Vissa andra fusionsmetoder finns också där, såsom Laplacian pyramidbaserade, curvelet transform based etc. Dessa metoder visar en bättre prestanda i rumslig och spektral kvalitet på den fuserade bilden jämfört med andra rumsliga fusionsmetoder.

Bilderna som används i bildfusion bör redan vara registrerade . Felregistrering är en stor felkälla vid bildfusion. Några välkända bildfusionsmetoder är:

  • Högpassfiltreringsteknik
  • IHS- transformationsbaserad bildfusion
  • PCA -baserad bildfusion
  • Wavelet transform bildfusion
  • Parvis rumslig frekvensmatchning

Fjärravkännande bildfusion

Bildfusion i fjärranalys har flera applikationsdomäner. En viktig domän är bildfusion med flera upplösningar (vanligen kallad pan-sharpening). I satellitbilder kan vi ha två typer av bilder:

  • Pankromatiska bilder – En bild som samlas in i det breda visuella våglängdsintervallet men återges i svartvitt.
  • Multispektrala bilder – Bilder inhämtade optiskt i mer än ett spektral- eller våglängdsintervall. Varje enskild bild är vanligtvis av samma fysiska område och skala men av ett annat spektralband.

SPOT PAN-satelliten tillhandahåller pankromatisk data med hög upplösning (10m pixlar) . Medan LANDSAT TM-satelliten ger lågupplösta (30m pixel) multispektrala bilder. Bildfusion försöker slå samman dessa bilder och producera en enda högupplöst multispektral bild.

Standardmetoderna för sammanslagning av bild är baserade på transformation av röd–grön–blå (RGB) till Intensity–Hue–Saturation (IHS). De vanliga stegen involverade i satellitbildsfusion är följande:

  1. Ändra storleken på de lågupplösta multispektrala bilderna till samma storlek som den pankromatiska bilden.
  2. Förvandla R-, G- och B-banden i den multispektrala bilden till IHS-komponenter.
  3. Ändra den pankromatiska bilden med avseende på den multispektrala bilden. Detta utförs vanligtvis genom histogrammatchning av den pankromatiska bilden med intensitetskomponenten i de multispektrala bilderna som referens.
  4. Byt ut intensitetskomponenten med den pankromatiska bilden och utför omvänd transformation för att erhålla en högupplöst multispektral bild.

Pan-slipning kan göras med Photoshop . Andra tillämpningar av bildfusion i fjärranalys är tillgängliga.

Medicinsk bildfusion

Bildfusion har blivit en vanlig term som används inom medicinsk diagnostik och behandling. Termen används när flera bilder av en patient registreras och överlagras eller slås samman för att ge ytterligare information. Sammanslagna bilder kan skapas från flera bilder från samma avbildningsmodalitet, eller genom att kombinera information från flera modaliteter, såsom magnetisk resonansbild (MRI), datortomografi (CT), positronemissionstomografi (PET) och enfotonemissionsberäknad tomografi (SPECT). Inom radiologi och strålningsonkologi tjänar dessa bilder olika syften. Till exempel används CT-bilder oftare för att fastställa skillnader i vävnadstäthet medan MRI-bilder vanligtvis används för att diagnostisera hjärntumörer.

För korrekt diagnos måste radiologer integrera information från flera bildformat. Sammanslagna, anatomiskt konsekventa bilder är särskilt fördelaktiga för att diagnostisera och behandla cancer. Med tillkomsten av dessa nya teknologier kan strålningsonkologer dra full nytta av intensitetsmodulerad strålbehandling ( IMRT ). Att kunna lägga över diagnostiska bilder till strålningsplaneringsbilder resulterar i mer exakta IMRT- måltumörvolymer.

Mätvärden för bildfusion

Jämförande analys av bildsammanslagningsmetoder visar att olika mätvärden stödjer olika användarbehov, känsliga för olika bildsammanfogningsmetoder och behöver skräddarsys för applikationen. Kategorier av bildfusionsmått är baserade på informationsteoretiska egenskaper, strukturell likhet eller mänsklig perception.

Se även

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Image_fusion&oldid=1118766217 "