Affin formanpassning

Affin formanpassning är en metod för att iterativt anpassa formen på utjämningskärnorna i en affin grupp av utjämningskärnor till den lokala bildstrukturen i grannområdet för en specifik bildpunkt. På motsvarande sätt kan affin formanpassning åstadkommas genom att iterativt förvränga en lokal bildlapp med affina transformationer samtidigt som ett rotationssymmetriskt filter appliceras på de skeva bildfläckarna. Förutsatt att denna iterativa process konvergerar kommer den resulterande fixpunkten att vara affin invariant . Inom området datorseende har denna idé använts för att definiera affina invarianta intressepunktsoperatorer såväl som affina invarianta texturanalysmetoder.

Affinanpassade intressepunktsoperatörer

Intressepunkterna som erhålls från den skalanpassade Laplacian blobdetektorn eller Harris hörndetektorn med flera skalor med automatiskt skalval är oföränderliga för translationer, rotationer och enhetliga omskalningar i den rumsliga domänen. De bilder som utgör input till ett datorseendesystem är dock också föremål för perspektivförvrängningar. För att erhålla intressepunkter som är mer robusta för perspektivtransformationer är ett naturligt tillvägagångssätt att utforma en funktionsdetektor som är oföränderlig till affina transformationer .

Affin invarians kan uppnås från mätningar av samma flerskaliga fönstermatris för andra moment $\mu$ som används i Harris-operatorn med flera skalor förutsatt att vi utökar det regelbundna skalrumskonceptet som erhålls genom faltning med rotationssymmetrisk Gaussian kärnor till ett affint Gaussisk skalrum erhållet av formanpassade Gaussiska kärnor ( Lindeberg 1994 , avsnitt 15.3; Lindeberg & Garding 1997) . För en tvådimensionell bild $I$ låt ${\bar {x}}=(x,y)^{T}$ och låt ${\ displaystyle \Sigma _{t}}$ vara en positiv bestämd 2×2-matris. Sedan kan en olikformig gaussisk kärna definieras som

$g({\bar {x}};\Sigma )={\frac {1} {2\pi {\sqrt {\operatörsnamn {det} \Sigma _{t}}}}}e^{-{\bar {x}}\Sigma _{t}^{-1}{\bar {x }}{/2}$

och givet valfri indatabild $I_{L}$ är det affina Gaussiska skalutrymmet det treparameterska skalutrymmet definierat som

$L({\bar {x}};\Sigma _{t})=\int _{\bar {xi}}I_{L}(x-\xi )\,g({\bar {\ xi }};\Sigma _{t})\,d{\bar {\xi }}.$

Introducera sedan en affin transformation $\eta =B\xi$ där $B$ är en 2×2-matris, och definiera en transformerad bild $I_{R}$ som

$I_{L}({\bar {\xi }})=I_{R}({\bar {\eta }})$ .

Sedan är de affina skalrumsrepresentationerna $L$ och $R$ av $I_{L}$ respektive $I_{R}$ relaterade enligt

$L({\bar {\xi }},\Sigma _{L})=R({\bar {\eta }}, \Sigma _{R})$

förutsatt att de affina formmatriserna $\Sigma _{L}$ och $\Sigma _{R}$ är relaterade enl.

$\Sigma _{R}=B\Sigma _{L}B^{T}$ .

Om man bortser från matematiska detaljer, som tyvärr blir något tekniska om man siktar på en exakt beskrivning av vad som pågår, är det viktiga budskapet att det affina Gaussiska skalutrymmet är stängt under affina transformationer .

Om vi, givet notationen $\nabla L=(L_{x},L_{y})^{T}$ samt lokal formmatris ${\ displaystyle \Sigma _{t}}$ och en integrationsformmatris $\Sigma _{s}$ , introducerar en affinanpassad flerskalig andramomentmatris enl.

$\mu _{L}({\bar {x}};\Sigma _{t},\Sigma _{s})=g({\bar {x}}-{\bar {\xi }};\Sigma _ {s})\,\left(\nabla _{L}({\bar {\xi }};\Sigma _{t})\nabla _{L}^{T}({\bar {\xi } };\Sigma _{t})\right)$

det kan visas att under valfri affin transformation ${\bar {q}}=B{\bar {p}}$ transformeras den affinanpassade flerskaliga andramomentmatrisen enl.

$\mu _{L}({\bar {p} };\Sigma _{t},\Sigma _{s})=B^{T}\mu _{R}({\bar {q}};B\Sigma _{t}B^{T}, B\Sigma _{s}B^{T})B$ .

Återigen, om man bortser från lite röriga tekniska detaljer, är det viktiga meddelandet här att givet en överensstämmelse mellan bildpunkterna ${\bar {p}}$ och ${\bar {q}}$ , affin transformation $B$ kan uppskattas från mätningar av flerskaliga andramomentmatriser $\mu _{L}$ och $\mu _{R}$ i de två domäner.

En viktig konsekvens av denna studie är att om vi kan hitta en affin transformation $B$ så att $\mu _{R}$ är en konstant gånger enhetsmatrisen, då får vi en fixpunkt som är invariant för affina transformationer ( Lindeberg 1994, avsnitt 15.4; Lindeberg & Garding 1997) . För praktiskt genomförande kan denna egenskap ofta nås på endera av två huvudsakliga sätt. Det första tillvägagångssättet är baserat på transformationer av utjämningsfiltren och består av:

• uppskattar andra ögonblicksmatrisen $\mu$ i bilddomänen,
• bestämma en ny anpassad utjämningskärna med kovariansmatris proportionell mot $\mu ^{-1}$ ,
• utjämning av originalbilden med den formanpassade utjämningskärnan, och
• upprepar denna operation tills skillnaden mellan två på varandra följande andra ögonblicksmatriser är tillräckligt liten.

Det andra tillvägagångssättet är baserat på skevningar i bilddomänen och innebär:

• uppskatta $\mu$ i bilddomänen,
• ${\hat {B}}=\mu ^{1/2}$ lokal affin transformation proportionell mot μ $\displaystyle \mu ^{$ betecknar kvadratrotmatrisen för $\mu$ ,
• förvrängning av ingångsbilden med den affina transformationen ${\hat {B}}^{-1}$ och
• upprepa denna operation tills $\mu$ är tillräckligt nära en konstant gånger enhetsmatrisen.

Denna övergripande process benämns affin formanpassning ( Lindeberg & Garding 1997 ; Baumberg 2000 ; Mikolajczyk & Schmid 2004 ; Tuytelaars & van Gool 2004 ; Ravela 2004 ; Lindeberg 2008 ). I det ideala kontinuerliga fallet är de två tillvägagångssätten matematiskt ekvivalenta. I praktiska implementeringar är emellertid det första filterbaserade tillvägagångssättet vanligtvis mer exakt i närvaro av brus medan det andra förvrängningsbaserade tillvägagångssättet vanligtvis är snabbare.

I praktiken kombineras den affina formanpassningsprocessen som beskrivs här ofta med det automatiska skalvalet av intressepunktsdetektering som beskrivs i artiklarna om blobdetektering och hörndetektering , för att erhålla intressepunkter som är oföränderliga för hela affingruppen, inklusive skalförändringar. Förutom den ofta använda multi-scale Harris-operatorn, kan denna affina formanpassning även appliceras på andra typer av intressepunktsoperatorer såsom Laplacian/Difference of Gaussian blob-operatorn och determinanten för Hessian (Lindeberg 2008 ) . Affin formanpassning kan också användas för affin invariant texturigenkänning och affin invariant textursegmentering.

Nära besläktad med begreppet affin formanpassning är begreppet affin normalisering , som definierar en affin invariant referensram som beskrivs ytterligare i Lindeberg ( 2013a , b , 2021 :Appendix I.3), så att varje bildmätning som utförs i affinen. invariant referensram är affin invariant.

Se även

• Blob-detektering
• Hörndetektering
• Gaussisk funktion
• Harris affin regiondetektor
• Hessisk affin regiondetektor
• Skala utrymme

• Baumberg, A. (2000). "Pålitlig funktionsmatchning över vitt åtskilda vyer". Proceedings of IEEE Conference on Computer Vision and Pattern Recognition . s. I:1774–1781. doi : 10.1109/CVPR.2000.855899 .
•   Lindeberg, T. (1994). Skala-rymdteori i datorseende . Springer. ISBN 0-7923-9418-6 .
• Lindeberg, T.; Garding, J. (1997). "Formanpassad utjämning vid uppskattning av 3D-djupledingar från affina förvrängningar av lokal 2D-struktur" . Bild- och bildberäkning . 15 (6): 415–434. doi : 10.1016/S0262-8856(97)01144-X .
•   Lindeberg, T. (2008). "Scale-space" . Encyclopedia of Computer Science and Engineering ( Benjamin Wah , red), John Wiley and Sons . Vol. IV. s. 2495–2504. doi : 10.1002/9780470050118.ecse609 . ISBN 978-0470050118 .
•    Lindeberg, T. (2013a). "Invarians av visuella operationer på nivån av receptiva fält" . PLOS ETT . 8 (7): e66990:1–33. arXiv : 1210.0754 . Bibcode : 2013PLoSO...866990L . doi : 10.1371/journal.pone.0066990 . PMC 3716821 . PMID 23894283 .
•   Lindeberg, T. (2013b). "Generaliserad axiomatisk skala-rymdteori" . Framsteg inom bildbehandling och elektronfysik . 178 (7): 1–96. doi : 10.1016/B978-0-12-407701-0.00001-7 . ISBN 9780124077010 .
•    Lindeberg, T. (2021). "Normativ teori om visuella receptiva fält" . Heliyon . 7 (1): e05897. doi : 10.1016/j.heliyon.2021.e05897 . PMC 7820928 . PMID 33521348 .
•   Mikolajczyk, K.; Schmid, C. (2004). "Skala och affina invarianta intressepunktsdetektorer" (PDF) . International Journal of Computer Vision . 60 (1): 63–86. doi : 10.1023/B:VISI.0000027790.02288.f2 . S2CID 1704741 . Integration av Harris-operatorn med flera skalor med metodiken för automatiskt skalval samt med affin formanpassning.
•   Tuytelaars, T.; van Gool, L. (2004). "Matchar vitt åtskilda vyer baserat på affina invarianta regioner" ( PDF) . International Journal of Computer Vision . 59 (1): 63–86. doi : 10.1023/B:VISI.0000020671.28016.e8 . S2CID 5107897 . Arkiverad från originalet (PDF) 2010-06-12.
•   Ravela, S. (2004). "Forma receptiva fält för affin invarians". Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004 . Vol. 2. s. 725–730. doi : 10.1109/CVPR.2004.1315236 . ISBN 0-7695-2158-4 .