Videosurfning

Videosurfning , även känd som utforskande videosökning , är den interaktiva processen att skumma igenom videoinnehåll för att tillgodose ett visst informationsbehov eller för att interaktivt kontrollera om videoinnehållet är relevant. Även om det ursprungligen föreslogs för att hjälpa användare att inspektera en enskild video genom visuella miniatyrer, gör moderna videobläddringsverktyg det möjligt för användare att snabbt hitta önskad information i ett videoarkiv genom iterativ interaktion mellan människa och dator genom en utforskande sökmetod . Många av dessa verktyg förutsätter en smart användare som vill ha funktioner för att interaktivt inspektera videoinnehåll, såväl som automatiska innehållsfiltreringsfunktioner. För det ändamålet tillhandahålls vanligtvis flera videointeraktionsfunktioner, till exempel sofistikerad navigering i video eller sökning med en innehållsbaserad fråga . Verktyg för videobläddring bygger ofta på analys av videoinnehåll på lägre nivå , till exempel upptäckt av bildövergång , extrahering av nyckelbildruta, upptäckt av semantiskt begrepp och skapar en strukturerad innehållsöversikt över videofilen eller videoarkivet. Dessutom tillhandahåller de vanligtvis sofistikerade navigeringsfunktioner, såsom avancerade tidslinjer, visuella sökfält eller en lista med utvalda miniatyrer, samt sätt för innehållsförfrågningar. Exempel på innehållsfrågor är bildfiltrering genom visuella koncept (t.ex. endast bilder som visar bilar), genom vissa specifika egenskaper (t.ex. färg- eller rörelsefiltrering), genom skisser som tillhandahålls av användaren (t.ex. en visuellt ritad skiss) eller genom innehåll- baserad likhetssökning.

Historia

Videosurfning föreslogs ursprungligen av den iranska ingenjören Farshid Arman, den taiwanesiske datavetaren Arding Hsu och datavetaren Ming-Yee Chiu, när han arbetade på Siemens , och den presenterades vid ACM International Conference i augusti 1993. De beskrev en algoritm för skottdetektering för komprimerad video som ursprungligen kodades med videokodningsstandarder för diskret cosinustransform (DCT) som JPEG , MPEG och H.26x . Grundtanken var att eftersom DCT-koefficienterna är matematiskt relaterade till den rumsliga domänen och representerar innehållet i varje bildruta, kan de användas för att upptäcka skillnaderna mellan videobildrutor. I algoritmen används en delmängd av block i en ram och en delmängd av DCT-koefficienter för varje block som rörelsevektorrepresentation för ramen. Genom att arbeta på komprimerade DCT-representationer, minskar algoritmen avsevärt beräkningskraven för dekompression och möjliggör effektiv videosurfning. Algoritmen representerar separata bilder av en videosekvens med en r-bildruta, en miniatyrbild av bilden inramad av en rörelsespårningsregion. En variant av detta koncept antogs senare för QBIC- videoinnehållsmosaiker, där varje r-bildruta är en framträdande stillbild från bilden den representerar.

Video anteckningsbok

Moderna lösningar för videosurfning inkluderar Video Notebook, en Menlo Park -startup som grundades 2021 av Mike Lanza, som använder datorseende för att extrahera bilder och optisk teckenigenkänning och taligenkänning för att underlätta videosökning. Programvaran kan antingen användas på klientsidan (med en webbläsartillägg ), där bilderna och texten extraheras medan videon tittas på (t.ex. på en videoplattform som YouTube eller Udemy ), eller på serversidan. Bearbetade videor, som kan ses i Video Notebook- webbappen , har ett användargränssnitt för videosurfning med extraherade tidsstämplade bilder, ett sökfält för att söka efter videon (eller en samling videor) och textkapitel. Video Notebook-kunder inkluderar organisationer som Ernst & Young .

Video Browser Showdown

Video Browser Showdown (VBS) är en årlig utvärderingstävling för utforskande videosökverktyg, där internationella forskare använder videosurfningsverktyg för att lösa ad-hoc-videosökuppgifter på en måttligt stor datamängd så snabbt som möjligt. Huvudmålet för VBS, som startade 2012 vid den internationella konferensen om multimediamodellering (MMM), är att förbättra prestandan för videosurfverktyg. Sedan 2016 samarbetar VBS även med TRECVID. Syftet med VBS är att utvärdera videosurfningsverktyg för effektivitet vid sökningar med kända föremål (KIS) med en väldefinierad datamängd i direkt jämförelse med andra verktyg.

^ ^a ^b Arman, Farshid; Depommier, Remi; Hsu, Arding; Chiu, Ming-Yee (oktober 1994). "Innehållsbaserad bläddring av videosekvenser" . Proceedings of the Second ACM International Conference on Multimedia . Föreningen för datormaskiner : 97–103. doi : 10.1145/192593.192630 . ISBN 0897916867 . S2CID 1360834 .
^ Stöder utforskande sökning i videobibliotek: när storyboards inte räcker. MG Christel. 2008.
^ Videoutforskaren - ett verktyg för navigering och sökning inom en enda video baserat på snabb innehållsanalys. K. Schoeffmann, M. Taschwer och L. Boeszoermenyi. 2010.
^ Videointeraktionsverktyg: En undersökning av det senaste arbetet. K. Schoeffmann, MA Hudelist och J. Huber. 2015.
^ Gränssnitt för tidslinjebaserad mobil videosurfning. W. Hürst och K. Meier. 2008.
^ Arman, Farshid; Hsu, Arding; Chiu, Ming-Yee (augusti 1993). "Bildbehandling på komprimerad data för stora videodatabaser" . Proceedings of the First ACM International Conference on Multimedia . Association for Computing Machinery : 267–272. doi : 10.1145/166266.166297 . ISBN 0897915968 . S2CID 10392157 .
^ Skodras, Athanassios (2009-01-01). "Realtidsdata gömmer sig genom att utnyttja IPCM-makroblocken i H. 264/AVC-strömmar" . Journal of Real-Time Image Processing .
^ Zhang, HongJiang (1998). "Innehållsbaserad videosurfning och hämtning" . I Furht, Borko (red.). Handbok för Internet och multimediasystem och applikationer . CRC Tryck på . s. 83–108 (89) . ISBN 9780849318580 .
^ Steele, Michael; Hearst, Marti A.; Lawrence, A. Rowe (1998). "The Video Workbench: ett direkt manipuleringsgränssnitt för digital mediaredigering av amatörvideografer" ( PDF) : 1-19 (14). S2CID 18212394 . Arkiverad från originalet (PDF) 2019-02-26 . Hämtad 18 oktober 2019 . {{ citera journal }} : Citera journal kräver |journal= ( hjälp )
^ "Videoanteckningsbok - Anteckningar på alla videoplattformar" . chrome.google.com . Hämtad 2022-06-03 .
^ "Videoskärmdumpar och anteckningar - YouTube med mera" . www.videonotebook.com . Hämtad 2022-06-03 .
^ "Videor som gjorts bläddringsbara och sökbara - Videoanteckningsbok" . www.videonotebook.com . Hämtad 2022-06-03 .
^ Video Browser Showdown
^ TRECVID , akademiskt riktmärkeinitiativ av NIST
^ Schöffmann, Klaus; Bailer, Werner (2012-07-24). "Video webbläsare showdown" . ACM SIGMultimedia Records . 4 (2): 1–2. doi : 10.1145/2350204.2350205 . S2CID 46224263 .

[Arman1994-1] Arman, Farshid; Depommier, Remi; Hsu, Arding; Chiu, Ming-Yee (oktober 1994). "Innehållsbaserad bläddring av videosekvenser" . Proceedings of the Second ACM International Conference on Multimedia . Föreningen för datormaskiner : 97–103. doi : 10.1145/192593.192630 . ISBN 0897916867 . S2CID 1360834 .

[2] Stöder utforskande sökning i videobibliotek: när storyboards inte räcker. MG Christel. 2008.

[3] Videoutforskaren - ett verktyg för navigering och sökning inom en enda video baserat på snabb innehållsanalys. K. Schoeffmann, M. Taschwer och L. Boeszoermenyi. 2010.

[4] Videointeraktionsverktyg: En undersökning av det senaste arbetet. K. Schoeffmann, MA Hudelist och J. Huber. 2015.

[5] Gränssnitt för tidslinjebaserad mobil videosurfning. W. Hürst och K. Meier. 2008.

[6] Arman, Farshid; Hsu, Arding; Chiu, Ming-Yee (augusti 1993). "Bildbehandling på komprimerad data för stora videodatabaser" . Proceedings of the First ACM International Conference on Multimedia . Association for Computing Machinery : 267–272. doi : 10.1145/166266.166297 . ISBN 0897915968 . S2CID 10392157 .

[7] Skodras, Athanassios (2009-01-01). "Realtidsdata gömmer sig genom att utnyttja IPCM-makroblocken i H. 264/AVC-strömmar" . Journal of Real-Time Image Processing .

[8] Zhang, HongJiang (1998). "Innehållsbaserad videosurfning och hämtning" . I Furht, Borko (red.). Handbok för Internet och multimediasystem och applikationer . CRC Tryck på . s. 83–108 (89) . ISBN 9780849318580 .

[9] Steele, Michael; Hearst, Marti A.; Lawrence, A. Rowe (1998). "The Video Workbench: ett direkt manipuleringsgränssnitt för digital mediaredigering av amatörvideografer" ( PDF) : 1-19 (14). S2CID 18212394 . Arkiverad från originalet (PDF) 2019-02-26 . Hämtad 18 oktober 2019 . {{ citera journal }} : Citera journal kräver |journal= ( hjälp )

[10] "Videoanteckningsbok - Anteckningar på alla videoplattformar" . chrome.google.com . Hämtad 2022-06-03 .

[11] "Videoskärmdumpar och anteckningar - YouTube med mera" . www.videonotebook.com . Hämtad 2022-06-03 .

[12] "Videor som gjorts bläddringsbara och sökbara - Videoanteckningsbok" . www.videonotebook.com . Hämtad 2022-06-03 .

[13] Video Browser Showdown

[TRECVID-14] TRECVID , akademiskt riktmärkeinitiativ av NIST

[15] Schöffmann, Klaus; Bailer, Werner (2012-07-24). "Video webbläsare showdown" . ACM SIGMultimedia Records . 4 (2): 1–2. doi : 10.1145/2350204.2350205 . S2CID 46224263 .