Uppslukande virtuellt musikinstrument
Ett uppslukande virtuellt musikinstrument , eller uppslukande virtuell miljö för musik och ljud, representerar ljudprocesser och deras parametrar som 3D-enheter i en virtuell verklighet så att de kan uppfattas inte bara genom auditiv feedback utan också visuellt i 3D och eventuellt även genom taktila som haptisk feedback, med hjälp av 3D- gränssnittsmetaforer som består av interaktionstekniker som navigering, urval och manipulation (NSM). Den bygger vidare på trenden inom elektroniska musikinstrument att utveckla nya sätt att kontrollera ljud och framföra musik som utforskats i konferenser som NIME .
Toppmodern
Florent Berthaut skapade en mängd 3D-reaktiva widgets som involverade nya representationer av musikhändelser och ljud, som krävde en speciell 3D-inmatningsenhet för att interagera med dem med hjälp av anpassade 3D-interaktionstekniker.
Jared Bott skapade en miljö som använde 3D spatial kontrolltekniker som används i kända musikinstrument, med symbolisk 2D visuell representation av musikaliska händelser.
Richard Polfreman skapade en virtuell 3D-miljö för musikalisk komposition med visuella representationer av musik- och ljuddata liknande 2D-kompositionsmiljöer men placerade i ett 3D-utrymme.
Leonel Valbom skapade en uppslukande virtuell miljö i 3D med visuella 3D-representationer av musikhändelser och ljudspatialisering som kunde interageras med hjälp av NSM-interaktionstekniker.
Teemu Mäki-Patola utforskade interaktionsmetaforer baserade på befintliga musikinstrument som de kan se i hans implementeringar av Virtual Xylophone, Virtual Membrane och Virtual Air Guitar.
Sutoolz från su-Studio Barcelona använde 3D-videospelsteknik i realtid för att låta en live-artist konstruera och spela en helt uppslukande audiovisuell miljö.
Axel Mulder utforskade skulpterande interaktionsmetaforen genom att skapa en virtuell 3D-miljö som möjliggjorde interaktion med abstrakta deformerbara former, såsom ett ark och en sfär, vilka parametrar kartlades till ljudeffekter på innovativa sätt. Arbetet fokuserade på att bevisa den tekniska genomförbarheten av virtuella 3D-musikinstrument. Gesturstyrning baserades på manipulation av 3D-objekt såsom en delmängd av uppfattning.
Det tidiga arbetet gjordes av Jaron Lanier med sitt Chromatophoria-band och separat av Niko Bolas som utvecklade Soundsculpt Toolkit, ett mjukvarugränssnitt som låter musikens värld kommunicera med de grafiska elementen i virtuell verklighet.