Sonifiering

Video av luftföroreningsdata från Peking som förmedlas som ett musikstycke

Sonifiering är användningen av icke-talljud för att förmedla information eller perceptualisera data. Auditiv perception har fördelar i temporal, rumslig, amplitud och frekvensupplösning som öppnar möjligheter som ett alternativ eller komplement till visualiseringstekniker .

Till exempel förmedlar klickhastigheten för en geigerräknare strålningsnivån i enhetens omedelbara närhet.

Även om många experiment med datasonifiering har utforskats i forum som ICAD (International Community for Auditory Display ), står sonifiering inför många utmaningar för utbredd användning för att presentera och analysera data. Till exempel visar studier att det är svårt, men väsentligt, att tillhandahålla ett adekvat sammanhang för att tolka sonifieringar av data. Många sonifieringsförsök kodas från grunden på grund av bristen på flexibla verktyg för sonifieringsforskning och datautforskning.

Historia

Geigerräknaren , som uppfanns 1908, är en av de tidigaste och mest framgångsrika tillämpningarna för sonifiering . En geigerräknare har ett rör av lågtrycksgas; varje detekterad partikel producerar en strömpuls när den joniserar gasen, vilket ger ett ljudklick. Den ursprungliga versionen kunde bara detektera alfapartiklar. 1928 Geiger och Walther Müller (en doktorand i Geiger) räknaren så att den kunde upptäcka fler typer av joniserande strålning.

1913 uppfann Dr Edmund Fournier d'Albe vid University of Birmingham optofonen , som använde selenfotosensorer för att upptäcka svart tryck och omvandla det till en hörbar utsignal. En blind läsare kunde hålla en bok mot enheten och hålla en apparat mot området hon ville läsa. Optofonen spelade en grupp toner: g c' d' e' g' b' c e . Varje ton motsvarade en position på optofonens läsyta, och den noten tystades om svart bläck kändes av. Således angav de saknade anteckningarna positionerna där svart bläck fanns på sidan och kunde användas för att läsa.

Pollack och Ficks publicerade de första perceptuella experimenten om överföring av information via hörselvisning 1954. De experimenterade med att kombinera ljuddimensioner som timing, frekvens, ljudstyrka, varaktighet och rumslighet och fann att de kunde få försökspersoner att registrera förändringar i flera dimensioner genast. Dessa experiment kom inte in på mycket mer detaljer än så, eftersom varje dimension bara hade två möjliga värden.

John M. Chambers , Max Mathews och FR Moore vid Bell Laboratories gjorde det tidigaste arbetet med auditiv grafritning i deras tekniska memorandum "Auditory Data Inspection" 1974. De utökade ett spridningsdiagram med ljud som varierade längs frekvens, spektralt innehåll och amplitudmodulering dimensioner att använda vid klassificering. De gjorde ingen formell bedömning av effektiviteten av dessa experiment.

1976 skrev teknologifilosofen Don Ihde, "Precis som vetenskapen verkar producera en oändlig uppsättning visuella bilder för praktiskt taget alla dess fenomen - atomer till galaxer är bekanta för oss från kaffebordsböcker till vetenskapliga tidskrifter; så" musik också kan produceras från samma data som producerar visualiseringar." Detta verkar vara en av de tidigaste referenserna till sonifiering som en kreativ praktik.

På 1980-talet kom pulsoximetrar i utbredd användning. Pulsoximetrar kan sonifiera syrekoncentrationen i blodet genom att avge högre tonhöjder för högre koncentrationer. Men i praktiken kanske denna speciella egenskap hos pulsoximetrar inte används i stor utsträckning av medicinsk personal på grund av risken för för många ljudstimuli i medicinska miljöer.

1992 grundades International Community for Auditory Display (ICAD) av Gregory Kramer som ett forum för forskning om auditiv display som inkluderar datasonifiering. ICAD har sedan dess blivit ett hem för forskare från många olika discipliner som är intresserade av att använda ljud för att förmedla information genom sina konferenser och referentgranskade handlingar.

I maj 2022 rapporterade NASA sonifieringen (omvandling av astronomiska data associerade med tryckvågor till ljud ) av det svarta hålet i mitten av Perseus-galaxhopen .

Vissa befintliga applikationer och projekt

  • Auditiv höjdmätare , används även vid fallskärmshoppning [ misslyckad verifiering ]
  • Hörseltermometer
  • Klockor, t.ex. med ett hörbart tick varje sekund, och med speciella ringsignaler var 15:e minut
  • Cockpit auditiva displayer
  • Geiger mätare
  • Gravitationsvågor vid LIGO
  • Interaktiv sonifiering
  • Medicinska och kirurgiska hörselskärmar
  • Multimodala (combined sense) displayer för att minimera visuell överbelastning och trötthet
  • Navigering
  • DNA
  • Rymdfysik
  • Pulsoximeter på operationssalar och intensivvård
  • Hastighetslarm i motorfordon
  • Ekolod
  • Storm och vädersonifiering
  • Detektering av vulkanisk aktivitet
  • Klusteranalys av högdimensionella data med hjälp av sonifiering av partikelbana
  • Volym och värde för Dow Jones Industrial Average
  • Bildsonifiering för synskadade
  • CURAT Sonifieringsspel baserat på psykoakustisk sonifiering
  • Tiltifiering baserad på psykoakustisk sonifiering

Sonifieringstekniker

Många olika komponenter kan ändras för att ändra användarens uppfattning av ljudet, och i sin tur deras uppfattning om den underliggande informationen som porträtteras. Ofta indikeras en ökning eller minskning av någon nivå i denna information av en ökning eller minskning av tonhöjd , amplitud eller tempo , men kan också indikeras genom att variera andra mindre vanliga komponenter. Till exempel kan ett börskurs beskrivas genom att stiga när aktiekursen steg och sänka tonhöjden när den föll. För att göra det möjligt för användaren att avgöra att mer än en beståndsdel porträtterades, kan olika klangfärger eller ljusstyrkor användas för de olika bestånden, eller så kan de spelas upp för användaren från olika ställen i rymden, till exempel genom olika sidor av deras hörlurar .

Många studier har genomförts för att försöka hitta de bästa teknikerna för olika typer av information som ska presenteras, och ännu har ingen avgörande uppsättning tekniker som ska användas formulerats. Eftersom området för sonifiering fortfarande anses vara i sin linda, arbetar nuvarande studier för att bestämma den bästa uppsättningen ljudkomponenter som kan variera i olika situationer.

Flera olika tekniker för auditiv återgivning av data kan kategoriseras:

  • Akustisk sonifiering
  • Audition
  • Modellbaserad sonifiering
  • Parametermappning
  • Strömbaserad sonifiering

Ett alternativt tillvägagångssätt till traditionell sonifiering är "sonifiering genom ersättning", till exempel Pulsed Melodic Affective Processing (PMAP). I PMAP snarare än att sonifiera en dataström, är beräkningsprotokollet själva musikdata, till exempel MIDI. Dataströmmen representerar ett icke-musikaliskt tillstånd: i PMAP ett affektivt tillstånd. Beräkningar kan sedan göras direkt på musikdata, och resultaten kan lyssnas på med ett minimum av översättning.

Se även

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Sonification&oldid=1136217404 "