Läppläsning

Läppläsning , även känd som talläsning , är en teknik för att förstå tal genom att visuellt tolka rörelserna i läpparna, ansiktet och tungan när normalt ljud inte är tillgängligt. Den förlitar sig också på information från sammanhanget, kunskap om språket och eventuell kvarvarande hörsel. Även om läppavläsning används mest av döva och hörselskadade, bearbetar de flesta människor med normal hörsel viss talinformation från synen av den rörliga munnen.

Bearbeta

Även om taluppfattning anses vara en auditiv färdighet, är den i sig multimodal, eftersom att producera tal kräver att talaren gör rörelser av läppar, tänder och tunga som ofta är synliga i kommunikation ansikte mot ansikte. Information från läppar och ansikte stödjer hörselförståelsen och de flesta som flyter på ett språk är känsliga för sedda talhandlingar (se McGurk-effekten ) . I vilken utsträckning människor använder sig av sedda talhandlingar varierar med synligheten av talhandlingen och uppfattarens kunskap och skicklighet.

Fonemen och visemer

Fonemet är den minsta detekterbara enheten av ljud i ett språk som tjänar till att skilja ord från varandra. /pit/ och /pik/ skiljer sig åt med ett fonem och refererar till olika begrepp. Talad engelska har cirka 44 fonem. För läppläsning är antalet visuellt särskiljande enheter - visemer - mycket mindre, så flera fonem mappas till ett fåtal visemer. Detta beror på att många fonem produceras i munnen och svalget och inte kan ses. Dessa inkluderar glottala konsonanter och de flesta gester av tungan. Röstade och tonlösa par ser identiska ut, såsom [p] och [b], [k] och [g], [t] och [d], [f] och [v], och [s] och [z]; likaså för nasalisering (t.ex. [m] vs. [b]). Homofener är ord som ser likadana ut vid läppläsning, men som innehåller olika fonem. Eftersom det finns ungefär tre gånger så många fonem som visemes på engelska, hävdas det ofta att endast 30 % av talet kan vara läppläst. Homofener är en avgörande källa till läsfel.

Legenden till detta pussel lyder "Här är en klass med ett dussin pojkar, som, när de kallades upp för att ge sina namn, fotograferades av den ögonblickliga processen precis när var och en började uttala sitt eget namn. De tolv namnen var Oom, Alden , Eastman, Alfred, Arthur, Luke, Fletcher, Matthew, Theodore, Richard, Shirmer och Hisswald. Nu verkar det inte vara möjligt att kunna ge rätt namn till var och en av de tolv pojkarna, men om du övar listan över för var och en kommer du att tycka att det inte är en svår uppgift att hitta rätt namn för var och en av pojkarna."

Samartikulation

Visemes kan fångas som stillbilder, men talet utvecklas i tiden. Den smidiga artikulationen av talljud i sekvens kan innebära att munmönster kan "formas" av ett angränsande fonem: det "te" ljudet i "tand" och i "tänder" ser väldigt olika ut på grund av det vokaliska sammanhanget . Denna egenskap hos dynamisk talläsning påverkar läppläsningen "bortom visem".

Hur kan det "fungera" med så få visemes?

Den statistiska fördelningen av fonem inom ett språks lexikon är ojämn. Medan det finns kluster av ord som fonemiskt liknar varandra ('lexikaliska grannar', såsom spotta/smutta/sitta/sticka...etc.), skiljer sig andra från alla andra ord: de är 'unika' i termer av fördelningen av deras fonem ('paraply' kan vara ett exempel). Skickliga användare av språket tar till sig denna kunskap när de tolkar tal, så det är i allmänhet svårare att identifiera ett hört ord med många lexikala grannar än ett med få grannar. Genom att tillämpa denna insikt på sett tal, kan vissa ord i språket vara otvetydigt läpplästa även när de innehåller få visemes - helt enkelt för att inga andra ord möjligen skulle kunna "passa".

Variation i läsbarhet och skicklighet

Många faktorer påverkar synligheten av ett talande ansikte, inklusive belysning, rörelse av huvudet/kameran, bildhastighet för den rörliga bilden och avståndet från betraktaren (se t.ex.). Huvudrörelser som åtföljer normalt tal kan också förbättra läppläsningen, oberoende av muntliga handlingar. Däremot vid läppläsning kopplat tal , betraktarens kunskaper om det talade språket, förtrogenhet med talaren och talstilen och sammanhanget för det läpplästa materialet är lika viktiga som talarens synlighet. Medan de flesta hörande personer är känsliga för sett tal, finns det stor variation i individuell talläsningsförmåga. Bra läppläsare är ofta mer exakta än dåliga läppläsare på att identifiera fonem från visuellt tal.

Ett enkelt visemiskt mått på "läppläsbarhet" har ifrågasatts av vissa forskare. Måttet 'fonemekvivalensklass' tar hänsyn till lexikonets statistiska struktur och kan även ta hänsyn till individuella skillnader i läppavläsningsförmåga. I linje med detta förknippas utmärkt läppläsning ofta med mer breda kognitiva färdigheter inklusive allmän språkfärdighet, exekutiv funktion och arbetsminne .

Läppläsning och språkinlärning hos hörande spädbarn och barn

De första månaderna

Att se munnen spelar en roll i det mycket unga spädbarnets tidiga känslighet för tal och förbereder dem för att bli talare vid 1–2 års ålder. För att imitera måste ett barn lära sig att forma sina läppar i enlighet med de ljud de hör; att se talaren kan hjälpa dem att göra detta. Nyfödda imiterar vuxnas munrörelser som att sticka ut tungan eller öppna munnen, vilket kan vara en föregångare till ytterligare imitation och senare språkinlärning. Spädbarn störs när audiovisuellt tal från en bekant talare avsynkroniseras och tenderar att visa olika utseendemönster för bekanta ansikten än för okända ansikten när de matchas med (inspelade) röster. Spädbarn är känsliga för McGurk illusioner månader innan de har lärt sig att tala. Dessa studier och många fler pekar på en roll för synen i utvecklingen av känslighet för (auditivt) tal under det första halvåret av livet.

De kommande sex månaderna; en roll i att lära sig ett modersmål

Fram till omkring sex månaders ålder är de flesta hörande spädbarn känsliga för ett brett spektrum av talgester - inklusive sådana som kan ses på munnen - som kanske eller kanske inte senare är en del av fonologin i deras modersmål . Men under de andra sex månaderna av livet uppvisar det hörande spädbarnet perceptuell avsmalning för den fonetiska strukturen i sitt eget språk - och kan förlora den tidiga känsligheten för munmönster som inte är användbara. Talljuden /v/ och /b/ som är visemiskt särskiljande på engelska men inte på kastiliansk spanska särskiljs noggrant hos spanskexponerade och engelskexponerade spädbarn upp till cirka 6 månaders ålder. Äldre spanskexponerade spädbarn förlorar dock förmågan att "se" denna distinktion, medan den behålls för engelskexponerade spädbarn. Sådana studier tyder på att snarare än att hörsel och syn utvecklas på oberoende sätt i spädbarnsåldern, är multimodal bearbetning regeln, inte undantaget, i (språk)utvecklingen av spädbarnshjärnan.

Tidig språkproduktion: ett till två år

Med tanke på de många studier som indikerar en roll för syn i utvecklingen av språk hos det pre-linguala spädbarnet, är effekterna av medfödd blindhet på språkutvecklingen förvånansvärt små. 18-månadersbarn lär sig nya ord lättare när de hör dem och lär sig dem inte när de visas talrörelserna utan att höra. Barn som är blinda från födseln kan dock blanda ihop /m/ och /n/ i sin egen tidiga produktion av engelska ord – en förvirring som sällan ses hos synskadade barn, eftersom /m/ och /n/ är synbart distinkta, men auditivt förväxlande. Synens roll hos barn i åldrarna 1–2 år kan vara mindre avgörande för produktionen av deras modersmål, eftersom de vid den åldern har uppnått de färdigheter de behöver för att identifiera och imitera talljud. Men att höra ett icke-modersmål kan flytta barnets uppmärksamhet till visuellt och auditivt engagemang genom läppläsning och lyssnande för att bearbeta, förstå och producera tal.

I barndomen

Studier med prelinguala spädbarn och barn använder indirekta, icke-verbala mått för att indikera känslighet för sett tal. Explicit läppläsning kan testas tillförlitligt hos hörande förskolebarn genom att be dem att "säga högt vad jag säger tyst". Hos barn i skolåldern kan läppläsning av välbekanta slutna ord som sifferord lätt framkallas. Individuella skillnader i läppläsande skicklighet, som testats genom att be barnet att "tala ordet som du läppläser", eller genom att matcha ett läppläst yttrande till en bild, visar ett samband mellan läppavläsningsförmåga och ålder.

Hos hörande vuxna: livslängdsöverväganden

Medan läppavläsning av tyst tal utgör en utmaning för de flesta hörande, förbättrar talbearbetningen under många förhållanden att lägga till synen av talaren till det hörda talet. Mekanismerna för detta, och de exakta sätten på vilka läppläsning hjälper, är ämnen för aktuell forskning. Att se talaren hjälper på alla nivåer av talbehandling från fonetisk särdragsdiskriminering till tolkning av pragmatisk yttranden. De positiva effekterna av att lägga till syn till hört tal är större i bullriga än tysta miljöer, där genom att göra taluppfattningen lättare kan det att se talaren frigöra kognitiva resurser, vilket möjliggör djupare bearbetning av talinnehåll.

Eftersom hörseln blir mindre tillförlitlig i ålderdom kan människor tendera att lita mer på läppavläsning och uppmuntras att göra det. Men ett större beroende av läppavläsning kanske inte alltid kompenserar effekterna av åldersrelaterad hörselnedsättning. Kognitiv nedgång i åldrande kan föregås av och/eller associeras med mätbar hörselnedsättning. Därför kan läppavläsning inte alltid helt kompensera för de kombinerade hörsel- och kognitiva åldersrelaterade försämringarna.

I specifika (hörande) populationer

Ett antal studier rapporterar anomalier av läppavläsning i populationer med distinkta utvecklingsstörningar. Autism : Personer med autism kan visa nedsatt läppavläsningsförmåga och minskat beroende av syn i audiovisuell taluppfattning. Detta kan vara förknippat med anomalier med blick mot ansiktet hos dessa människor. Williams syndrom : Personer med Williams syndrom uppvisar vissa brister i talläsning som kan vara oberoende av deras syn-spatiala svårigheter. Specifik språkstörning : Barn med SLI rapporteras också visa minskad läppavläsningskänslighet, liksom personer med dyslexi .

Dövhet

Debatten har rasat i hundratals år om vilken roll läppläsning (' oralism ') spelar jämfört med andra kommunikationsmetoder (senast total kommunikation ) i utbildningen av döva. I vilken utsträckning ett eller annat tillvägagångssätt är fördelaktigt beror på en rad faktorer, inklusive graden av hörselnedsättning hos den döva, ålder för hörselnedsättning, föräldrarnas engagemang och föräldrarnas språk. Sedan är det en fråga om målen för den döva och deras gemenskap och vårdare. Är syftet med utbildning att förbättra kommunikationen generellt, att utveckla teckenspråk som förstaspråk eller att utveckla färdigheter i det talade språket i den hörande gemenskapen? Forskare fokuserar nu på vilka aspekter av språk och kommunikation som bäst kan levereras med vilka medel och i vilka sammanhang, med tanke på barnets och hennes familjs hörselstatus och deras utbildningsplaner. Bimodal tvåspråkighet (färdighet i både tal och teckenspråk) är ett dominerande tillvägagångssätt inom språkundervisningen för döva barn.

Döva är ofta bättre läppläsare än personer med normal hörsel. Vissa döva praktiserar som professionella läppläsare, till exempel inom rättsmedicinsk läppavläsning . Hos döva som har ett cochleaimplantat kan läppavläsningsförmåga före implantation förutsäga postimplantat (auditivt eller audiovisuellt) talbehandling. För många döva kan tillgången till talad kommunikation underlättas när ett talat budskap förmedlas via en utbildad, professionell läpp-högtalare .

I samband med läppläsning och utveckling av läskunnighet uppvisar barn som föds döva vanligtvis en försenad utveckling av läskunnighet, vilket kan spegla svårigheter att tillägna sig delar av det talade språket. I synnerhet kan tillförlitlig fonem-grafem-kartläggning vara svårare för döva barn, som behöver vara skickliga talläsare för att bemästra detta nödvändiga steg i läs- och skrivkunnighet. Läppläsningsförmåga är förknippad med läskunnighet hos döva vuxna och barn och träning i läppläsning kan hjälpa till att utveckla läskunnighet.

Cued Speech använder läppavläsning med tillhörande handformer som disambiguerar den visemiska (konsonant) läppformen. Cued-tal sägs vara lättare för hörande föräldrar att lära sig än ett teckenspråk, och studier, främst från Belgien, visar att ett dövt barn som utsätts för cued-tal i spädbarnsåldern kan göra mer effektiva framsteg när det gäller att lära sig ett talat språk än genom att enbart använda läppläsning. Användningen av signalerat tal vid cochleaimplantation för dövhet är sannolikt positivt. Ett liknande tillvägagångssätt, som involverar användning av handformer som åtföljer sett tal, är Visual Phonics , som används av vissa pedagoger för att stödja inlärning av skrift och talat språk.

Undervisning och träning

Syftet med undervisning och träning i läppläsning är att utveckla medvetenheten om läppläsningens natur och att öva på sätt att förbättra förmågan att uppfatta tal "med ögat". Läppläsningslektioner, ofta kallade läppavläsning och hantering av hörselnedsättningsklasser , riktar sig främst till vuxna som har hörselnedsättning. Den högsta andelen vuxna med hörselnedsättning har en åldersrelaterad , eller bullerrelaterad förlust ; med båda dessa former av hörselnedsättning förloras de högfrekventa ljuden först. Eftersom många av konsonanterna i tal är högfrekventa ljud, blir talet förvrängt. Hörapparater hjälper men kanske inte botar detta. Läppläsningskurser har visat sig vara till nytta i studier i Storbritannien som beställts av Action on Hearing Loss charity (2012).

Tränare inser att läppavläsning är en inexakt konst. Eleverna får lära sig att titta på läppar, tunga och käkrörelser, att följa språkets stress och rytm, att använda sin kvarvarande hörsel, med eller utan hörapparater, att titta på uttryck och kroppsspråk och att använda sin förmåga att resonera och sluta sig till. . De lärs ut läppläsarnas alfabet , grupper av ljud som ser likadana ut på läpparna (visem) som p, b, m eller f, v. Syftet är att förstå kärnan, så att de får självförtroende att delta i konversationen och undvika den skadliga sociala isolering som ofta följer med hörselnedsättning. Läppläsningskurser rekommenderas för alla som kämpar för att höra i buller och hjälper till att anpassa sig till hörselnedsättning. ATLA (Association for Teaching Lipreading to Adults) är den brittiska yrkesföreningen för kvalificerade läppläsningslärare.

Tester

De flesta tester av läppavläsning utformades för att mäta individuella skillnader i att utföra specifika talbearbetningsuppgifter och för att upptäcka förändringar i prestanda efter träning. Läppavläsningstester har använts med relativt små grupper i experimentella miljöer, eller som kliniska indikatorer med enskilda patienter och klienter. Det vill säga att läppavläsningstester hittills har begränsad giltighet som markörer för läppavläsningsförmåga i den allmänna befolkningen.

Läppavläsning och läpptalande med maskin

Automatiserad läppläsning har varit ett ämne av intresse inom beräkningsteknik, såväl som i science fiction-filmer . Beräkningsingenjören Steve Omohundro , bland andra, var banbrytande för dess utveckling. Inom ansiktsanimering är målet att generera realistiska ansiktshandlingar, särskilt munrörelser, som simulerar mänskliga talhandlingar. Datoralgoritmer för att deformera eller manipulera bilder av ansikten kan drivas av hört eller skrivet språk. System kan baseras på detaljerade modeller härledda från ansiktsrörelser ( motion capture ); om anatomisk modellering av handlingar i käken, munnen och tungan; eller på kartläggning av kända visemefonemegenskaper. Ansiktsanimering har använts i talläsningsträning (som visar hur olika ljud "ser ut"). Dessa system är en delmängd av talsyntes modellering som syftar till att leverera tillförlitliga "text-till-(sett)-tal"-utdata. Ett kompletterande syfte – det omvända av att få ansikten att röra sig i tal – är att utveckla datoralgoritmer som kan leverera realistiska tolkningar av tal (dvs. en skriftlig transkription eller ljudinspelning) från naturliga videodata från ett ansikte i aktion: detta är ansiktstaligenkänning. Även dessa modeller kan hämtas från en mängd olika data. Automatisk visuell taligenkänning från video har varit ganska framgångsrik för att särskilja olika språk (från en korpus talade språkdata). Demonstrationsmodeller, med hjälp av maskininlärningsalgoritmer, har haft viss framgång i läppläsning av talelement, såsom specifika ord, från video och för att identifiera svårlästa fonem från visemiskt liknande sedda munhandlingar. Maskinbaserad talläsning använder nu framgångsrikt neuralnätbaserade algoritmer som använder stora databaser med talare och talmaterial (enligt den framgångsrika modellen för auditiv automatisk taligenkänning ).

Användning av maskinell läppavläsning kan inkludera automatiserad läppavläsning av endast videoskivor, automatiserad läppavläsning av högtalare med skadade röstkanaler och talbearbetning i video ansikte mot ansikte (dvs. från videotelefondata). Automatisk läppavläsning kan hjälpa till att bearbeta bullriga eller obekanta tal. Automatiserad läppavläsning kan bidra till biometrisk personidentifiering och ersätta lösenordsbaserad identifiering.

Hjärnan

Efter upptäckten att hörselhjärnregioner , inklusive Heschls gyrus , aktiverades av sett tal, visades neurala kretsar för talläsning inkludera supramodala bearbetningsregioner, särskilt övre temporal sulcus (alla delar) såväl som posteriora nedre occipital-temporala regioner inklusive regioner specialiserade för behandling av ansikten och biologisk rörelse . I vissa men inte alla studier rapporteras aktivering av Brocas område för talläsning, vilket tyder på att artikulatoriska mekanismer kan aktiveras vid talläsning. Studier av tidsförloppet för audiovisuell talbearbetning visade att syn av tal kan primera hörselbearbetningsregioner före den akustiska signalen. Bättre läppavläsningsförmåga är förknippad med större aktivering i (vänster) övre temporal sulcus och angränsande inferior temporal (visuell) regioner hos hörande människor. Hos döva verkar kretsloppet som ägnas åt talläsning vara mycket likt det hos hörande personer, med liknande associationer av (vänster) överlägsen temporal aktivering och läppläsningsförmåga.

Bibliografi

  • D.Stork och M.Henneke (Eds) (1996) Speechreading by Humans and machines: Models Systems and Applications. Nato ASI serie F Data- och systemvetenskap Vol 150. Springer, Berlin Tyskland
  • E.Bailly, P.Perrier och E.Vatikiotis-Bateson (Eds)(2012) Audiovisual Speech Processing, Cambridge University press, Cambridge UK
  • Hearing By Eye (1987) , B.Dodd och R.Campbell (Eds), Erlbaum Asstes, Hillsdale NJ, USA; Hearing by Eye II , (1997) R.Campbell, B.Dodd och D.Burnham (red), Psychology Press, Hove UK
  • DW Massaro (1987, omtryckt 2014) Taluppfattning med gehör och ögon , Lawrence Erlbaum Associates, Hillsdale NJ

Vidare läsning

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Lip_reading&oldid=1137537427 "