Nadine Social Robot

Nadine

Skapandets år	2013

Nadine är en gynoid humanoid social robot som är modellerad efter professor Nadia Magnenat Thalmann . Roboten har en stark människoliknande med en naturlig hud och hår och realistiska händer. Nadine är en socialt intelligent robot som skickar tillbaka en hälsning, får ögonkontakt och kan komma ihåg alla samtal som den hade. Den kan svara på frågor autonomt på flera språk, simulera känslor både i gester och ansiktsmässigt, beroende på innehållet i interaktionen med användaren. Nadine kan känna igen personer som den tidigare har sett och delta i ett flytande samtal. Nadine har programmerats med en "personlighet", i och med att dess uppförande kan förändras efter vad som sägs till den. Nadine har totalt 27 frihetsgrader för ansiktsuttryck och överkroppsrörelser. Med personer som den tidigare har stött på minns den fakta och händelser relaterade till varje person. Det kan hjälpa människor med särskilda behov genom att läsa berättelser, visa bilder, sätta på Skype- sessioner, skicka e-postmeddelanden och kommunicera med andra familjemedlemmar. Den kan spela rollen som receptionist på ett kontor eller vara dedikerad till att vara en personlig coach.

Nadine interagerade med mer än 100 000 besökare på ArtScience Museum i Singapore under utställningen "HUMAN+: The Future of our Species", som hölls från maj till oktober 2017. Nadine har arbetat som kundtjänstagent i AIA Insurance Company i Singapore . Det är första gången i världen som en humanoid robot används som kundtjänstagent.

Historia

Nadine är en nästa generations humanoid robot som är en efterträdare från Eva, ett humanoid robothuvud tillverkat av Hanson Robotics 2008. Evas mjukvaruplattform utvecklades vid MIRALab, University of Geneva . Evas huvud visar mycket realistiska stämningar och känslor och korttidsminne. Eva har också uppträtt i en pjäs i Roten Fabrik Theatre i Zürich.

Nadine skapades 2013 av Kokoro, Japan och har modellerats efter professor Nadia Magnenat Thalmann . Nadine har ett huvud och en hel kropp med ett naturligt utseende. Nadine mjukvaruplattform som har utvecklats vid Institute for Media Innovation i Singapores Nanyang Technological University kan visa känslor, tala naturligt, förstå vissa gester och komma ihåg och hämta fakta under dialogsessioner. Nadine interagerar också med armrörelser. Pågående forskning ger den sociala roboten två ledade händer och naturligt grepp. Nadine är också länkad till alla typer av databaser som dess personliga dataset, Wikipedia, väderkanaler och många andra.

Plattform

Nadine (social robot) är byggd med en klassisk perception – processing/decision – interaction layer framework. Utformningen av Nadine-plattformen med mål att upprätthålla mänskligt naturligt beteende även i komplexa situationer, vara generisk för att hantera alla typer av data och driftplats, flerspråkig support etc.

Nadines funktionaliteter bygger på hennes förståelse för miljö och uppfattning om användare/människor framför henne. Nadines uppfattningsskikt är fokuserat på denna uppgift. Nadine använder en 3D- djupkamera , webbkamera och mikrofon för att fånga upp syn- och ljudingångar från sin omgivning och sina användare. Perceptionslagret är sammansatt av oberoende undermoduler som arbetar på olika ingångsströmmar av de ovan nämnda enheterna för att känna igen ansikten , känslor, gester, användarplats, avsikt, beteende etc. och andra miljöattribut som objektigenkänning , plats etc.

Bearbetningsskiktet fungerar som Nadines hjärna som använder perceptionsutgångarna för att mäta situationen och bestämma hur man ska agera enligt den. Huvudkomponenten i detta lager är en beteendeträdsplanerare, Nadines centrala bearbetningsenhet tillåter att bearbeta alla upplevda indata. Baserat på indata från perceptionslagret uppdaterar beteendeträdsplaneraren de andra undermodulerna av bearbetningsskiktet, som inkluderar bearbetningsdialog mellan användare och Nadine, affektsystem och minnen av hennes interaktion. För att bearbeta dialog har generiska chatbots byggts för att hantera olika situationer och frågor. En onlinesökning baserad på Google Assistant är också integrerad för att svara på frågor utanför den utbildade korpusen. Baserat på användarens tal, känslor och Nadines nuvarande känslor kan Nadine uppvisa olika mänskliga rörelser till användare. Nadines minnesmodell tillåter henne också att komma ihåg specifika fakta om användaren och sammanhanget för det aktuella samtalet för att ge lämpliga svar. Efter förståelse av användarinteraktionen och miljökontexten beslutas ett lämpligt verbalt eller icke-verbalt svar. För detta ändamål kartlägger Nadines processlager varje perceptionslagerstimuli till en aktivering och tröskel. Baserat på bearbetningen av varje stimulans av varje undermodul, varieras aktiveringsnivåerna. När tröskelvärdena nås skickas varje vinnande handling vidare till interaktionslager för att visa de olika svaren i Nadine.

Interaktionslagret eller Nadine-kontrollanten är ansvarig för att exekvera vart och ett av svaren som tas emot från bearbetningslagret för att visa det i Nadines ansikte eller gest. Till exempel, baserat på användarens plats, modifiera Nadines huvud för att bibehålla ögonblicken med användaren. Bortsett från detta är interaktionslagret också ansvarigt för att kontrollera hennes motorer för att visa olika gester och ansiktsuttryck. För verbala svar inkluderar den en talsyntes och läppsynkroniseringsmodul. Baserat på det verbala svaret genereras motsvarande fonem och visemer. Talsyntesen tar också hänsyn till dialogtonen (för att visa olika känslor) samtidigt som den genererar tal. Läppsynkroniseringen omvandlar visem till motsvarande ansiktsmotorposition för att flytta Nadines läppar enligt hennes tal. För närvarande kan Nadine stödja sex språk inklusive engelska, tyska, franska, kinesiska, hindi och japanska.

evenemang

Nadine har deltagit i livedemos på scenen och engagerat sig med människor från alla samhällsskikt. Nadine, utropad som en av världens mest realistiska humanoida robotar, gjorde sitt första offentliga framträdande som en nyckelhöjdpunkt på utställningen "Human+: The Future of Our Species" som hölls i Singapores ArtScience Museum.

Hon har interagerat med många människor från företag inom olika branscher som Dentsu Aegis Network (DAN), Credit Suisse och Deutsche Bank.

Nadine interagerade också med Indiens premiärminister, hans excellens Narendra Modi under hans historiska besök på NTU Singapore, den 1 juni 2018, vilket var en av innovationerna han var särskilt intresserad av.

Nadine har arbetat som kundtjänstagent på AIA Singapore. Hon har utbildats för att hantera frågor som brukar ställas till AIAs kundtjänstombud. Hon uppmuntrar också AIA-kunder att registrera sig på AIAs registreringsportal för e-vård. Kundtjänstinteraktioner användes för att träna en maskininlärningsbaserad konversationsdialogmotor. En klient-server-arkitektur sattes också upp mellan vår plattform och AIA-portalen för att möjliggöra snabb och säker kommunikation.

I slutet av 2020 och fram till april 2021 har Nadine tillbringat sex månader på Bright Hill Evergreen Home i Singapore för att hjälpa äldre att spela bingo och interagera med dem. Med NTU:s etiska kommittéavtal har en grundlig studie gjorts för första gången om samspelet mellan Nadine socialrobot och lätt demenspatienter. Filmen av denna interaktion kan ses på Nadine YouTube-kanal.