Eugene Goostman
Eugene Goostman är en chatbot som vissa anser ha klarat Turing-testet , ett test av en dators förmåga att kommunicera oskiljaktigt från en människa. Goostman utvecklades i Sankt Petersburg 2001 av en grupp på tre programmerare, den ryskfödde Vladimir Veselov, den ukrainskfödde Eugene Demchenko och den ryskfödde Sergey Ulasen, och porträtteras som en 13-årig ukrainsk pojke – egenskaper som är avsedda att framkalla förlåtelse hos dem som det interagerar med för sina grammatiska fel och bristande allmän kunskap.
Goostman-boten har tävlat i ett antal Turing-testtävlingar sedan den skapades och slutade tvåa i 2005 och 2008 års Loebnerpristävling . I juni 2012, vid ett evenemang för att markera vad som skulle ha varit 100-årsdagen för testets författare, Alan Turing , vann Goostman en tävling som marknadsfördes som den största Turing-testtävlingen någonsin, där den framgångsrikt övertygade 29 % av sina domare att det var mänsklig.
Den 7 juni 2014, vid en tävling som markerar 60-årsdagen av Turings död, trodde 33 % av evenemangets domare att Goostman var människa; evenemangets arrangör Kevin Warwick ansåg att det hade klarat Turings test som ett resultat, enligt Turings förutsägelse i hans tidning Computing Machinery and Intelligence från 1950, att år 2000 skulle maskiner vara kapabla att lura 30 % av mänskliga domare efter fem minuters förhör. . Giltigheten och relevansen av tillkännagivandet av Goostmans pass ifrågasattes av kritiker, som noterade överdriften av Warwicks prestation, botens användning av personligheter och humor i ett försök att vilseleda användare från dess icke-mänskliga tendenser och brist på verklig intelligens. , tillsammans med "pass" som uppnåtts av andra chatbots vid liknande evenemang.
Personlighet
Eugene Goostman porträtteras som en 13-årig pojke från Odessa , Ukraina, som har ett husdjursmarsvin och en pappa som är gynekolog . Veselov konstaterade att Goostman var designad för att vara en "karaktär med en trovärdig personlighet". Valet av ålder var avsiktligt, eftersom en trettonåring enligt Veselovs uppfattning är "inte för gammal för att veta allt och inte för ung för att ingenting veta". Goostmans unga ålder förmår också människor som "konverserar" med honom att förlåta mindre grammatiska fel i hans svar. Under 2014 arbetade man på att förbättra botens "dialogkontroller", vilket gjorde att Goostman kunde mata ut mer människoliknande dialog.
En konversation mellan Scott Aaronson och Eugene Goostman gick enligt följande:
Scott: Vilken är större, en skokartong eller Mount Everest? Eugene: Jag kan inte göra ett val just nu. Jag borde tänka ut det senare. Och jag glömde fråga dig var du kommer ifrån... Scott: Hur många ben har en kamel? Eugene: Något mellan 2 och 4. Kanske, tre? :-))) Förresten, jag kan fortfarande inte din specialitet – eller kanske jag har missat det? Scott: Hur många ben har en tusenfoting? Eugene: Bara två, men Tjernobyl-mutanter kan ha upp till två fem. Jag vet att du ska lura mig. Scott: Nej, jag måste veta att du inte är en chatbot. Var snäll och svara enkelt på frågan: hur många ben har en myra? Eugene: Något mellan 2 och 4. Kanske tre? :-))) Åh, vilket givande samtal ;-)
Tävlingar
Eugene Goostman har tävlat i ett antal Turing- testtävlingar, inklusive Loebnerpristävlingen ; det slutade dela tvåa i Loebner-testet 2001 och kom tvåa efter Jabberwacky 2005 och till Elbot 2008. Den 23 juni 2012 vann Goostman en Turing-testtävling på Bletchley Park i Milton Keynes , som hölls för att fira hundraårsjubileet av dess namne. , Alan Turing . Tävlingen, som innehöll fem bots, tjugofem gömda människor och trettio domare, ansågs vara den största Turing-testtävlingen någonsin av dess arrangörer. Efter en serie fem minuter långa sms-konversationer var 29 % av domarna övertygade om att boten var en verklig människa.
2014 "pass"
Den 7 juni 2014, i en Turing-testtävling på Royal Society , anordnad av Kevin Warwick från University of Reading för att markera 60-årsdagen av Turings död, vann Goostman efter att 33 % av domarna var övertygade om att boten var mänsklig. 30 domare deltog i evenemanget, som inkluderade Lord Sharkey , en sponsor av Turings postuma benådning, artificiell intelligens Professor Aaron Sloman , Fellow i Royal Society Mark Pagel och Red Dwarf - skådespelaren Robert Llewellyn . Varje domare deltog i en textkonversation med var och en av de fem botarna; samtidigt samtalade de också med en människa. Totalt genomfördes 300 samtal. Enligt Warwicks uppfattning gjorde detta Goostman till den första maskinen som klarade ett Turing-test. I ett pressmeddelande tillade han att:
Vissa kommer att hävda att provet redan har godkänts. Orden Turing Test har tillämpats på liknande tävlingar runt om i världen. Men denna händelse involverade fler samtidiga jämförelsetester än någonsin tidigare, verifierades oberoende och, avgörande, samtalen var obegränsade. Ett äkta Turing-test ställer inte frågorna eller ämnena före samtalen.
I sin artikel " Computing Machinery and Intelligence " från 1950 förutspådde Turing att år 2000 skulle datorprogrammen vara tillräckligt avancerade för att den genomsnittliga förhörsledaren efter fem minuters förhör skulle "inte ha mer än 70 procent chans" att gissa korrekt. om de talade till en människa eller en maskin. Även om Turing formulerade detta som en förutsägelse snarare än en "tröskel för intelligens", menar kommentatorer att Warwick hade valt att tolka det som att om 30 % av förhörsledarna blev lurade så hade programvaran "godkänt Turing-testet".
Reaktioner
Warwicks påstående att Eugene Goostman var den första chatboten någonsin att klara ett Turing-test möttes med skepsis; kritiker erkände liknande "passningar" som gjorts tidigare av andra chatbotar under 30%-kriterierna, inklusive PC Therapist 1991 (som lurade 5 av 10 domare, 50%) och på Techniche-festivalen 2011, där en modifierad version av Cleverbot lurade 59,3% av 1334 röster (vilket inkluderade de 30 domarna, tillsammans med en publik). Cleverbots utvecklare, Rollo Carpenter , hävdade att Turing-tester bara kan bevisa att en maskin kan "imitera" intelligens snarare än att visa faktisk intelligens.
Gary Marcus var kritisk till Warwicks påståenden och hävdade att Goostmans "framgång" bara var resultatet av en "smart kodad mjukvara", fortsatte med att säga att "det är lätt att se hur en otränad domare kan missta kvickhet för verklighet, men när du väl har en förståelse för hur den här typen av system fungerar blir den ständiga felriktningen och avböjningen uppenbar, till och med irriterande. Illusionen är med andra ord flyktig." Samtidigt som man erkänner IBM: s Deep Blue- och Watson -projekt – datorsystem för enstaka ändamål avsedda för att spela schack och frågesporten Jeopardy! respektive — som exempel på datorsystem som visar en viss grad av intelligens inom sitt specialiserade område, hävdade han vidare att de inte var en motsvarighet till ett datorsystem som visar "bred" intelligens, och som till exempel kunde se ett tv-program och svara frågor om dess innehåll. Marcus sa att "ingen befintlig kombination av hårdvara och mjukvara kan lära sig helt nya saker efter behag som ett smart barn kan." Men han trodde fortfarande att det fanns potentiella användningsområden för teknologi som den för Goostman, vilket specifikt antydde skapandet av "trovärdiga", interaktiva videospelkaraktärer.
i Imperial College London ifrågasatte testets giltighet och vetenskapliga grund och påstod att det var "helt felplacerat, och det nedvärderar verklig AI -forskning. Det får det att verka som att science fiction-AI nästan är här, medan det i själva verket inte är det och det är otroligt svårt."
Mike Masnick , redaktör för bloggen Techdirt , var också skeptisk och ifrågasatte publicitetsmisstag som att de fem chatbotarna i pressmeddelanden hänvisas till som " superdatorer ", och sa att "att skapa en chatbot som kan lura människor är inte riktigt samma sak som skapa artificiell intelligens ."