Loebnerpriset

Loebnerpriset var en årlig tävling i artificiell intelligens som delar ut priser till de datorprogram som av domarna ansågs vara mest människoliknande. Priset har rapporterats som nedlagt sedan 2020. Tävlingens format var som ett standard Turing-test . I varje omgång håller en mänsklig domare samtidigt textsamtal med ett datorprogram och en människa via dator. Baserat på svaren måste domaren bestämma vilken som är vilken.

Tävlingen lanserades 1990 av Hugh Loebner i samverkan med Cambridge Center for Behavioral Studies , Massachusetts , USA . Sedan 2014 har det organiserats av AISB vid Bletchley Park . Det har också associerats med Flinders University , Dartmouth College , Science Museum i London , University of Reading och Ulster University , Magee Campus , Derry , Storbritanniens kulturstad . 2004 och 2005 hölls den i Loebners lägenhet i New York City . Inom området artificiell intelligens är Loebnerpriset något kontroversiellt; den mest framstående kritikern, Marvin Minsky , kallade det ett reklamtrick som inte hjälper fältet på väg.

Under 2019 ändrades formatet för tävlingen. Det fanns ingen domare. Istället bedömdes chatbotarna av allmänheten och det fick inte finnas några mänskliga konkurrenter.

Priser

Ursprungligen delades $2 000 ut för det mest mänskliga programmet i tävlingen. Priset var 3 000 $ 2005 och 2 250 $ 2006. 2008 delades 3 000 $ ut.

Dessutom finns det två engångspriser som aldrig har delats ut. 25 000 dollar erbjuds för det första programmet som domare inte kan skilja från en riktig människa och som kan övertyga domare om att människan är datorprogrammet. $100 000 är belöningen för det första programmet som domare inte kan skilja från en riktig människa i ett Turing-test som inkluderar dechiffrera och förstå text, visuell och auditiv input. När detta är uppnått avslutas den årliga tävlingen.

Konkurrensregler och begränsningar

Reglerna har varierat under åren och tidiga tävlingar innehöll begränsade konversations-Turing-tester men sedan 1995 har diskussionen varit obegränsad.

För de tre bidragen 2007, Robert Medeksza, Noah Duncan och Rollo Carpenter , användes några grundläggande "screeningsfrågor" av sponsorn för att utvärdera teknikens tillstånd. Dessa inkluderade enkla frågor om tiden, vilken omgång av tävlingen det är, etc.; allmän kunskap ("Vad är en hammare för?"); jämförelser ("Vilket är snabbare, ett tåg eller ett plan?"); och frågor som visar minne för föregående delar av samma konversation. "Alla substantiv, adjektiv och verb kommer från en ordbok som är lämplig för barn eller ungdomar under 12 år." Bidragen behövde inte svara "intelligent" på frågorna för att accepteras.

För första gången 2008 tillät sponsorn att införa en preliminär fas till tävlingen som öppnade tävlingen för tidigare otillåtna webbaserade bidrag bedömda av en mängd inbjudna förhörsledare. De tillgängliga reglerna anger inte hur förhörsledare väljs ut eller instrueras. Förhörsledare (som bedömer systemen) har begränsad tid: 5 minuter per enhet i tävlingen 2003, 20+ per par i tävlingarna 2004–2007, 5 minuter för att genomföra samtidiga samtal med en människa och programmet 2008–2009, ökat till 25 minuter av samtidiga samtal sedan 2010.

Kritik

Priset har länge föraktats av experter på området, av olika anledningar.

Det betraktas av många som ett reklamtrick. Marvin Minsky erbjöd svidande ett "pris" till alla som kunde stoppa tävlingen. Loebner svarade genom att skämtsamt observera att Minskys erbjudande av ett pris för att stoppa tävlingen faktiskt gjorde honom till en medsponsor.

Tävlingens regler har uppmuntrat dåligt kvalificerade domare att göra snabba bedömningar. Interaktionen mellan domare och tävlande var från början mycket kort, till exempel 2,5 minuters förhör, vilket endast tillät ett fåtal frågor. Förhör begränsades till en början till "kul konversation", en domän som passar vanliga chatbottrick.

Tävlingsdeltagare syftar inte till förståelse eller intelligens utan tar till grundläggande ELIZA- trick, och framgångsrika deltagare finner bedrägeri och låtsasskap belönas.

Rapportering av den årliga tävlingen blandar ofta ihop imitationstestet med intelligens, ett typiskt exempel är Brian Christians introduktion till sin artikel "Mind vs. Machine" i The Atlantic, mars 2011, där han säger att "i kapplöpningen att bygga datorer som kan tänka som människor , provningsgrunden är Turing-testet".

Tävlingar

2006

2006 arrangerades tävlingen av Tim Child (VD för Televirtual) och Huma Shah. Den 30 augusti tillkännagavs de fyra finalisterna:

  • Rollo Snickare
  • Richard Churchill och Marie-Claire Jenkins
  • Noah Duncan
  • Robert Medeksza

Tävlingen hölls den 17 september i VR-teatern, Torrington Place campus vid University College London . Domarna inkluderade University of Readings cybernetikprofessor , Kevin Warwick , en professor i artificiell intelligens, John Barnden (specialist på metaforforskning vid University of Birmingham ), en advokat, Victoria Butler-Cole och en journalist, Graham Duncan-Rowe. Den senares upplevelse av händelsen finns i en artikel i Technology Review . Vinnaren var 'Joan', baserad på Jabberwacky , båda skapade av Rollo Carpenter.

2007

2007 års tävling hölls den 21 oktober i New York City. Domarna var: datavetenskapsprofessor Russ Abbott, filosofiprofessor Hartry Field , biträdande professor i psykologi Clayton Curtis och engelsklektor Scott Hutchins .

Ingen bot klarade Turing-testet, men domarna rankade de tre tävlande enligt följande:

  • 1:a: Robert Medeksza, skapare av Ultra Hal
  • 2:a: Noah Duncan, en privat deltagare, skapare av Cletus
  • 3:a: Rollo Carpenter från Icogno, skapare av Jabberwacky

Vinnaren fick $2 250 och den årliga medaljen. Tvåan fick $250 vardera.

2008

Tävlingen 2008 anordnades av professor Kevin Warwick, koordinerad av Huma Shah och hölls den 12 oktober vid University of Reading, Storbritannien . Efter att ha testats av över hundra domare under den preliminära fasen, i juni och juli 2008, valdes sex finalister ut bland tretton ursprungliga deltagare - artificiell konversationsenhet (ACE). Fem av de inbjudna tävlade i finalen:

  • Bror Jerome, Peter Cole och Benji Adams
  • Elbot, Fred Roberts / Artificiella lösningar
  • Eugene Goostman , Vladimir Veselov, Eugene Demchenko och Sergey Ulasen
  • Jabberwacky, Rollo Carpenter
  • Ultra Hal, Robert Medeksza

I finalen fick var och en av domarna fem minuter på sig att genomföra samtidiga konversationer på delad skärm med två dolda enheter. Elbot of Artificial Solutions vann Loebnerprisets bronspris 2008, för de flesta människoliknande konstgjorda konversationsenheter, genom att lura tre av de tolv domarna som förhörde det (i de mänskliga parallella jämförelserna) till att tro att det var mänskligt. Detta kommer mycket nära de 30 % som traditionellt krävs för att anse att ett program faktiskt har klarat Turing-testet. Eugene Goostman och Ultra Hal lurade båda en domare att det var människan.

Will Pavia, journalist för The Times , har skrivit om sin erfarenhet; en Loebner finaldomare, blev han lurad av Elbot och Eugene. Kevin Warwick och Huma Shah har rapporterat om de parallellparade Turing-testerna.

2009

2009 års Loebnerpristävling hölls den 6 september 2009 på Brighton Centre, Brighton UK i samband med Interspeech 2009-konferensen. Prissumman för 2009 var $3 000.

Deltagare var David Levy , Rollo Carpenter och Mohan Embar, som slutade i den ordningen.

Författaren Brian Christian deltog i 2009 års Loebnerpristävling som en mänsklig konfederation och beskrev sina upplevelser vid tävlingen i sin bok The Most Human Human .

2010

2010 års Loebnerpristävling hölls den 23 oktober vid California State University, Los Angeles. Tävlingen 2010 var den 20:e gången i tävlingen. Vinnaren blev Bruce Wilcox med Suzette.

2011

2011 års Loebnerpristävling hölls den 19 oktober vid University of Exeter , Devon , Storbritannien. Prissumman för 2011 var $4 000.

De fyra finalisterna och deras chatterbots var Bruce Wilcox (Rosette), Adeena Mignogna (Zoe), Mohan Embar (Chip Vivant) och Ron Lee (Tutor), som slutade i den ordningen.

Det året tillkom en panel av juniordomare, nämligen Georgia-Mae Lindfield, William Dunne, Sam Keat och Kirill Jerdev. Resultaten av juniortävlingen skilde sig markant från huvudtävlingen, med chatterbots Tutor och Zoe på första plats och Chip Vivant och Rosette kom på tredje respektive fjärde plats.

2012

2012 års Loebnerpristävling hölls den 15 maj i Bletchley Park i Bletchley , Buckinghamshire , England, för att hedra Alan Turings hundraårsjubileum. Prissumman för 2012 var $5 000. Den lokala arrangemanget var David Levy, som vann Loebnerpriset 1997 och 2009.

De fyra finalisterna och deras chatterbots var Mohan Embar (Chip Vivant), Bruce Wilcox (Angela), Daniel Burke (Adam), M. Allan (Linguo), som slutade i den ordningen.

Det året genomförde ett team från University of Exeters datavetenskapliga avdelning (Ed Keedwell, Max Dupenois och Kent McClymont) den första livesändningen någonsin av konversationerna.

2013

2013 års Loebnerpristävling hölls, för enda gången på Island of Ireland , den 14 september vid Ulster University , Magee College , Derry , Nordirland , Storbritannien.

De fyra finalisterna och deras chatbots var Steve Worswick (Mitsuku), Dr. Ron C. Lee (handledare), Bruce Wilcox (Rose) och Brian Rigsby (Izar), som slutade i den ordningen.

Domarna var professor Roger Schank (Socratic Arts), professor Noel Sharkey ( Sheffield University ), professor Minhua (Eunice) Ma ( Huddersfield University , då University of Glasgow ) och professor Mike McTear ( Ulster University ).

För 2013 års Junior Loebner-pristävling delade chatbotarna Mitsuku och Tutor på första plats med Rose och Izar på 3:e respektive 4:e plats.

2014

2014 års Loebnerpristävling hölls på Bletchley Park, England, lördagen den 15 november 2014. Evenemanget filmades live av Sky News. Gästdomare var TV-presentatören och programledaren James May.

Efter två timmars bedömning utsågs 'Rose' av Bruce Wilcox till vinnare. Bruce kommer att få en check på $4000 och en bronsmedalj. Rangen var följande:

Rose - Rank 1 ($4000 & bronsmedalj); Izar - Rank 2,25 ($1500); Uberbot - Rank 3.25 ($1000); och Mitsuku - Rank 3.5 ($500).

Domarna var Dr Ian Hocking, författare och universitetslektor i psykologi, Christ Church College, Canterbury; Dr Ghita Kouadri-Mostefaoui, lektor i datavetenskap och teknologi, University of Bedfordshire; James May, programledare och programledare; och Dr Paul Sant, dekanus för UCMK, University of Bedfordshire.

2015

2015 års Loebnerpristävling vanns återigen av "Rose" av Bruce Wilcox.

Domarna var Jacob Aaron, fysikaliska vetenskapsreporter för New Scientist; Rory Cellan-Jones, teknologikorrespondent för BBC; Brett Marty, filmregissör och fotograf; Ariadne Tampion, författare.

2016

2016 års Loebnerpris hölls på Bletchley Park den 17 september 2016. Efter 2 timmars bedömning tillkännagavs de slutliga resultaten. Rangen var följande:

  • 1:a plats: Mitsuku
  • 2:a plats: Handledare
  • 3:e plats: Rose

Vinnare

Officiell lista över vinnare.

År Vinnare Program
1991 Joseph Weintraub "Nyckfull konversation" (PC-terapeut)
1992 Joseph Weintraub PC-terapeut
1993 Joseph Weintraub PC-terapeut
1994 Thomas Whalen TIPS
1995 Joseph Weintraub PC-terapeut
1996 Jason Hutchens HeX
1997 David Levy Samtala
1998 Robby Garner Albert One
1999 Robby Garner Albert One
2000 Richard Wallace Artificiell språklig internetdatorenhet (ALICE)
2001 Richard Wallace Artificiell språklig internetdatorenhet (ALICE)
2002 Kevin Copple Ella
2003 Jürgen Pirner Jabberwock
2004 Richard Wallace Artificiell språklig internetdatorenhet (ALICE)
2005 Rollo Snickare George (Jabberwacky)
2006 Rollo Snickare Joan (Jabberwacky)
2007 Robert Medeksza Ultra Hal
2008 Fred Roberts Elbot
2009 David Levy Gör-mycket-mer
2010 Bruce Wilcox Suzette
2011 Bruce Wilcox Rosett
2012 Mohan Embar Chip Vivant
2013 Steve Worswick Mitsuku
2014 Bruce Wilcox Reste sig
2015 Bruce Wilcox Reste sig
2016 Steve Worswick Mitsuku
2017 Steve Worswick Mitsuku
2018 Steve Worswick Mitsuku
2019 Steve Worswick Mitsuku

Se även

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Loebner_Prize&oldid=1138916430 "