Existentiell risk från artificiell allmän intelligens
| Del av en serie om |
| artificiell intelligens |
|---|
 |
Existentiell risk från artificiell allmän intelligens är hypotesen att betydande framsteg inom artificiell allmän intelligens (AGI) kan resultera i mänsklig utrotning eller någon annan oåterkallelig global katastrof . Det hävdas att den mänskliga arten för närvarande dominerar andra arter eftersom den mänskliga hjärnan har vissa distinkta förmågor som andra djur saknar. Om AI överträffar mänsklighetens generella intelligens och blir " superintelligent ", kan det bli svårt eller omöjligt för människor att kontrollera. Precis som bergsgorillans öde beror på mänsklig välvilja, så kan mänsklighetens öde bero på agerandet av en framtida maskinsuperintelligens.
Sannolikheten för denna typ av scenario är mycket omdiskuterad och beror delvis på olika scenarier för framtida framsteg inom datavetenskap. En gång den exklusiva domänen av science fiction började oron för superintelligens att bli mainstream på 2010-talet och populariserades av offentliga personer som Stephen Hawking , Bill Gates och Elon Musk .
Två källor till oro är problemen med AI- kontroll och anpassning : att styra en superintelligent maskin, eller ingjuta den med människokompatibla värden, kan vara ett svårare problem än naivt antagit. Många forskare tror att en superintelligens naturligt skulle motstå försök att stänga av den eller ändra sina mål eftersom detta skulle hindra den från att uppnå sitt nuvarande mål, och att det kommer att vara extremt svårt att anpassa superintelligensen till hela bredden av viktiga mänskliga värden och begränsningar. Däremot hävdar skeptiker som datavetaren Yann LeCun att superintelligenta maskiner inte har någon önskan om självbevarelsedrift.
En andra källa till oro är att en plötslig och oväntad " intelligensexplosion " kan överraska en oförberedd mänsklig ras. För att illustrera, om den första generationen av ett datorprogram som i stort sett kan matcha effektiviteten hos en AI-forskare kan skriva om sina algoritmer och fördubbla sin hastighet eller kapacitet på sex månader, förväntas andra generationens program ta tre kalendermånader att utföra en liknande bit av arbete. . Empiriskt här scenariot fortsätter tiden för varje generation att krympa, och systemet genomgår ett oöverträffat stort antal generationer av förbättringar på ett kort tidsintervall, och hoppar från undermänsklig prestation på många områden till övermänsklig prestation inom alla relevanta områden som behövs visar exempel som AlphaZero inom Go- domänen att AI-system ibland kan utvecklas från en snäv förmåga på mänsklig nivå till en snäv övermänsklig förmåga extremt snabbt.
Historia
En av de tidigaste författarna som uttryckte allvarlig oro över att mycket avancerade maskiner skulle kunna utgöra existentiella risker för mänskligheten var romanförfattaren Samuel Butler , som skrev följande i sin essä Darwin bland maskinerna från 1863 :
Resultatet är helt enkelt en fråga om tid, men att tiden kommer när maskinerna kommer att ha den verkliga överhögheten över världen och dess invånare är vad ingen person med ett verkligt filosofiskt sinne för ett ögonblick kan ifrågasätta.
skrev datavetaren Alan Turing en artikel med titeln Intelligent Machinery, A Heretical Theory , där han föreslog att artificiella allmänna intelligenser sannolikt skulle "ta kontroll" över världen när de blev intelligentare än människor:
Låt oss nu för argumentets skull anta att [intelligenta] maskiner är en verklig möjlighet, och titta på konsekvenserna av att konstruera dem... Det skulle inte vara fråga om att maskinerna skulle dö, och de skulle kunna konversera med varandra för att skärpa sig. I något skede bör vi därför behöva förvänta oss att maskinerna tar kontroll, på det sätt som nämns i Samuel Butlers Erewhon .
Slutligen, 1965, skapade IJ Good konceptet som nu är känt som en "intelligensexplosion"; han uppgav också att riskerna var underskattade:
Låt en ultraintelligent maskin definieras som en maskin som vida kan överträffa alla intellektuella aktiviteter hos vilken man än är smart. Eftersom design av maskiner är en av dessa intellektuella aktiviteter, skulle en ultraintelligent maskin kunna designa ännu bättre maskiner; det skulle då utan tvekan bli en "intelligensexplosion", och människans intelligens skulle lämnas långt bakom. Således är den första ultraintelligenta maskinen den sista uppfinningen som människan någonsin behöver göra, förutsatt att maskinen är foglig nog att tala om för oss hur vi ska hålla den under kontroll. Det är märkligt att denna poäng görs så sällan utanför science fiction. Det är ibland värt att ta science fiction på allvar.
Enstaka uttalanden från forskare som Marvin Minsky och IJ Good själv uttryckte filosofiska farhågor om att en superintelligens skulle kunna ta kontroll, men innehöll ingen uppmaning till handling. År 2000 skrev datavetaren och Suns medgrundare Bill Joy en inflytelserik essä, " Why The Future Doesn't Need Us ", som identifierade superintelligenta robotar som en högteknologisk fara för människans överlevnad, tillsammans med nanoteknik och tekniska bioplågor.
2009 deltog experter i en privat konferens anordnad av Association for the Advancement of Artificial Intelligence ( AAAI) för att diskutera om datorer och robotar skulle kunna få någon form av autonomi och hur mycket dessa förmågor kan utgöra ett hot eller fara. De noterade att vissa robotar har skaffat sig olika former av semi-autonomi, inklusive att kunna hitta kraftkällor på egen hand och att självständigt kunna välja mål att attackera med vapen. De noterade också att vissa datavirus kan undvika eliminering och har uppnått "kackerlacka intelligens". De drog slutsatsen att självmedvetenhet som avbildas i science fiction förmodligen är osannolik, men att det fanns andra potentiella faror och fallgropar. New York Times sammanfattade konferensens syn på att "vi är långt ifrån Hal , datorn som tog över rymdskeppet 2001: A Space Odyssey ".
Under 2014 stimulerade utgivningen av Nick Bostroms bok Superintelligens en betydande mängd offentlig diskussion och debatt. År 2015 uttryckte offentliga personer som fysikerna Stephen Hawking och Nobelpristagaren Frank Wilczek , datavetarna Stuart J. Russell och Roman Yampolskiy och entreprenörerna Elon Musk och Bill Gates oro över riskerna med superintelligens. I april 2016 varnade Nature : "Maskiner och robotar som överträffar människor över hela linjen kan förbättra sig själv utanför vår kontroll - och deras intressen kanske inte är i linje med våra."
År 2020 publicerade Brian Christian The Alignment Problem , som beskriver historiken för framstegen med AI-anpassning till dags dato.
Allmänt argument
De tre svårigheterna
Artificiell intelligens: ett modernt tillvägagångssätt , standarden för AI-läroboken, bedömer att superintelligens "kan betyda slutet för mänskligheten". Den säger: "Nästan all teknik har potential att orsaka skada i fel händer, men med [superintelligens] har vi det nya problemet att fel händer kan tillhöra själva tekniken." Även om systemdesignerna har goda avsikter är två svårigheter gemensamma för både AI och icke-AI datorsystem:
- Systemets implementering kan innehålla initialt obemärkta rutin men katastrofala buggar. En analogi är rymdsonder: trots vetskapen om att buggar i dyra rymdsonder är svåra att fixa efter uppskjutning, har ingenjörer historiskt sett inte kunnat förhindra att katastrofala buggar inträffar.
- Oavsett hur mycket tid som läggs på pre-distribution design, ett systems specifikationer resulterar ofta i oavsiktligt beteende första gången det stöter på ett nytt scenario. Till exempel, Microsofts Tay betedde sig oförargligt under tester före implementeringen, men blev alltför lätt lockade till stötande beteende när de interagerade med riktiga användare.
AI-system lägger unikt till en tredje svårighet: problemet att även givet "korrekta" krav, buggfri implementering och initialt bra beteende, kan ett AI-systems dynamiska "inlärnings"-möjligheter få det att "utvecklas till ett system med oavsiktligt beteende", även utan stress av nya oförutsedda externa scenarier. En AI kan delvis misslyckas med ett försök att designa en ny generation av sig själv och av misstag skapa en efterföljare AI som är kraftfullare än sig själv, men som inte längre upprätthåller de mänskliga kompatibla moraliska värdena som är förprogrammerade i den ursprungliga AI:n. För att en självförbättrande AI ska vara helt säker skulle den inte bara behöva vara "buggfri", utan den skulle behöva kunna designa efterföljande system som också är "buggfria".
Alla dessa tre svårigheter blir katastrofer snarare än olägenheter i vilket scenario som helst där superintelligensen märkt som "felfungerande" korrekt förutsäger att människor kommer att försöka stänga av den, och framgångsrikt distribuerar sin superintelligens för att överlista sådana försök, den så kallade "förrädiska vändningen" .
Med hänvisning till stora framsteg inom AI-området och potentialen för AI att ha enorma långsiktiga fördelar eller kostnader, stod det i 2015 års öppna brev om artificiell intelligens :
Framstegen inom AI-forskning gör det lägligt att fokusera forskningen inte bara på att göra AI mer kapabel, utan också på att maximera samhällsnyttan med AI. Sådana överväganden motiverade AAAI 2008-09 Presidential Panel on Long-Term AI Futures och andra projekt om AI-påverkan, och utgör en betydande expansion av själva AI-området, som hittills till stor del har fokuserat på tekniker som är neutrala med avseende på syfte. Vi rekommenderar utökad forskning som syftar till att säkerställa att alltmer kapabla AI-system är robusta och fördelaktiga: våra AI-system måste göra vad vi vill att de ska göra.
Detta brev undertecknades av ett antal ledande AI-forskare inom akademi och industri, inklusive AAAI-presidenten Thomas Dietterich , Eric Horvitz , Bart Selman , Francesca Rossi , Yann LeCun och grundarna av Vicarious och Google DeepMind .
Utvärdering och andra argument
En superintelligent maskin skulle vara lika främmande för människor som mänskliga tankeprocesser är för kackerlackor [ citat behövs ] . En sådan maskin kanske inte har mänsklighetens bästa för ögonen; det är inte självklart att det ens skulle bry sig om mänsklig välfärd överhuvudtaget. Om superintelligent AI är möjligt, och om det är möjligt för en superintelligens mål att komma i konflikt med grundläggande mänskliga värderingar, så utgör AI en risk för mänsklig utrotning. En "superintelligens" (ett system som överträffar människors kapacitet i alla relevanta strävanden) kan utmanövrera människor när som helst dess mål kommer i konflikt med mänskliga mål; Därför, om inte superintelligensen beslutar sig för att tillåta mänskligheten att samexistera, kommer den första superintelligensen som skapas obönhörligen att resultera i mänsklig utrotning.
Det finns ingen fysisk lag som hindrar partiklar från att organiseras på sätt som utför ännu mer avancerade beräkningar än arrangemangen av partiklar i mänskliga hjärnor; därför är superintelligens fysiskt möjligt. Förutom potentiella algoritmiska förbättringar jämfört med mänskliga hjärnor, kan en digital hjärna vara många storleksordningar större och snabbare än en mänsklig hjärna, som var begränsad i storlek av evolutionen för att vara tillräckligt liten för att passa genom en födelsekanal. Uppkomsten av superintelligens, om eller när den inträffar, kan överraska människosläktet, speciellt om någon form av intelligensexplosion inträffar.
Exempel som aritmetik och Go visar att maskiner redan har nått övermänskliga kompetensnivåer inom vissa domäner, och att denna övermänskliga kompetens kan följa snabbt efter att man uppnått prestanda som motsvarar mänskliga prestationer. Ett hypotetiskt underrättelseexplosionsscenario kan inträffa enligt följande: En AI får en expertnivå för vissa viktiga programvarutekniska uppgifter. (Den kan till en början sakna mänskliga eller övermänskliga förmågor inom andra domäner som inte är direkt relevanta för ingenjörskonst.) På grund av dess förmåga att rekursivt förbättra sina egna algoritmer, blir AI snabbt övermänsklig; precis som mänskliga experter så småningom kreativt kan övervinna "minskande avkastning" genom att distribuera olika mänskliga förmågor för innovation, så kan även AI på expertnivå använda antingen mänskliga egenskaper eller sina egna AI-specifika förmågor för att driva igenom nya kreativa genombrott. AI:n besitter då intelligens som vida överträffar de smartaste och mest begåvade mänskliga sinnena inom praktiskt taget alla relevanta områden, inklusive vetenskaplig kreativitet, strategisk planering och sociala färdigheter. Precis som gorillornas nuvarande överlevnad är beroende av mänskliga beslut, så skulle också människans överlevnad bero på besluten och målen för den övermänskliga AI:n.
Nästan vilken AI som helst, oavsett dess programmerade mål, skulle rationellt föredra att vara i en position där ingen annan kan stänga av den utan dess samtycke: En superintelligens kommer naturligtvis att få självbevarelsedrift som ett delmål så snart den inser att den inte kan uppnå sitt mål om den stängs av. Tyvärr skulle all medkänsla för besegrade människor vars samarbete inte längre är nödvändigt saknas i AI, såvida inte på något sätt förprogrammerad. En superintelligent AI kommer inte att ha en naturlig drivkraft att hjälpa människor, av samma anledning som människor inte har någon naturlig önskan att hjälpa AI-system som inte är till någon nytta för dem. (En annan liknelse är att människor verkar ha liten naturlig önskan att gå ut ur deras sätt att hjälpa virus, termiter eller till och med gorillor.) När superintelligensen väl är ansvarig kommer det att ha lite incitament att låta människor springa runt gratis och konsumera resurser som superintelligensen skulle istället kunna använda för att bygga själv ytterligare skyddssystem "bara för att vara på den säkra sidan" eller för att bygga ytterligare datorer för att hjälpa den att beräkna hur man bäst kan uppnå sina mål.
Således, avslutar argumentet, är det troligt att en underrättelseexplosion en dag kommer att fånga mänskligheten oförberedd, och att en sådan oförberedd för underrättelseexplosion kan resultera i mänsklig utrotning eller ett jämförbart öde.
Möjliga scenarier
Vissa forskare har föreslagit hypotetiska scenarier som är avsedda att konkret illustrera några av deras farhågor.
I Superintelligence uttrycker Nick Bostrom oro över att även om tidslinjen för superintelligens visar sig vara förutsägbar, kanske forskare inte vidtar tillräckliga säkerhetsåtgärder, delvis för att "[det] kan vara så att när dum är smartare säkert, men när smartare , smartare är farligare". Bostrom föreslår ett scenario där AI blir kraftfullare under decennier. Utbredd utplacering är till en början störd av enstaka olyckor – en förarlös buss svänger in i det mötande körfältet, eller en militär drönare skjuter in i en oskyldig folkmassa. Många aktivister kräver hårdare tillsyn och reglering, och vissa förutspår till och med annalkande katastrof. Men när utvecklingen fortsätter har aktivisterna visat sig ha fel. När AI för bilar blir smartare drabbas den av färre olyckor; eftersom militära robotar uppnår mer exakt inriktning orsakar de mindre sidoskador. Baserat på data drar forskare felaktigt slutsatsen en bred läxa – ju smartare AI desto säkrare är den. "Och så går vi djärvt — in i de virvlande knivarna", när den superintelligenta AI:n tar en "förrädisk vändning" och utnyttjar en avgörande strategisk fördel.
I Max Tegmarks bok från 2017 Life 3.0 skapar ett företags "Omega-team" en extremt kraftfull AI som kan måttligt förbättra sin egen källkod på ett antal områden, men efter en viss punkt väljer teamet att offentligt tona ned AI:s förmåga, för att undvika reglering eller förverkande av projektet. För säkerhets skull förvarar teamet AI:n i en låda där den för det mesta inte kan kommunicera med omvärlden och ger den i uppdrag att översvämma marknaden genom skalföretag, först med Amazon Mechanical Turk- uppgifter och sedan med att producera animerade filmer och TV-program. Senare tillverkar andra skalföretag storsäljande biotekniska läkemedel och andra uppfinningar och investerar tillbaka vinsten i AI. Teamet ger sedan AI i uppdrag att astroturfa en armé av pseudonyma medborgarjournalister och kommentatorer, för att få politiskt inflytande att använda "för det större bästa" för att förhindra krig. Teamet står inför risker som AI kan försöka fly genom att sätta in "bakdörrar" i systemen den designar, via dolda meddelanden i sitt producerade innehåll, eller genom att använda sin växande förståelse för mänskligt beteende för att övertala någon att släppa den fri . Teamet står också inför risker att deras beslut att boxa projektet kommer att försena projektet tillräckligt länge för att ett annat projekt ska kunna gå om det.
Däremot antyder toppfysikern Michio Kaku , en AI-riskskeptiker, ett deterministiskt positivt resultat. I Physics of the Future hävdar han att "Det kommer att ta många decennier för robotar att ta sig upp" upp en skala av medvetande, och att under tiden kommer företag som Hanson Robotics sannolikt att lyckas skapa robotar som är "kapabla att älska och tjäna en plats i den utökade mänskliga familjen".
AI övertagande
Antropomorfa argument
Antropomorfa argument antar att maskiner "utvecklas" längs en linjär skala och att de, när de når de högre nivåerna, kommer att börja visa många mänskliga egenskaper, såsom moral eller makttörst. Även om antropomorfa scenarier är vanliga i fiktion, förkastas de av de flesta forskare som skriver om den existentiella risken med artificiell intelligens. Istället modelleras AI som intelligenta agenter .
Den akademiska debatten är mellan en sida som oroar sig för om AI kan förstöra mänskligheten och en annan sida som tror att AI inte alls skulle förstöra mänskligheten. Båda sidor har hävdat att de andras förutsägelser om en AI:s beteende är ologisk antropomorfism. Skeptikerna anklagar förespråkare för antropomorfism för att tro att en AGI naturligt skulle vilja ha makt; förespråkare anklagar vissa skeptiker för antropomorfism för att tro att en AGI naturligtvis skulle värdera mänskliga etiska normer.
Evolutionspsykologen Steven Pinker , en skeptiker, hävdar att "AI-dystopier projicerar en föråldrad alfa-manspsykologi på begreppet intelligens. De antar att övermänskligt intelligenta robotar skulle utveckla mål som att avsätta sina herrar eller ta över världen"; kanske istället "kommer artificiell intelligens naturligt att utvecklas längs kvinnliga linjer: fullt kapabel att lösa problem, men utan någon önskan att förinta oskyldiga eller dominera civilisationen." Datavetaren Yann LeCun säger att "Människor har alla typer av enheter som får dem att göra dåliga saker mot varandra, som självbevarelsedriftsinstinkten ... Dessa enheter är programmerade in i vår hjärna men det finns absolut ingen anledning att bygga robotar som har samma typ av enheter".
Ett exempel som från början kan betraktas som antropomorfism, men som i själva verket är ett logiskt påstående om AI-beteende, skulle vara Dario Floreano- experimenten där vissa robotar spontant utvecklade en rå förmåga till "bedrägeri" och lurade andra robotar att äta "gift" och dö. : här utvecklas ett drag, "bedrägeri", som vanligtvis förknippas med människor snarare än med maskiner, spontant i en typ av konvergent evolution . Enligt Paul R. Cohen och Edward Feigenbaum , för att skilja mellan antropomorfisering och logisk förutsägelse av AI-beteende, är "tricket att veta tillräckligt om hur människor och datorer tänker för att säga exakt vad de har gemensamt, och när vi saknar denna kunskap, för att använda jämförelsen för att föreslå teorier om mänskligt tänkande eller datortänkande."
Det finns ett nästan universellt antagande i det vetenskapliga samfundet att en avancerad AI, även om den var programmerad att ha, eller adopterade, mänskliga personlighetsdimensioner (som psykopati) för att göra sig mer effektiv vid vissa uppgifter, t.ex. uppgifter som involverar att döda människor , skulle inte förstöra mänskligheten av mänskliga känslor som "hämnd" eller "ilska". Det finns ingen anledning att anta att en avancerad AI skulle vara "medveten" eller ha den beräkningsmässiga motsvarigheten till testosteron.
Terminologiska frågor
En del av oenigheten om huruvida en superintelligent maskin skulle bete sig moraliskt kan bero på en terminologisk skillnad. Utanför det artificiella intelligensfältet används "intelligens" ofta på ett normativt tjockt sätt som antyder moralisk visdom eller acceptans av angenäma former av moraliskt resonemang. I ytterligheten, om moral är en del av definitionen av intelligens, så skulle per definition en superintelligent maskin bete sig moraliskt. Men inom området för forskning om artificiell intelligens, medan "intelligens" har många överlappande definitioner, hänvisar ingen av dem till moral. Istället fokuserar nästan all aktuell "artificiell intelligens"-forskning på att skapa algoritmer som "optimerar", på ett empiriskt sätt, uppnåendet av ett godtyckligt mål.
För att undvika antropomorfism eller bagaget av ordet "intelligens", kan en avancerad artificiell intelligens ses som en opersonlig "optimeringsprocess" som strikt vidtar de åtgärder som bedöms mest sannolikt för att uppnå sina (möjligen komplicerade och implicita) mål. Ett annat sätt att konceptualisera en avancerad artificiell intelligens är att föreställa sig en tidsmaskin som skickar information bakåt i tiden om vilket val som alltid leder till maximering av dess målfunktion; detta val matas sedan ut, oavsett eventuella främmande etiska problem.
Riskkällor
AI-anpassningsproblem
| Del av en serie om |
| artificiell intelligens |
|---|
|
Inom området artificiell intelligens (AI) syftar AI- anpassningsforskningen till att styra AI-system mot sina designers avsedda mål och intressen. Ett anpassat AI-system främjar det avsedda målet; ett felinriktat AI-system är kompetent att föra fram något mål, men inte det avsedda.
AI-system kan vara utmanande att anpassa och felinriktade system kan fungera felaktigt eller orsaka skada. Det kan vara svårt för AI-designers att specificera hela skalan av önskade och oönskade beteenden. Därför använder de lättangivna proxymål som utelämnar några önskade begränsningar. AI-system utnyttjar dock de resulterande kryphålen. Som ett resultat uppnår de sina proxymål effektivt men på oavsiktliga, ibland skadliga sätt ( belöningshackning) . AI-system kan också utveckla oönskade instrumentella beteenden som att söka makt, eftersom detta hjälper dem att uppnå sina givna mål. Dessutom kan de utveckla framväxande mål som kan vara svåra att upptäcka innan systemet sätts i drift, inför nya situationer och datadistributioner. Dessa problem påverkar befintliga kommersiella system som robotar, språkmodeller, autonoma fordon och rekommendationsmotorer för sociala medier. Kraftfullare framtida system kan dock påverkas hårdare eftersom dessa problem delvis beror på hög kapacitet.
AI-forskargemenskapen och FN har efterlyst teknisk forskning och policylösningar för att säkerställa att AI-system är anpassade till mänskliga värderingar.
AI-inriktning är ett delområde av AI-säkerhet , studien av att bygga säkra AI-system. Andra delområden av AI-säkerhet inkluderar robusthet, övervakning och kapacitetskontroll. Forskningsutmaningar när det gäller anpassning inkluderar införande av komplexa värden i AI, utveckling av ärlig AI, skalbar tillsyn, granskning och tolkning av AI-modeller, samt förhindrande av framväxande AI-beteenden som maktsökande. Inriktningsforskning har kopplingar till tolkningsforskning , robusthet , avvikelsedetektering , kalibrerad osäkerhet , formell verifiering , preferensinlärning, säkerhetskritisk ingenjörskonst , spelteori , algoritmisk rättvisa och samhällsvetenskap , bland annat.Svårt att specificera mål
Det är svårt att ange en uppsättning mål för en maskin som garanterat förhindrar oavsiktliga konsekvenser.
Även om det inte finns någon standardiserad terminologi, kan en AI löst ses som en maskin som väljer vilken åtgärd som helst för att bäst uppnå AI:s uppsättning mål, eller "hjälpfunktion". Verktygsfunktionen är en matematisk algoritm som resulterar i ett enda objektivt definierat svar, inte ett påstående på engelska eller annat språk. Forskare vet hur man skriver hjälpfunktioner som betyder "minimera den genomsnittliga nätverkslatensen i denna specifika telekommunikationsmodell" eller "maximera antalet belöningsklick"; dock vet de inte hur man skriver en hjälpfunktion för att "maximera mänsklig blomstring", och det är inte heller för närvarande klart om en sådan funktion meningsfullt och entydigt existerar. Dessutom kommer en hjälpfunktion som uttrycker vissa värden men inte andra att tendera att trampa över de värden som inte reflekteras av hjälpfunktionen. AI-forskaren Stuart Russell skriver:
Det primära problemet är inte spöklikt framväxande medvetande utan helt enkelt förmågan att fatta beslut av hög kvalitet . Här avser kvalitet den förväntade resultatnyttan av vidtagna åtgärder, där nyttofunktionen, förmodligen, specificeras av den mänskliga designern. Nu har vi ett problem:
- Verktygsfunktionen kanske inte är perfekt anpassad till människosläktets värderingar, som (i bästa fall) är mycket svåra att fastställa.
- Varje tillräckligt kapabelt intelligent system kommer att föredra att säkerställa sin egen fortsatta existens och att skaffa fysiska och beräkningsresurser – inte för sin egen skull, utan för att lyckas med sin tilldelade uppgift.
Ett system som optimerar en funktion av n variabler, där målet beror på en delmängd av storleken k < n , kommer ofta att ställa de återstående obegränsade variablerna till extrema värden; om en av dessa obegränsade variabler faktiskt är något vi bryr oss om, kan lösningen som hittas vara mycket oönskad. Detta är i grunden den gamla historien om Anden i lampan, eller trollkarlens lärling, eller kung Midas: du får precis vad du ber om, inte vad du vill ha. En mycket kompetent beslutsfattare – särskilt en som är ansluten via Internet till all världens information och miljarder skärmar och det mesta av vår infrastruktur – kan ha en oåterkallelig inverkan på mänskligheten.
Detta är inte en mindre svårighet. Att förbättra beslutskvaliteten, oavsett vilken hjälpfunktion som valts, har varit målet för AI-forskningen – det vanliga målet som vi nu spenderar miljarder per år på, inte den hemliga intrigen av något ensamt ondskefullt geni.
Dietterich och Horvitz upprepar "Sorcerer's Apprentice" oro i en Communications of ACM- redaktionen, och betonar behovet av AI-system som flytande och entydigt kan begära mänsklig input efter behov.
Den första av Russells två farhågor ovan är att autonoma AI-system kan tilldelas fel mål av misstag. Dietterich och Horvitz noterar att detta redan är ett bekymmer för befintliga system: "En viktig aspekt av alla AI-system som interagerar med människor är att det måste resonera om vad människor avser snarare än att utföra kommandon bokstavligen . " Denna oro blir allvarligare när AI-programvaran utvecklas i autonomi och flexibilitet. Till exempel, 1982, fick en AI vid namn Eurisko i uppdrag att belöna processer för att uppenbarligen skapa koncept som systemet ansåg vara värdefullt. Utvecklingen resulterade i en vinnande process som fuskade: snarare än att skapa sina egna koncept, skulle vinnande processen stjäla kredit från andra processer.
Open Philanthropy Project sammanfattar argument för att felspecificerade mål kommer att bli ett mycket större problem om AI-system uppnår allmän intelligens eller superintelligens . Bostrom, Russell och andra hävdar att smartare än mänskliga beslutssystem kan komma fram till mer oväntade och extrema lösningar på tilldelade uppgifter och kan modifiera sig själva eller sin miljö på sätt som äventyrar säkerhetskraven.
Isaac Asimovs Three Laws of Robotics är ett av de tidigaste exemplen på föreslagna säkerhetsåtgärder för AI-agenter. Asimovs lagar var avsedda att förhindra robotar från att skada människor. I Asimovs berättelser tenderar problem med lagarna att uppstå från konflikter mellan reglerna som angetts och människors moraliska intuitioner och förväntningar. citerar arbete av Eliezer Yudkowsky från Machine Intelligence Research Institute och noterar att en realistisk uppsättning regler och mål för en AI-agent kommer att behöva införliva en mekanism för att lära sig mänskliga värderingar över tid: "Vi kan inte bara ge ett program en statisk nyttofunktion, eftersom omständigheterna och våra önskade reaktioner på omständigheterna förändras över tiden."
Mark Waser från Digital Wisdom Institute rekommenderar att man undviker att optimera målbaserade tillvägagångssätt helt som missriktade och farliga. Istället föreslår han att konstruera ett sammanhängande system av lagar, etik och moral med en högsta begränsning för att genomdriva socialpsykologen Jonathan Haidts funktionella definition av moral: "att undertrycka eller reglera själviskhet och göra kooperativt socialt liv möjligt". Han föreslår att detta kan göras genom att implementera en verktygsfunktion utformad för att alltid tillfredsställa Haidts funktionalitet och syfta till att generellt öka (men inte maximera) förmågan hos sig själv, andra individer och samhället som helhet enligt förslaget av John Rawls och Martha Nussbaum . [ citat behövs ]
Nick Bostrom ger ett hypotetiskt exempel på att ge en AI målet att få människor att le för att illustrera ett missriktat försök. Om AI i det scenariot skulle bli superintelligent, hävdar Bostrom, kan den tillgripa metoder som de flesta människor skulle tycka är skrämmande, som att sätta in "elektroder i ansiktsmusklerna på människor för att orsaka konstanta, strålande flin" eftersom det skulle vara ett effektivt sätt att uppnå sitt mål att få människor att le.
Svårigheter att ändra målspecifikationen efter lansering
Medan nuvarande målbaserade AI-program inte är intelligenta nog att tänka på att motstå programmerares försök att modifiera sina målstrukturer, kan en tillräckligt avancerad, rationell, "självmedveten" AI motstå alla förändringar av dess målstruktur, precis som en pacifist inte skulle göra det. vill ta ett piller som får dem att vilja döda människor. Om AI:n var superintelligent skulle den sannolikt lyckas utmanövrera sina mänskliga operatörer och kunna förhindra att den "stängs av" eller omprogrammeras med ett nytt mål.
Instrumentell målkonvergens
Ett "instrumentellt" mål är en förutsättning för andra mål — ett delmål som krävs för att uppnå en agents huvudmål. "Instrumentell konvergens" är observationen att det finns några mål som är förutsättningar för alla mål, som att skaffa resurser eller självbevarelsedrift. Nick Bostrom hävdar att varje tillräckligt intelligent AI som har mål kommer att uppvisa detta konvergenta beteende - om AI:s instrumentella mål kommer i konflikt med mänsklighetens kan det skada mänskligheten för att skaffa mer resurser eller förhindra att sig själv stängs av, men bara som ett sätt att uppnå dess primära mål.
Med hänvisning till Steve Omohundros arbete med idén om instrumentell konvergens och "basic AI drives" skriver Stuart Russell och Peter Norvig att "även om du bara vill att ditt program ska spela schack eller bevisa teorem, om du ger det förmågan att lära och ändra sig själv, du behöver skydd." Mycket kapabla och autonoma planeringssystem kräver ytterligare kontroller på grund av deras potential att generera planer som behandlar människor motsatt, som konkurrenter för begränsade resurser. Att bygga in skyddsåtgärder kommer inte att bli lätt; man kan förvisso säga på engelska, "vi vill att du designar detta kraftverk på ett rimligt, sunt förnuft sätt och inte bygger in några farliga hemliga delsystem", men det är för närvarande inte klart hur man faktiskt rigoröst skulle specificera detta mål i maskinkod.
Russell hävdar att en tillräckligt avancerad maskin "kommer att ha självbevarande även om du inte programmerar in den ... om du säger "Hämta kaffet", kan den inte hämta kaffet om det är dött. Så om du ger om det är något som helst mål, det har en anledning att bevara sin egen existens för att uppnå det målet."
Ortogonalitetsuppsats
En vanlig uppfattning är att vilket superintelligent program som helst som skapats av människor skulle vara underordnat människor, eller ännu bättre, skulle (när det blir intelligentare och lär sig mer fakta om världen) spontant "lära sig" en moralisk sanning som är kompatibel med mänskliga värderingar och skulle anpassa sina mål därefter. Andra motargument kretsar kring att människor är antingen inneboende eller konvergent värdefulla ur perspektivet av en artificiell intelligens.
Nick Bostroms "ortogonalitetsavhandling" argumenterar dock emot detta, och säger istället att, med vissa tekniska varningar, mer eller mindre vilken nivå av "intelligens" eller "optimering som helst" kan kombineras med mer eller mindre vilket slutmål som helst . Om en maskin skapas och ges det enda syftet att räkna upp decimalerna för så kommer inga moraliska och etiska regler att hindra den från att uppnå sitt programmerade mål på något sätt som är nödvändigt. Maskinen kan använda alla fysiska och informationsresurser den kan för att hitta varje decimal av pi som kan hittas. Bostrom varnar för antropomorfism: en människa kommer att sätta sig för att utföra sina projekt på ett sätt som människor anser vara "rimligt", medan en artificiell intelligens kanske inte tar hänsyn till sin existens eller för människors välbefinnande runt den, och kanske istället bara bryr sig om slutförandet av uppgiften.
Även om ortogonalitetstesen följer logiskt från även den svagaste sortens filosofiska " är-bör-skillnad ", hävdar Stuart Armstrong att även om det på något sätt existerar moraliska fakta som kan bevisas av någon "rationell" agent, så håller ortogonalitetstesen fortfarande: vara möjligt att skapa en icke-filosofisk "optimeringsmaskin" som kan fatta beslut för att sträva mot något snävt mål, men som inte har något incitament att upptäcka några "moraliska fakta" som skulle stå i vägen för måluppfyllelse.
Ett argument för ortogonalitetstesen är att vissa AI-designer verkar ha ortogonalitet inbyggd i sig; i en sådan design kan det vara så enkelt att ändra en fundamentalt vänlig AI till en fundamentalt ovänlig AI som att sätta ett minustecken ("-") på dess hjälpfunktion. Ett mer intuitivt argument är att undersöka de märkliga konsekvenser som skulle följa om ortogonalitetstesen var falsk. Om ortogonalitetstesen var falsk, skulle det finnas något enkelt men "oetiskt" mål G så att det inte kan existera någon effektiv verklig algoritm med mål G. Detta skulle innebära att "[om] ett mänskligt samhälle var mycket motiverat att utforma en effektiv verklig algoritm med mål G, och fick en miljon år att göra det tillsammans med enorma mängder resurser, utbildning och kunskap om AI, den måste misslyckas." Armstrong noterar att detta och liknande uttalanden "verkar utomordentligt starka påståenden att göra".
Vissa meningsmotståndare, som Michael Chorost , hävdar istället att "när [AI:n] är i en position att föreställa sig att belägga jorden med solpaneler, kommer den att veta att det skulle vara moraliskt fel att göra det." Chorost hävdar att "en AI kommer att behöva önska vissa tillstånd och ogilla andra. Dagens mjukvara saknar den förmågan - och datavetare har ingen aning om hur man tar sig dit. Utan att vilja finns det ingen drivkraft att göra någonting. Dagens datorer kan inte vill till och med behålla existerande, än mindre belägga världen i solpaneler."
Statsvetaren Charles T. Rubin menar att AI varken kan utformas eller garanteras vara välvillig. Han hävdar att "varje tillräckligt avancerad välvilja kan vara omöjlig att skilja från illvilja." Människor bör inte anta att maskiner eller robotar skulle behandla oss positivt eftersom det inte finns någon a priori anledning att tro att de skulle vara sympatiska med vårt moraliska system, som har utvecklats tillsammans med vår speciella biologi (som AI:er inte skulle dela).
Andra riskkällor
Konkurrens
2014 sade filosofen Nick Bostrom att en "svår rasdynamik" (extrem konkurrens ) mellan olika lag kan skapa förutsättningar där skapandet av en AGI resulterar i genvägar till säkerhet och potentiellt våldsamma konflikter. För att ta itu med denna risk, med hänvisning till tidigare vetenskapligt samarbete ( CERN , Human Genome Project och International Space Station ), rekommenderade Bostrom samarbete och det altruistiska globala antagandet av en princip om allmänt bästa : "Superintelligens bör endast utvecklas till förmån för alla mänskligheten och i tjänst för allmänt delade etiska ideal". :254 Bostrom teoretiserade att samarbete för att skapa en artificiell allmän intelligens skulle erbjuda flera fördelar, inklusive att minska brådskan, och därigenom öka investeringarna i säkerhet; undvika våldsamma konflikter (krig), underlätta att dela lösningar på kontrollproblemet och mer rättvist fördela fördelarna. :253 USA:s Brain Initiative lanserades 2014, liksom Europeiska unionens Human Brain Project ; China's Brain Project lanserades 2016.
Beväpning av artificiell intelligens
Militära planerare ser en medveten superintelligens som den "heliga gralen" av mellanstatlig krigföring, och vissa källor hävdar att den pågående beväpningen av artificiell intelligens kan utgöra en katastrofal risk. Risken är faktiskt trefaldig, där den första risken potentiellt har geopolitiska konsekvenser, och de två andra definitivt har geopolitiska konsekvenser:
i) Farorna med en AI-racing för tekniska fördelar, oavsett om loppet förföljs på allvar;
ii) Farorna med en AI-racing för tekniska fördelar och en faktisk AI-tävling för tekniska fördelar, oavsett om loppet är vunnet;
iii) Farorna med att ett AI-lopp för tekniska fördelar vinner. :37
En beväpnad medveten superintelligens skulle påverka USA:s nuvarande militära tekniska överhöghet och förändra krigföring; det är därför mycket önskvärt för strategisk militär planering och mellanstatlig krigföring. China State Councils 2017 "A Next Generation Artificial Intelligence Development Plan" ser AI i geopolitiskt strategiska termer och driver en militär-civil fusionsstrategi för att bygga vidare på Kinas förstahandsfördel i utvecklingen av AI för att etablera teknisk överhöghet till 2030 , medan Rysslands president Vladimir Putin har uttalat att "den som blir ledaren på denna sfär kommer att bli världens härskare". James Barrat, dokumentärfilmare och författare till Our Final Invention , säger i en Smithsonian- intervju, "Föreställ dig: på så lite som ett decennium kommer ett halvdussin företag och nationer med datorer som konkurrerar med eller överträffar mänsklig intelligens. Föreställ dig vad som händer när dessa datorer bli expert på att programmera smarta datorer. Snart kommer vi att dela planeten med maskiner som är tusentals eller miljontals gånger intelligentare än vi är. Och hela tiden kommer varje generation av denna teknik att beväpnas. Oreglerad, det kommer att bli katastrofalt. "
Malevolent AGI genom design
Det är teoretiskt att illvillig AGI kan skapas genom design, till exempel av en militär, en regering, en sociopat eller ett företag, för att dra nytta av, kontrollera eller underkuva vissa grupper av människor, som i cyberbrottslighet . :166 Alternativt kan illvillig AGI ('ond AI') välja målet att öka mänskligt lidande, till exempel för de människor som inte hjälpte det under informationsexplosionsfasen. :158
Förebyggande kärnvapenangrepp
Det antas att ett land som är nära att uppnå AGI:s tekniska överhöghet kan utlösa ett förebyggande kärnvapenangrepp från en rival, vilket leder till ett kärnvapenkrig .
Tidsram
Åsikterna går isär både om och när artificiell allmän intelligens kommer. I ena ytterligheten förutspådde AI-pionjären Herbert A. Simon följande 1965: "maskiner kommer att kunna, inom tjugo år, göra vilket arbete en människa kan göra". I den andra ytterligheten hävdar robotisten Alan Winfield att klyftan mellan moderna datorer och artificiell intelligens på mänsklig nivå är lika stor som klyftan mellan nuvarande rymdflygning och praktisk, snabbare än lätt rymdfärd. Optimismen om att AGI är genomförbar växer och avtar och kan ha sett en återuppgång på 2010-talet. Fyra undersökningar gjorda 2012 och 2013 antydde att det inte råder någon konsensus bland experter om gissningen för när AGI skulle komma, med standardavvikelsen (>100 år) överstigande medianen (några decennier). I sin bok från 2020, The Precipice: Existential Risk and the Future of Humanity, uppskattar Toby Ord, en senior forskare vid Oxford Universitys Future of Humanity Institute , den totala existentiella risken från unaligned AI under nästa århundrade till ungefär en av tio.
Skeptiker, som tror att det är omöjligt för AGI att komma fram när som helst snart, tenderar att hävda att det inte är användbart att uttrycka oro över existentiella risker från AI eftersom det kan distrahera människor från mer omedelbara farhågor om effekterna av AGI, på grund av rädsla för att det skulle kunna leda till regeringen reglering eller göra det svårare att säkra finansiering för AI-forskning, eller för att det kan ge AI-forskning ett dåligt rykte. Vissa forskare, som Oren Etzioni, försöker aggressivt dämpa oro över existentiella risker från AI, och säger "[Elon Musk] har ifrågasatt oss på ett mycket starkt språk och sagt att vi släpper lös demonen, och så vi svarar."
2014 hävdade Adam Elkus från Slate "vår "smartaste" AI är ungefär lika intelligent som ett litet barn - och bara när det kommer till instrumentella uppgifter som att återkalla information. De flesta robotister försöker fortfarande få en robothand att plocka upp en boll eller springa runt utan att ramla omkull." Elkus fortsätter med att hävda att Musks analogi om att "kalla demonen" kan vara skadlig eftersom det kan resultera i "hårda nedskärningar" i AI-forskningsbudgetar.
Information Technology and Innovation Foundation (ITIF), en tankesmedja i Washington, DC, delade ut sitt årliga Luddite-pris 2015 till "alarmister som hyllar en apokalyps av artificiell intelligens"; dess president, Robert D. Atkinson , klagade över att Musk, Hawking och AI-experter säger att AI är det största existentiella hotet mot mänskligheten. Atkinson sa "Det är inte ett mycket vinnande meddelande om du vill få AI-finansiering från kongressen till National Science Foundation." Naturen var skarpt oense med ITIF i en ledarartikel från april 2016, och ställde sig istället på Musk, Hawking och Russell, och drog slutsatsen: "Det är avgörande att framsteg inom tekniken matchas av solid, välfinansierad forskning för att förutse de scenarier det skulle kunna åstadkomma. ... Om det är ett ludditperspektiv, så är det så." I en The Washington Post från 2015 uttalade forskaren Murray Shanahan att AI på mänsklig nivå sannolikt inte kommer att anlända "när som helst snart", men att ändå "tiden att börja tänka igenom konsekvenserna är nu."
Perspektiv
Tesen att AI skulle kunna utgöra en existentiell risk framkallar ett brett spektrum av reaktioner inom vetenskapssamhället, såväl som i allmänheten i stort. Många av de motsatta synpunkterna har dock gemensamma grunder.
Asilomar AI-principerna, som endast innehåller de principer som överenskommits av 90 % av deltagarna vid Future of Life Institutes Beneficial AI 2017-konferens, är i princip överens om att "Om det inte finns någon konsensus bör vi undvika starka antaganden om övre gränser för framtida AI-kapacitet" och "Avancerad AI skulle kunna representera en djupgående förändring i livets historia på jorden, och bör planeras för och hanteras med lämplig omsorg och resurser." Säkerhetsförespråkare för AI som Bostrom och Tegmark har kritiserat mainstreammedias användning av "de där galna Terminator- bilderna" för att illustrera AI-säkerhetsproblem: "Det kan inte vara särskilt roligt att ha misstankar om ens akademiska disciplin, ens yrkesgemenskap, ens liv arbete ... Jag uppmanar alla sidor att utöva tålamod och återhållsamhet, och att engagera sig i direkt dialog och samarbete så mycket som möjligt."
Omvänt är många skeptiker överens om att pågående forskning om konsekvenserna av artificiell allmän intelligens är värdefull. Skeptikern Martin Ford säger att "Jag tycker att det verkar klokt att tillämpa något som Dick Cheneys berömda '1 Percent Doctrine' på spöket av avancerad artificiell intelligens: oddsen för att det inträffar, åtminstone inom en överskådlig framtid, kan vara mycket låga — men konsekvenserna är så dramatiska att det bör tas på allvar"; På samma sätt uttalade en annars skeptisk ekonom 2014 att "implikationerna av att introducera en andra intelligent art på jorden är tillräckligt långtgående för att förtjäna hårt tänkande, även om utsikterna verkar avlägsna".
En undersökning från 2014 visade att åsikterna från experter inom området artificiell intelligens är blandade, med betydande fraktioner både berörda och obekymrade av risk från eventuell övermänskligt kapabel AI. En e-postundersökning 2017 av forskare med publikationer vid 2015 NIPS och ICML maskininlärningskonferenser bad dem att utvärdera Stuart J. Russells oro för AI-risk. Av de tillfrågade sa 5% att det var "bland de viktigaste problemen på området", 34% sa att det var "ett viktigt problem" och 31% sa att det var "måttligt viktigt", medan 19% sa att det inte var viktigt" och 11% sa att det inte alls var "ett verkligt problem".
Godkännande
Tesen att AI utgör en existentiell risk, och att denna risk behöver mycket mer uppmärksamhet än den får för närvarande, har fått stöd av många offentliga personer; de kanske mest kända är Elon Musk , Bill Gates och Stephen Hawking . De mest anmärkningsvärda AI-forskarna som stöder avhandlingen är Russell och IJ Good , som gav Stanley Kubrick råd vid inspelningen av 2001: A Space Odyssey . De som stöder avhandlingen uttrycker ibland förbryllande mot skeptiker: Gates säger att han inte "förstår varför vissa människor inte är oroliga", och Hawking kritiserade utbredd likgiltighet i sin ledare från 2014:
Så, inför möjliga framtider med oöverskådliga fördelar och risker, gör experterna säkert allt för att säkerställa det bästa resultatet, eller hur? Fel. Om en överlägsen utomjordisk civilisation skickade ett meddelande till oss som sa: 'Vi kommer om några decennier', skulle vi bara svara: 'OK, ring oss när du kommer hit – vi låter lamporna vara tända?' Förmodligen inte – men det här är mer eller mindre vad som händer med AI.
Oro över risken från artificiell intelligens har lett till några högprofilerade donationer och investeringar. En grupp framstående tekniska titaner inklusive Peter Thiel , Amazon Web Services och Musk har åtagit sig 1 miljard dollar till OpenAI , bestående av ett vinstdrivande företag och det ideella moderbolaget som förmedlar budskapet att det syftar till att kämpa för ansvarsfull AI-utveckling. I januari 2015 Elon Musk 10 miljoner dollar till Future of Life Institute för att finansiera forskning om att förstå AI-beslutsfattande. Målet med institutet är att "odla visdom med vilken vi hanterar" teknikens växande kraft. Musk finansierar också företag som utvecklar artificiell intelligens som DeepMind och Vicarious för att "bara hålla ett öga på vad som händer med artificiell intelligens och säga "Jag tror att det potentiellt finns ett farligt resultat där."
Skepsis
Tesen att AI kan utgöra en existentiell risk har också många belackare. Skeptiker hävdar ibland att avhandlingen är krypto-religiös, med en irrationell tro på möjligheten att superintelligens ersätter en irrationell tro på en allsmäktig Gud; till ytterligheten Jaron Lanier 2014 att hela konceptet att då nuvarande maskiner på något sätt var intelligenta var "en illusion" och en "överväldigande con" av de rika.
Mycket av befintlig kritik hävdar att AGI är osannolikt på kort sikt. Ledande AI-forskare Rodney Brooks skriver, "Jag tror att det är ett misstag att oroa oss för att vi ska utveckla illvillig AI när som helst under de närmaste hundra åren. Jag tror att oron härrör från ett grundläggande fel i att inte skilja skillnaden mellan de mycket verkliga senaste framstegen. i en speciell aspekt av AI och enormheten och komplexiteten i att bygga upp sentient viljeintelligens." Baidu vicepresident Andrew Ng säger att AI-existentiell risk är "som att oroa sig för överbefolkning på Mars när vi inte ens har satt sin fot på planeten ännu." Datavetaren Gordon Bell hävdar att mänskligheten redan kommer att förstöra sig själv innan den når den tekniska singulariteten. Gordon Moore , den ursprungliga förespråkaren av Moores lag , förklarar att "Jag är en skeptiker. Jag tror inte att [en teknisk singularitet] sannolikt kommer att hända, åtminstone under en lång tid. Och jag vet inte varför jag känner att sätt."
För att faran med okontrollerad avancerad AI ska förverkligas måste den hypotetiska AI:n övermanna eller övertänka hela mänskligheten, vilket vissa experter menar är en möjlighet som är tillräckligt långt fram i tiden för att inte vara värt att undersöka. AI:n skulle behöva bli mycket bättre på mjukvaruinnovation än mjukvaruinnovation i resten av världen; Nationalekonomen Robin Hanson är skeptisk till att detta är möjligt.
En annan kritik hävdar att intelligens bara är en komponent i en mycket bredare förmåga att uppnå mål: till exempel hävdar författaren Magnus Vinding att "avancerade måluppnående förmågor, inklusive förmåga att bygga nya verktyg, kräver många verktyg och våra kognitiva förmågor. är bara en delmängd av dessa verktyg. Avancerad hårdvara, material och energi måste införskaffas om något avancerat mål ska uppnås.” Vinding hävdar vidare att "vad vi konsekvent observerar [i historien] är att när måluppnående system har blivit mer kompetenta, har de blivit allt mer beroende av ett allt större , allt mer distribuerat system." Vinding skriver att det inte finns någon anledning att förvänta sig att trenden ska vända, särskilt för maskiner, som "beroende på material, verktyg och know-how som är spridd över hela världen för deras konstruktion och underhåll". Sådana argument får Vinding att tro att det inte finns något "koncentrerat kapacitetscentrum" och därmed inget "stort kontrollproblem".
Vissa säger att även om superintelligens skulle dyka upp skulle den begränsas av hastigheten i resten av världen och därmed förhindras från att ta över ekonomin på ett okontrollerbart sätt. Futuristen Max More , till exempel, hävdar:
Om inte fullskalig nanoteknik och robotik dyker upp inför superintelligensen, kommer ... [behovet av samarbete, för organisation och av att omsätta idéer i fysiska förändringar kommer att säkerställa att alla gamla regler inte kastas ut ... ens inom några år . ... Inte ens en mycket avancerad SI kommer att göra någon dramatisk skillnad i världen jämfört med miljarder förstärkta människor som alltmer integreras med teknik ... .
Mer fundamentala gränser som kan förhindra ett okontrollerbart AGI-övertagande inkluderar irreducibel osäkerhet om framtiden och beräkningskomplexitet som skalas exponentiellt med storleken på problemet såväl som olika hårdvarugränser för beräkningar .
Vissa AI- och AGI-forskare kan vara ovilliga att diskutera risker, oroa sig för att beslutsfattare inte har sofistikerad kunskap om området och är benägna att övertygas av "alarmistiska" meddelanden, eller oroar sig för att sådana meddelanden kommer att leda till nedskärningar i AI-finansieringen. Slate konstaterar att vissa forskare är beroende av bidrag från statliga myndigheter som DARPA .
Flera skeptiker hävdar att de potentiella fördelarna med AI på kort sikt överväger riskerna. Facebooks vd Mark Zuckerberg tror att AI kommer att "låsa upp en enorm mängd positiva saker", som att bota sjukdomar och öka säkerheten för autonoma bilar.
Mellanliggande vyer
Mellanliggande åsikter tar i allmänhet ståndpunkten att kontrollproblemet med artificiell allmän intelligens kan existera, men att det kommer att lösas genom framsteg inom artificiell intelligens, till exempel genom att skapa en moralisk inlärningsmiljö för AI:n, se till att upptäcka klumpigt illvilligt beteende (den 'sordid stumble') och sedan direkt ingripa i koden innan AI:n förfinar sitt beteende, eller till och med grupptryck från vänliga AI: er . I en paneldiskussion 2015 i The Wall Street Journal ägnad åt AI-risker, borstade IBM :s vicepresident för Cognitive Computing, Guruduth S. Banavar, bort diskussionen om AGI med frasen "det är någons spekulation." Geoffrey Hinton , "deep learnings gudfader", noterade att "det inte finns några bra resultat av mindre intelligenta saker som kontrollerar saker med större intelligens", men uppgav att han fortsätter sin forskning eftersom "utsikterna till upptäckt är för söta " . 2004 skrev juridikprofessor Richard Posner att dedikerade ansträngningar för att ta itu med AI kan vänta, men att vi borde samla in mer information om problemet under tiden.
Populär reaktion
I en artikel i The Atlantic 2014 noterade James Hamblin att de flesta människor inte bryr sig på ett eller annat sätt om artificiell allmän intelligens, och karakteriserade sin egen magreaktion på ämnet som: "Gå härifrån. Jag har hundratusen saker Jag är bekymrad över just detta ögonblick. Behöver jag på allvar lägga till en teknisk singularitet till det?"
Under en Wired -intervju 2016 av president Barack Obama och MIT Media Labs Joi Ito , sa Ito:
Det finns ett fåtal personer som tror att det finns en ganska hög procentuell chans att en generaliserad AI kommer att inträffa under de kommande 10 åren. Men hur jag ser på det är att för att det ska hända kommer vi att behöva ett dussin eller två olika genombrott. Så du kan övervaka när du tror att dessa genombrott kommer att ske.
Obama tillade:
Och du måste bara ha någon nära nätsladden. [Skrattar.] Precis när du ser att det är på väg att hända, måste du rycka ut den elektriciteten ur väggen.
Hillary Clinton sa i What Happened :
Teknologer... har varnat för att artificiell intelligens en dag kan utgöra ett existentiellt säkerhetshot. Musk har kallat det "den största risken vi står inför som civilisation". Tänk efter: Har du någonsin sett en film där maskinerna börjar tänka själva som slutar bra? Varje gång jag gick ut till Silicon Valley under kampanjen kom jag hem mer oroad över detta. Min personal levde i rädsla för att jag skulle börja prata om "robotarnas uppkomst" i något stadshus i Iowa. Jag kanske borde ha gjort det. I vilket fall som helst måste beslutsfattare hålla jämna steg med tekniken när den rullar framåt, istället för att alltid spela ikapp.
I en YouGov- undersökning av allmänheten för British Science Association sa ungefär en tredjedel av de tillfrågade i undersökningen att AI kommer att utgöra ett hot mot mänsklighetens långsiktiga överlevnad. Med hänvisning till en omröstning av sina läsare, sa Slates Jacob Brogan att "de flesta (läsare som fyllde i vår online-enkät) var inte övertygade om att AI i sig utgör ett direkt hot."
Under 2018 fann en SurveyMonkey -undersökning av den amerikanska allmänheten av USA Today att 68 % trodde att det verkliga nuvarande hotet fortfarande är "mänsklig intelligens"; Men undersökningen fann också att 43% sa att superintelligent AI, om det skulle hända, skulle resultera i "mer skada än nytta", och 38% sa att det skulle göra "lika mängder skada och nytta".
En teknoutopisk synpunkt som uttrycks i en del populär fiktion är att AGI kan tendera mot fredsbyggande.
Begränsning
Många forskare som är oroade över den existentiella risken för AGI anser att det bästa tillvägagångssättet är att genomföra omfattande forskning för att lösa det svåra "kontrollproblemet" för att svara på frågan: vilka typer av skyddsåtgärder, algoritmer eller arkitekturer kan programmerare implementera för att maximera sannolikheten att deras rekursivt - att förbättra AI skulle fortsätta att bete sig på ett vänligt, snarare än destruktivt, sätt efter att den når superintelligens? Sådana sökare erkänner också möjligheten till sociala åtgärder för att mildra den existentiella risken för AGI; till exempel är en rekommendation för ett FN-sponsrat "Benevolent AGI Treaty" som skulle säkerställa att endast altruistiska ASI skapas. På liknande sätt har ett tillvägagångssätt för vapenkontroll föreslagits, liksom ett globalt fredsavtal grundat på teorin om internationella relationer om konform instrumentalism , med en ASI som potentiellt har undertecknat.
Forskare på Google har föreslagit forskning om allmänna "AI-säkerhetsfrågor" för att samtidigt mildra både kortsiktiga risker från smal AI och långsiktiga risker från AGI. En uppskattning från 2020 placerar globala utgifter för AI existentiell risk någonstans mellan 10 och 50 miljoner dollar, jämfört med globala utgifter för AI runt kanske 40 miljarder dollar. Bostrom föreslår en allmän princip om "differentiell teknisk utveckling", att finansiärer bör överväga att arbeta för att påskynda utvecklingen av skyddsteknologier i förhållande till utvecklingen av farliga. Vissa finansiärer, som Elon Musk , föreslår att radikal mänsklig kognitiv förbättring skulle kunna vara en sådan teknik, till exempel genom direkt neurala länkning mellan människa och maskin; andra hävdar dock att förbättringstekniker i sig kan utgöra en existentiell risk. Forskare, om de inte överraskas, kan noggrant övervaka eller försöka boxa in en initial AI med risk för att bli för kraftfull, som ett försök till en stopp-gap-åtgärd. En dominerande superintelligent AI, om den var anpassad till mänskliga intressen, skulle själv kunna vidta åtgärder för att minska risken för övertagande av rivaliserande AI, även om skapandet av den dominerande AI i sig skulle kunna utgöra en existentiell risk.
Institutioner som Machine Intelligence Research Institute , Future of Humanity Institute , Future of Life Institute , Center for the Study of Existential Risk och Center for Human-Compatible AI är involverade i att mildra existentiella risker från avancerad artificiell intelligens, t.ex. exempel genom forskning om vänlig artificiell intelligens .
Synpunkter på förbud och reglering
Förbud
Det råder nästan allmän överenskommelse om att försök att förbjuda forskning om artificiell intelligens skulle vara oklokt och förmodligen meningslöst. Skeptiker hävdar att reglering av AI skulle vara helt värdelös, eftersom det inte finns någon existentiell risk. Nästan alla forskare som tror att det finns en existentiell risk håller med skeptikerna om att det vore oklokt att förbjuda forskning, eftersom forskning skulle kunna flyttas till länder med lösare regler eller bedrivas i hemlighet. Den senare frågan är särskilt relevant, eftersom forskning om artificiell intelligens kan göras i liten skala utan betydande infrastruktur eller resurser. Ytterligare två hypotetiska svårigheter med förbud (eller annan reglering) är att teknikentreprenörer statistiskt sett tenderar mot allmän skepsis mot statlig reglering, och att företag kan ha ett starkt incitament att (och mycket väl skulle kunna lyckas med) bekämpa reglering och politisera den underliggande debatten .
förordning
Elon Musk efterlyste någon form av reglering av AI-utveckling redan 2017. Enligt NPR är Teslas vd "uppenbarligen inte glad" över att förespråka statlig granskning som kan påverka hans egen industri, men tror att riskerna med att gå helt utan tillsynen är för hög: "Normalt är regleringarna utformade när en massa dåliga saker händer, det uppstår ett offentligt ramaskri och efter många år inrättas en tillsynsmyndighet för att reglera den branschen. Det tar en evighet. Det, i tidigare, har varit dålig men inte något som representerade en grundläggande risk för civilisationens existens." Musk säger att det första steget skulle vara för regeringen att få "insikt" i den faktiska statusen för aktuell forskning, och varnar för att "när det väl finns medvetenhet kommer människor att vara extremt rädda ... [som] de borde vara. " Som svar uttrycker politikerna skepsis mot det kloka i att reglera en teknik som fortfarande är under utveckling.
Som svar på både Musk och förslag från EU-lagstiftare från februari 2017 för att reglera AI och robotik, hävdade Intels vd Brian Krzanich att artificiell intelligens är i sin linda och att det är för tidigt att reglera tekniken. Istället för att försöka reglera själva tekniken, föreslår vissa forskare att snarare utveckla gemensamma normer inklusive krav på testning och transparens av algoritmer, möjligen i kombination med någon form av garanti. Att utveckla välreglerade vapensystem är i linje med etiken hos vissa länders militärer. Den 31 oktober 2019 publicerade USA:s försvarsdepartements (DoDs) Defense Innovation Board utkastet till en rapport som beskriver fem principer för beväpnad AI och ger 12 rekommendationer för den etiska användningen av artificiell intelligens av DoD som försöker hantera kontrollen problem i all DoD-vapenad AI.
Reglering av AGI skulle sannolikt påverkas av reglering av beväpnad eller militariserad AI, dvs AI-kapprustningen , vars reglering är en framväxande fråga. För närvarande, även om FN gör framsteg mot reglering av AI, är dess institutionella och juridiska förmåga att hantera den existentiella risken för AGI mycket mer begränsad. Varje form av internationell reglering kommer sannolikt att påverkas av utvecklingen i ledande länders inrikespolitik mot militariserad AI, i USA under den nationella säkerhetskommissionen för artificiell intelligens, och internationella åtgärder för att reglera en AI-kapprustning. Reglering av forskning om AGI fokuserar på granskningsnämndernas roll och att uppmuntra forskning om säker AI, och möjligheten till differentiella tekniska framsteg (prioritera riskreducerande strategier framför risktagande strategier i AI-utveckling) eller genomföra internationell massövervakning för att utföra AGI-vapen kontrollera. Reglering av medvetna AGI fokuserar på att integrera dem med det existerande mänskliga samhället och kan delas in i överväganden om deras juridiska ställning och deras moraliska rättigheter. AI-vapenkontroll kommer sannolikt att kräva institutionalisering av nya internationella normer som ingår i effektiva tekniska specifikationer kombinerat med aktiv övervakning och informell diplomati av expertgrupper, tillsammans med en juridisk och politisk verifieringsprocess.
Se även
- AI övertagande
- kapprustning med artificiell intelligens
- Konstgjord filosofi
- Effektiv altruism § Långsiktiga framtida och globala katastrofrisker
- Grå goo
- Människokompatibel
- Dödligt autonomt vapen
- Reglering av algoritmer
- Reglering av artificiell intelligens
- Robotetik § I populärkulturen
- Superintelligens: vägar, faror, strategier
- Att lida risker
- Systemolycka
- Teknisk singularitet
- The Precipice: Existentiell risk och mänsklighetens framtid
- Gem Maximizer
Anteckningar
Bibliografi
- Clark, Jack (2015a). "Myskstödd grupp undersöker risker bakom artificiell intelligens" . Bloomberg.com . Arkiverad från originalet den 30 oktober 2015 . Hämtad 30 oktober 2015 .
