Rätt till förklaring

I regleringen av algoritmer , särskilt artificiell intelligens och dess underområde maskininlärning , är en rätt till förklaring (eller rätt till en förklaring ) en rättighet att få en förklaring till en utdata från algoritmen. Sådana rättigheter avser i första hand individuella rättigheter att få en förklaring till beslut som väsentligt påverkar en enskild, särskilt juridiskt eller ekonomiskt. Till exempel kan en person som ansöker om ett lån och får avslag be om en förklaring, vilket kan vara " Kreditbyrå X rapporterar att du försattes i konkurs förra året; detta är den viktigaste faktorn för att du anser att det är alltför troligt att du kommer att fallera, och därför har vi kommer inte att ge dig det lån du ansökte om."

Vissa sådana juridiska rättigheter finns redan, medan omfattningen av en allmän "rätt till förklaring" är en fråga för pågående debatt. Det har framförts argument för att en "social rätt till förklaring" är en avgörande grund för ett informationssamhälle, särskilt som institutionerna i det samhället kommer att behöva använda digital teknik, artificiell intelligens, maskininlärning. Med andra ord, att de relaterade automatiserade beslutssystemen som använder förklarabarhet skulle vara mer pålitliga och transparenta. Utan denna rättighet, som skulle kunna konstitueras både juridiskt och genom professionella standarder , kommer allmänheten att lämnas utan större möjlighet att ifrågasätta besluten i automatiserade system. Ett av problemen som dyker upp är hur man kommunicerar en förklaring till en användare, ska det vara genom text, ett visuellt diagram på hög nivå, video eller något annat medium, och hur kan ett förklarligt system omfånga förklaringen på ett rimligt sätt?

Exempel

Kreditvärdering i USA

Enligt Equal Credit Opportunity Act (Regulation B of the Code of Federal Regulations ), avdelning 12, kapitel X, del 1002, §1002.9 , måste borgenärer meddela sökande som nekas kredit med särskilda skäl för detaljen. Som beskrivs i §1002.9(b)(2):

(2) Angivande av särskilda skäl. Den redogörelse för skälen till en negativ åtgärd som krävs enligt punkt (a)(2)(i) i detta avsnitt måste vara specifik och ange de huvudsakliga orsakerna till den negativa åtgärden. Uttalanden om att den negativa åtgärden baserades på kreditgivarens interna standarder eller policyer eller att sökanden, den gemensamma sökanden eller liknande part inte lyckades uppnå en kvalificerad poäng i kreditgivarens kreditvärderingssystem är otillräckliga.

Den officiella tolkningen av detta avsnitt beskriver vilka typer av uttalanden som är acceptabla. Borgenärer följer denna förordning genom att tillhandahålla en lista med skäl (vanligtvis högst 4, per tolkning av förordningar), bestående av en numerisk orsakskod (som identifierare) och en tillhörande förklaring, som identifierar de viktigaste faktorerna som påverkar en kreditpoäng. Ett exempel kan vara:

32: Saldon på bankkort eller revolverande konton är för höga jämfört med kreditgränser

europeiska unionen

Europeiska unionens allmänna dataskyddsförordning (antagen 2016, träder i kraft 2018) utvidgar de automatiska beslutsrättigheterna i 1995 års dataskyddsdirektiv till att tillhandahålla en rättsligt omtvistad form av en rätt till en förklaring, som anges som sådan i skäl 71 : "[ den registrerade bör ha] rätt ... att få en förklaring av det fattade beslutet”. I sin helhet:

Den registrerade bör ha rätt att inte bli föremål för ett beslut, som kan innefatta en åtgärd, utvärdering av personliga aspekter som rör honom eller henne som enbart bygger på automatiserad behandling och som ger rättsverkningar för honom eller henne eller på liknande sätt väsentligt påverkar honom eller henne eller henne, såsom automatisk avslag på en kreditansökan online eller e-rekryteringsmetoder utan mänsklig inblandning.

...

Under alla omständigheter bör sådan behandling omfattas av lämpliga skyddsåtgärder, som bör omfatta specifik information till den registrerade och rätten att få mänskligt ingripande, att uttrycka sin åsikt, att få en förklaring av det beslut som fattats efter en sådan bedömning och att överklaga beslutet.

I vilken utsträckning själva regelverket ger "rätt till förklaring" är dock hårt omdebatterat. Det finns två huvudinslag av kritik. Det finns betydande juridiska problem med rätten som återfinns i artikel 22 — eftersom skälen inte är bindande och rätten till en förklaring inte nämns i de bindande artiklarna i texten, efter att ha tagits bort under lagstiftningsprocessen. Dessutom finns det betydande begränsningar för vilka typer av automatiserade beslut som omfattas – som både måste vara "enbart" baserade på automatiserad behandling och ha rättsliga eller liknande betydande effekter – vilket avsevärt begränsar utbudet av automatiserade system och beslut som rätt skulle gälla. Framför allt är det osannolikt att rätten kommer att gälla i många av de fall av algoritmkontrovers som har uppmärksammats i media.

En andra potentiell källa till en sådan rättighet har pekats på i artikel 15, "den registrerades rätt till tillgång". Detta upprepar en liknande bestämmelse från 1995 års dataskyddsdirektiv, som ger den registrerade tillgång till "meningsfull information om logiken inblandad" i samma betydande, enbart automatiserade beslutsfattande, som återfinns i artikel 22. Men även detta lider av påstådda utmaningar som relatera till tidpunkten för när denna rättighet kan utnyttjas, samt praktiska utmaningar som gör att den kanske inte är bindande i många fall av allmänt intresse.

Frankrike

I Frankrike ändrar 2016 års Loi pour une République numérique (lagen om den digitala republiken eller loi numérique ) landets administrativa kod för att införa en ny bestämmelse för förklaring av beslut som fattas av offentliga organ om enskilda. Den noterar att när det finns "ett beslut som fattas på grundval av en algoritmisk behandling", måste reglerna som definierar denna behandling och dess "huvudkarakteristika" meddelas medborgaren på begäran, om det inte finns någon uteslutning (t.ex. för nationella säkerhet eller försvar). Dessa bör innehålla följande:

graden och sättet för den algoritmiska bearbetningens bidrag till beslutsfattandet;
de uppgifter som behandlas och dess källa;
Behandlingsparametrarna och, i förekommande fall, deras viktning, tillämpade på den berörda personens situation.
de operationer som utförs av behandlingen.

Forskare har noterat att denna rättighet, även om den är begränsad till administrativa beslut, går utöver GDPR-rätten att uttryckligen tillämpa beslutsstöd snarare än beslut "enbart" baserat på automatiserad behandling, samt ger en ram för att förklara specifika beslut. Faktum är att GDPR:s automatiserade beslutsrättigheter i Europeiska unionen, en av de platser som en "rätt till en förklaring" har sökts inom, har sitt ursprung i fransk lag i slutet av 1970-talet.

Sydkorea

Sydkorea är känt för att ha de strängaste reglerna för datasekretess bland asiatiska länder. Påföljder för överträdelser av dataskyddet inkluderar att betala skadestånd, förverka vinst och hålla ledande befattningshavare i ett företag personligen ansvariga. Landet har också strikta lagar för gränsöverskridande delning av data; förbjuden dataöverföring kan leda till böter på upp till 3 procent av intäkterna. 2016 avvisade Seoul en begäran från Google om att använda kartdata på grund av säkerhetsproblem.

Kina

Under 2017 implementerade Kina delvis en ny cybersäkerhetslag som krävde att personlig information och annan viktig data skulle lagras lokalt i landet. Det internationella näringslivet oroar sig för den vaga definitionen av vilken typ av data som måste förvaras på servrar inom Kina. Kina tar datasekretess på allvar för sina alltmer digitala kunniga konsumenter. I januari 2018 hamnade Ant Financial, Alibabas finansiella arm, under eld efter att ha registrerat användare automatiskt i en kreditvärderingsfilial.

Kritik

Vissa hävdar att en "rätt till förklaring" i bästa fall är onödig, i värsta fall skadlig och hotar att kväva innovation. Specifik kritik inkluderar: att gynna mänskliga beslut framför maskinbeslut, att vara överflödig med befintliga lagar och att fokusera på process framför resultat.

Författare till studien "Slave till algoritmen? Varför en 'rätt till en förklaring' förmodligen inte är det botemedel du letar efter” Lilian Edwards och Michael Veale hävdar att en rätt till förklaring inte är lösningen på skador som orsakas av intressenter av algoritmiska beslut. De anger också att rätten till förklaring i GDPR är snävt definierad och inte är förenlig med hur modern maskininlärningsteknik utvecklas. Med dessa begränsningar är det fortfarande ett problem att definiera transparens inom ramen för algoritmisk ansvarighet. Till exempel kanske det inte räcker att tillhandahålla källkoden för algoritmer och kan skapa andra problem när det gäller avslöjande av sekretess och spelande av tekniska system. För att mildra detta problem hävdar Edwards och Veale att ett revisionssystem skulle kunna vara mer effektivt, för att tillåta revisorer att titta på input och output från en beslutsprocess från ett externt skal, med andra ord, "förklara svarta lådor utan att öppna dem."

På liknande sätt hävdar Oxford-forskarna Bryce Goodman och Seth Flaxman att GDPR skapar en "rätt till förklaring", men utvecklar inte mycket utöver den punkten och anger begränsningarna i den nuvarande GDPR. När det gäller denna debatt säger forskarna Andrew D Selbst och Julia Powles att debatten bör omdirigeras till att diskutera om man använder frasen "rätt till förklaring" eller inte, mer uppmärksamhet måste ägnas åt GDPR:s uttryckliga krav och hur de relaterar till dess bakgrundsmål, och mer måste funderas på att fastställa vad lagtexten egentligen betyder.

Mer fundamentalt är många algoritmer som används i maskininlärning inte lätta att förklara. Till exempel beror utsignalen från ett djupt neuralt nätverk på många lager av beräkningar, anslutna på ett komplext sätt, och ingen indata eller beräkning kan vara en dominerande faktor. Området Explainable AI försöker ge bättre förklaringar från befintliga algoritmer och algoritmer som är lättare att förklara, men det är ett ungt och aktivt område.

På samma sätt kan mänskliga beslut ofta inte enkelt förklaras: de kan baseras på intuition eller en " magkänsla " som är svår att sätta ord på. Det kan hävdas att maskiner inte ska krävas för att hålla en högre standard än människor.

Andra menar att svårigheterna med förklaringsbarhet beror på dess alltför snäva fokus på tekniska lösningar snarare än att koppla frågan till de vidare frågor som ställs av en "social rätt till förklaring".

Förslag

Edwards och Veale ser rätten till förklaring som en viss grund för förklaringar om specifika beslut. De diskuterar två typer av algoritmiska förklaringar, modellcentrerade förklaringar och ämnescentrerade förklaringar (SCE), som är i stort sett i linje med förklaringar om system eller beslut.

SCE:er ses som det bästa sättet att tillhandahålla någon åtgärd, men med vissa allvarliga begränsningar om data bara är för komplex. Deras förslag är att bryta ner hela modellen och fokusera på särskilda frågor genom pedagogiska förklaringar till en viss fråga, "som kan vara verklig eller kan vara fiktiv eller utforskande". Dessa förklaringar kommer med nödvändighet att involvera avvägningar med noggrannhet för att minska komplexiteten.

Med ett växande intresse för förklaringar av tekniska beslutsfattande system inom området mänsklig-datorinteraktionsdesign, har forskare och designers ansträngt sig för att öppna den svarta lådan i termer av matematiskt tolkbara modeller som avlägsnas från kognitiv vetenskap och människors faktiska behov. Alternativa tillvägagångssätt skulle vara att låta användare utforska systemets beteende fritt genom interaktiva förklaringar.

Ett av Edwards och Veales förslag är att delvis ta bort transparens som ett nödvändigt nyckelsteg mot ansvarsskyldighet och upprättelse. De hävdar att människor som försöker ta itu med dataskyddsfrågor har en önskan om en handling, inte efter en förklaring. Det faktiska värdet av en förklaring kommer inte att vara att lindra eller åtgärda den känslomässiga eller ekonomiska skadan, utan att förstå varför något hände och att hjälpa till att säkerställa att ett misstag inte händer igen.

I en bredare skala, I studien Explainable machine learning in deployment rekommenderar författarna att man bygger ett förklarligt ramverk som tydligt fastställer önskemålen genom att identifiera intressenter, engagera sig med intressenter och förstå syftet med förklaringen. Utöver detta måste frågor om förklaringsbarhet såsom frågor om kausalitet, integritet och prestandaförbättring beaktas i systemet.

Se även