Absolut sannolikhetsbedömning

Absolut sannolikhetsbedömning är en teknik som används inom området för mänsklig tillförlitlighetsbedömning (HRA), i syfte att utvärdera sannolikheten för att ett mänskligt fel inträffar under hela slutförandet av en specifik uppgift. Utifrån sådana analyser kan åtgärder vidtas för att minska sannolikheten för att fel uppstår i ett system och därmed leda till en förbättring av den övergripande säkerhetsnivån. Det finns tre primära skäl för att genomföra en HRA; felidentifiering, felkvantifiering och felreduktion. Eftersom det finns ett antal tekniker som används för sådana ändamål kan de delas upp i en av två klassificeringar; första generationens tekniker och andra generationens tekniker. Första generationens tekniker fungerar på basis av den enkla dikotomien "passar/passar inte" i matchningen av felsituationen i sammanhang med relaterad felidentifiering och kvantifiering och andra generationens tekniker är mer teoribaserade i sin bedömning och kvantifiering av fel . "HRA-tekniker har använts i en rad branscher, inklusive hälsovård , ingenjörsteknik , kärnkraft, transport och affärssektorn; varje teknik har olika användningsområden inom olika discipliner.

Absolut sannolikhetsbedömning, som också kallas direkt numerisk uppskattning , baseras på kvantifiering av sannolikheter för mänskliga fel (HEP). Det bygger på antagandet att människor inte kan minnas eller inte med säkerhet kan uppskatta sannolikheten för att en given händelse inträffar. Expertbedömning är vanligtvis önskvärd för användning i tekniken när det finns lite eller inga data för att beräkna HEPs med, eller när data är olämpliga eller svåra att förstå. I teorin kan kvalitativ kunskap byggd genom experternas erfarenhet översättas till kvantitativa data såsom HEP.

Det krävs av experterna en god nivå av både saklig erfarenhet (dvs experten måste ha en lämplig kunskapsnivå om problemdomänen) och normativ erfarenhet (dvs det måste vara möjligt för experten, kanske med hjälp av en facilitator , att översätta denna kunskap explicit till sannolikheter). Om experter besitter den nödvändiga materiella kunskapen men saknar kunskap som är normativ till sin natur, kan experterna utbildas eller assisteras i att säkerställa att den kunskap och expertis som krävs för att fångas omsätts till korrekta sannolikheter, dvs. att säkerställa att det är en korrekt representation av experternas bedömningar.

Bakgrund

Absolut sannolikhetsbedömning är ett expertbedömningsbaserat tillvägagångssätt som innebär att man använder experternas övertygelser (t.ex. frontlinjepersonal, processingenjörer etc.) för att uppskatta HEP. Det finns två primära former av tekniken; Gruppmetoder och enskilda expertmetoder dvs det kan göras antingen som en grupp eller som en individuell övning. Gruppmetoder tenderar att vara mer populära och allmänt använda eftersom de är mer robusta och mindre utsatta för partiskhet . Dessutom är det, inom ramen för användningen, ovanligt att en enskild person har all nödvändig information och expertis för att enbart kunna uppskatta, på ett korrekt sätt, den mänskliga tillförlitligheten i fråga. I gruppansatsen är resultatet av att aggregera individuell kunskap och åsikter mer tillförlitligt.

Metoder

Det finns fyra huvudgruppsmetoder för att göra en absolut sannolikhetsbedömning.

Aggregerad individuell metod

Med hjälp av denna metod gör experter sina uppskattningar individuellt utan att faktiskt träffa eller diskutera uppgiften. Uppskattningarna aggregeras sedan genom att ta det geometriska medelvärdet av de enskilda experternas uppskattningar för varje uppgift. Den stora nackdelen med denna metod är att det inte finns någon delad expertis genom gruppen; Det positiva med detta är dock att på grund av processens individualitet undviks alla konflikter såsom dominerande personligheter eller motstridiga personligheter och resultaten är därför fria från någon fördom.

Delphi metod

Utvecklad av Dalkey, Delphi-metoden är mycket lik den aggregerade individuella metoden genom att experter gör sina första uppskattningar isolerat. Men efter detta skede får experterna sedan det resultat som alla andra deltagare har kommit fram till och kan sedan ompröva de uppskattningar som de ursprungligen gjorde. Omuppskattningarna aggregeras sedan med hjälp av det geometriska medelvärdet . Detta möjliggör viss informationsdelning , samtidigt som man undviker de flesta gruppledda fördomar; men det kvarstår fortfarande problemet med bristande diskussion.

Nominell gruppteknik (NGT)

Denna teknik använder sig av Delphi-metoden och introducerar begränsad diskussion/samråd mellan experterna. På detta sätt är informationsdelning överlägset, och gruppdominans mildras genom att experterna separat kommer till sin egen slutsats innan de sammanställer HEP-poängen.

Konsensusgruppsmetod

Detta är det mest gruppcentrerade tillvägagångssättet och kräver att gruppen måste komma till enighet om HEP-uppskattningarna genom diskussion och ömsesidig överenskommelse. Denna metod maximerar kunskapsdelning och utbyte av idéer och främjar också lika möjligheter att delta i diskussioner. Det kan dock också visa sig vara logistiskt besvärligt att samordna då det kräver att alla experter är samlade på samma plats för att diskussionen ska kunna äga rum. På grund av denna teknikalitet kan personligheter och andra fördomsmekanismer som övertro, nyligen tillgänglig tillgänglighet och förankring bli en faktor, vilket ökar risken för att resultaten blir sneda. Om det uppstår ett dödläge eller ett sammanbrott i gruppdynamiken , blir det nödvändigt att återgå till en av de andra metoderna för att bedöma gruppens absoluta sannolikhet.

Procedur

1. Välj ämnesexperter

De utvalda experterna ska ha goda kunskaper om de uppgifter som ska bedömas. Det korrekta antalet experter beror på vad som verkar mest praktiskt möjligt, samtidigt som man beaktar eventuella begränsningar såsom rumslig och ekonomisk tillgänglighet. Men ju större grupp desto mer sannolikt är det att problem uppstår.

2. Förbered uppgiftsbeskrivningen

Uppgiftsbeskrivningar är en nödvändig komponent i metoden; uppgifter specificeras i detalj. Ju mer utförlig förklaringen av uppgiften är i uttalandet, desto mindre sannolikt är det att experterna kommer att ta till individuella gissningar om uppgifterna. Uttalandet bör också säkerställa att alla antaganden är tydligt angivna i ett tolkbart format för alla experter att förstå. Den optimala detaljnivån kommer att styras av typen av uppgift som övervägs och den erforderliga användningen av den slutliga HEP-uppskattningen.

3. Förbered svarshäfte Dessa häften beskriver uppgiften och utformningen av den skala som ska användas för att bedöma felsannolikhet och genom vilken experter kan ange sina bedömningar. Skalan måste vara en som gör att skillnader kan göras uppenbara. I häftet finns även instruktioner, antaganden och exempel.

4. Utveckla instruktioner för ämnen

Instruktioner krävs för att specificera för experterna skälen till sessionen, annars kan de gissa sådana skäl som kan orsaka fördomar i de resulterande uppskattningarna av mänsklig tillförlitlighet .

5. Skaffa domar

Experter måste avslöja sina bedömningar av var och en av uppgifterna; detta kan göras i grupp eller individuellt. Om det görs på det förstnämnda sättet, används ofta en facilitator för att förhindra eventuell fördom och hjälpa till att övervinna eventuella problem.

6. Beräkna konsistens mellan domarna

Detta är en metod med vilken skillnaderna i HEP-uppskattningarna för enskilda experter kan jämföras; en statistisk formulering används för sådana ändamål.

7. Aggregera individuella uppskattningar

Där gruppkonsensusmetoder inte används är det nödvändigt att beräkna ett aggregat för var och en av de individuella uppskattningarna för varje HEP.

8. Osäkerhetsbunden uppskattning Beräknad med hjälp av statistiska metoder som involverar konfidensintervall.

Arbetat exempel

Sammanhang

I det här exemplet användes absolut sannolikhetsbedömning av Eurocontrol , vid experimentcentret i Brétigny-sur-Orge Paris , med hjälp av en gruppkonsensusmetod.

Nödvändiga ingångar

Var och en av personalklassen som ingick i sessionen turades om att ge uppskattningar av felsannolikheterna, inklusive markpersonal, piloter och flygledare. Före början av passet genomfördes en introduktionsövning för att låta deltagarna känna sig mer bekväma med att använda tekniken; detta innebar en förklaring till bakgrunden till metoden och gav en överblick över vad sessionen skulle innebära. För att öka kännedomen om metoden användes exemplariska mallar för att visa hur fel uppskattas.

Metod

• Inledande uppgiftsbeskrivningar för projektet skapades och lämnade utrymme för individuella åsikter om uppgiftsuppskattningar och ytterligare antaganden som gruppen kollektivt kan ha avstått från.
• En session hölls där de individuella scenarierna och uppgifterna preciserades för experterna
• Experter, med denna kunskap, kunde sedan lägga in individuella uppskattningar för alla uppgifter under övervägande
• Diskussion följde där alla deltagare fick möjlighet att uttrycka sin åsikt för resten av gruppen
• Facilitering användes sedan för att nå gruppkonsensus om uppskattningsvärdena. Ytterligare diskussion och ändring ägde rum vid behov.

Under sessionens längd avslöjades det att experternas lätthet kunde nå en konsensus var låg med avseende på de olika uppskattningarna av de olika HEP-värdena. Diskussioner förändrade ofta individers tänkande t.ex. i ljuset av ny information eller tolkningar, men det underlättade inte att nå en överenskommelse. På grund av denna svårighet var det därför nödvändigt att aggregera de individuella uppskattningarna för att kunna beräkna ett geometriskt medelvärde av dessa. Följande tabell visar ett urval av de erhållna resultaten.

Tabell: Pilotens absoluta sannolikhetsbedömning Session–utdrag av resultat

Potentiellt fel (kod i riskmodell)	Maximal	Minimum	Räckvidd	Geometriskt medelvärde
Cla	1.1E-03	2.0E-05	55	2.1E-04
Clb	2.5E-04	1.0E-05	25	3.5E-05
D1	1.0E-03	1.0E-04	10	4.3E-04
Fla	4.0E-04	1.0E-05	40	6.9E-05
F1b	1.0E-03	1.0E-04	10	4.0E-04
F1c	1.0E-03	1.0E-04	10	4.6E-04

I olika fall har intervallet av siffror som skiljer maximi- och minimivärdena visat sig vara för stort för att det aggregerade värdet ska kunna accepteras med tillförsikt. Dessa värden är de händelser i riskmodellen som måste kvantifieras. Det finns tre primära fel i modellen som kan uppstå:

• C1: Fångar falsk information om slutlig inflygningsväg
• D1: Underlåtenhet att upprätthålla a/c på slutlig inflygningsväg
• F1: Val av fel bana

Det fanns olika orsaker som kan förklara orsakerna till att det var så stor skillnad i de uppskattningar som gruppen lämnade: expertgruppen var till stor del mångsidig och individernas erfarenheter skilde sig åt. Erfarenhet av Ground Based Augmentation System (GBAS) visade också skillnader. Denna process var en ny upplevelse för alla experter som deltog i processen och det fanns bara en enda dag, då sessionen ägde rum, för att bli bekant med dess användning och använda den på rätt sätt. Mest betydelsefullt var det faktum att detaljerna i bedömningarna var mycket fina, vilket personalen inte var van vid. Experter blev också förvirrade över hur bedömningen skedde; fel beaktades inte på egen hand och analyserades som en grupp. Detta innebar att de uppskattade värdena representerade ett bidrag av felet på ett systemfel i motsats till ett enskilt bidrag till systemfel.

Resultat/utfall

• Flygledare och piloter gav goda uppskattningar för felen och dessa har använts i vissa säkerhetsfall
• Deltagarna betonade sin förståelse för vikten av att de deltar i processen för att tillhandahålla expertis, i motsats till att använda externa säkerhetsanalytiker istället, dvs. de förstod sin roll i att utföra en mänsklig tillförlitlighetsbedömning av systemet
• Experterna försågs med en realistisk representation av mänsklig prestanda inom systemet och därför krävdes ytterligare säkerhetskrav för att förbättra säkerheten och minska sannolikheten för de identifierade felen. Detta är särskilt fördelaktigt; för framtidens GBAS.

Lärdomar från studien

• Det krävs tid för att sätta sig in i metodiken och för att förstå vad som behövs göras i det givna sammanhanget
• Experter måste förstå de omständigheter under vilka HEPs är villkorade
• Det finns ett behov av att verkliga experter inkluderas i processen och i ett betydande antal för att möjliggöra insamling av nödvändig information.
• Användningen av befintlig information i processen är alltid till hjälp för standardiseringsändamål

Fördelar

• Metoden är relativt snabb och enkel att använda. Med en högre grad av gruppdiskussion i användningen av tekniken blir det mer kvalitativ data som produceras; detta kan betraktas som en användbar biprodukt av bedömningen.
• Absolut sannolikhetsbedömning är inte begränsad till eller specialiserad för användning inom ett visst område; det är lätt att applicera på en HRA inom alla industrisektorer, vilket gör det till en generisk teknik för användning i ett brett spektrum av potentiella tillämpningar.[5]
• Användbara förslag kan bli resultatet av diskussioner om hur man kan minska antalet fel

Nackdelar

• Absolut sannolikhetsbedömning är benägen till vissa fördomar och gruppkonflikter eller problem. Val av rätt gruppmetodik eller högkvalitativ gruppfacilitering kan minska effekten av dessa fördomar och öka resultatens validitet.
• Att hitta lämpliga experter för den absoluta sannolikhetsbedömningen är ett svårt steg i processen, mer så på grund av den tvetydighet med vilken termen "expert" kan definieras
• Eftersom det kan finnas lite eller inga empiriska och/eller kvantitativa resonemang som stöder experternas uppskattningar, är det svårt att vara säker på giltigheten av de slutliga HEP:erna, dvs. det finns inget sätt på vilket gissningar kan valideras