Attributhierarkimetod

Attributhierarkimetoden ( AHM ), är en kognitivt baserad psykometrisk procedur utvecklad av Jacqueline Leighton, Mark Gierl och Steve Hunka vid Center for Research in Applied Measurement and Evaluation (CRAME) vid University of Alberta . AHM är en form av kognitiv diagnostisk bedömning som syftar till att integrera kognitiv psykologi med pedagogisk mätning i syfte att förbättra undervisning och elevers lärande. En kognitiv diagnostisk bedömning (CDA) är utformad för att mäta specifika kunskapstillstånd och kognitiva bearbetningsfärdigheter inom en given domän. Resultaten av en CDA ger en profil av poäng med detaljerad information om en elevs kognitiva styrkor och svagheter. Denna kognitiva diagnostiska feedback har potential att vägleda instruktörer, föräldrar och elever i deras undervisnings- och inlärningsprocesser.

För att generera en diagnostisk färdighetsprofil klassificeras testpersoners svar på testobjekt i en uppsättning strukturerade attributmönster som härrör från komponenter i en kognitiv modell för uppgiftsutförande. Den kognitiva modellen innehåller attribut, som definieras som en beskrivning av den procedur- eller deklarativa kunskap som en examinand behöver för att svara på ett givet provobjekt korrekt. De inbördes förhållandena mellan attributen representeras med hjälp av en hierarkisk struktur så att ordningen för de kognitiva färdigheterna specificeras. Den här modellen tillhandahåller ett ramverk för att designa diagnostiska objekt baserat på attribut, som kopplar examinandens testprestanda till specifika slutsatser om examinandens kunskaper och färdigheter.

Skillnader mellan AHM och regelutrymmesmetoden

AHM skiljer sig från Tatsuokas Rule Space Method (RSM) med antagandet om beroenden bland attributen inom den kognitiva modellen. Med andra ord härleddes AHM från RSM genom att anta att vissa eller alla färdigheter kan vara representerade i hierarkisk ordning. Att modellera kognitiva attribut med hjälp av AHM kräver specifikationen av en hierarki som beskriver beroenden mellan attributen. Som sådan fungerar attributhierarkin som en kognitiv modell för uppgiftsutförande utformad för att representera de inbördes relaterade kognitiva processer som krävs av examinerade för att lösa testobjekt. Detta antagande speglar bättre egenskaperna hos mänsklig kognition eftersom kognitiva processer vanligtvis inte fungerar isolerat utan fungerar inom ett nätverk av sammanhängande kompetenser och färdigheter. Däremot gör RSM inga antaganden om beroenden mellan attributen. Denna skillnad har lett till utvecklingen av både IRT och icke-IRT-baserade psykometriska procedurer för att analysera testobjektsvar med hjälp av AHM. AHM skiljer sig också från RSM med avseende på identifieringen av de kognitiva attributen och logiken som ligger bakom de diagnostiska slutsatserna från den statistiska analysen.

Identifiering av de kognitiva attributen

RSM använder en post-hoc-metod för att identifiera de attribut som krävs för att framgångsrikt lösa varje punkt i ett befintligt test. Däremot använder AHM en a priori metod för att identifiera attributen och specificera deras inbördes samband i en kognitiv modell.

Diagnostiska slutsatser från statistisk analys

RSM använder statistisk mönsterklassificering där undersöktes observerade svarsmönster matchas till förutbestämda svarsmönster som var och en motsvarar ett visst kognitivt eller kunskapstillstånd. Varje tillstånd representerar en uppsättning korrekta och felaktiga regler som används för att svara på testobjekt. Fokus med RSM är identifiering av felaktiga regler eller missuppfattningar. AHM, å andra sidan, använder statistisk mönsterigenkänning där examinerades observerade svarsmönster jämförs med svarsmönster som överensstämmer med attributhierarkin. Syftet med statistisk mönsterigenkänning är att identifiera de attributkombinationer som examinanden sannolikt har. Därför identifierar AHM inte felaktiga regler eller missuppfattningar som i RSM.

Principiellt testdesign

AHM använder ett konstruktionscentrerat tillvägagångssätt för testutveckling och analys. Konstruktionscentrerad betonar konstruktionens centrala roll för att styra testutvecklingsaktiviteter och analys. Fördelen med detta tillvägagångssätt är att de slutsatser som görs om elevernas prestationer är fast förankrade i den angivna konstruktionen. Principiell testdesign omfattar tre breda steg:

kognitiv modellutveckling
testutveckling
psykometrisk analys.

Kognitiv modellutveckling utgör det första steget i testdesignprocessen. Under detta skede identifieras och organiseras kognitiva kunskaper, processer och färdigheter i en attributhierarki eller kognitiv modell. Detta steg omfattar även validering av den kognitiva modellen innan testutvecklingsstadiet.

Testutveckling utgör det andra steget i testdesignprocessen. Under detta skede skapas objekt för att mäta varje attribut inom den kognitiva modellen samtidigt som eventuella beroenden som modelleras bland attributen bibehålls.

Psykometrisk analys utgör det tredje steget i testdesignprocessen. Under detta skede utvärderas anpassningen av den kognitiva modellen i förhållande till observerade examinandens svar för att fastställa modellens lämplighet för att förklara testprestanda. Testobjektens svar analyseras sedan och diagnostiska färdighetsprofiler skapas som lyfter fram undersökandes kognitiva styrkor och svagheter.

Kognitiv modellutveckling

Vad är en kognitiv modell?

Visuell representation av de fyra generella formerna av hierarkiska strukturer i en kognitiv modell

En AHM-analys måste börja med specifikationen av en kognitiv modell för uppgiftsutförande. En kognitiv modell inom pedagogisk mätning avser en "förenklad beskrivning av mänsklig problemlösning på standardiserade pedagogiska uppgifter, som hjälper till att karakterisera de kunskaper och färdigheter elever på olika inlärningsnivåer har förvärvat och att underlätta förklaringen och förutsägelsen av elevernas prestationer". Dessa kognitiva färdigheter, konceptualiserade som ett attribut i AHM-ramverket, specificeras vid en liten kornstorlek för att generera specifika diagnostiska slutsatser som ligger bakom testprestanda. Attribut inkluderar olika procedurer, färdigheter och/eller processer som en examinand måste ha för att lösa ett prov. Sedan är dessa attribut strukturerade med hjälp av en hierarki så att ordningen för de kognitiva färdigheterna specificeras.

Den kognitiva modellen kan representeras av olika hierarkiska strukturer. Generellt finns det fyra generella former av hierarkiska strukturer som enkelt kan utökas och kombineras för att bilda allt mer komplexa nätverk av hierarkier där den kognitiva komplexiteten motsvarar typen av problemlösningsuppgiften. De fyra hierarkiska formerna inkluderar: a) linjär, b) konvergent, c) divergent och d) ostrukturerad.

Hur skapas och valideras kognitiva modeller?

Teorier om uppgiftsutförande kan användas för att härleda kognitiva modeller för uppgiftsutförande i en ämnesdomän. Tillgången på dessa teorier om uppgiftsutförande och kognitiva modeller inom utbildning är dock begränsad. Därför används andra medel för att generera kognitiva modeller. En metod är användningen av en uppgiftsanalys av representativa testobjekt från en ämnesdomän. En uppgiftsanalys representerar en hypoteserad kognitiv modell för uppgiftsutförande, där de sannolika kunskaperna och processerna som används för att lösa testobjektet specificeras. En andra metod går ut på att låta examinerade tänka högt när de löser testobjekt för att identifiera den faktiska kunskapen, processerna och strategierna som framkallas av uppgiften. Den verbala rapporten som samlas in när examinanden pratar högt kan innehålla relevanta kunskaper, färdigheter och procedurer som används för att lösa testobjektet. Dessa kunskaper, färdigheter och procedurer blir attributen i den kognitiva modellen, och deras tidssekvensering dokumenterad i den verbala rapporten ger den hierarkiska ordningen. En kognitiv modell härledd med hjälp av en uppgiftsanalys kan valideras och, om så krävs, modifieras med hjälp av muntliga rapporter som samlats in från tänk högt-studier.

Varför är noggrannheten i den kognitiva modellen viktig?

En korrekt kognitiv modell är avgörande av två skäl. För det första tillhandahåller en kognitiv modell tolkningsramen för att koppla testresultattolkningar till kognitiva färdigheter. Det vill säga att testutvecklaren har bättre förutsättningar att göra försvarbara påståenden om elevkunskaper, färdigheter och processer som står för testprestanda. För det andra ger en kognitiv modell en koppling mellan kognitiv och inlärningspsykologi med undervisning. Baserat på en examinands observerade svarsmönster kan detaljerad feedback om en examinands kognitiva styrkor och svagheter ges genom en poängrapport. Denna diagnostiska information kan sedan användas för att informera undervisning skräddarsydd för examinanden, med målen att förbättra eller åtgärda specifika kognitiva färdigheter.

Ett exempel på en kognitiv modell

Följande hierarki är ett exempel på en kognitiv modelluppgiftsutförande för kunskaper och färdigheter inom områdena ratio, factoring, funktion och substitution (kallad Ratios and Algebra hierarki). Denna hierarki är divergerande och består av nio attribut som beskrivs nedan. Om den kognitiva modellen antas vara sann, så antas en examinand som behärskar attribut A3 behärska attributen under den, nämligen attributen A1 och A2. Omvänt, om en examinand behärskar attribut A2, förväntas det att examinanden behärskar attribut A1 men inte A3.

En demonstration av attribut som krävs för att lösa objekt i förhållandena och algebrahierarkin
Attribut	Sammanfattning av attributet
A1	Representerar de mest grundläggande aritmetiska operationsfärdigheterna
A2	Inkluderar kunskap om faktorers egenskaper
A3	Innebär kompetensen att tillämpa reglerna för factoring
A4	Inkluderar de färdigheter som krävs för att ersätta värden i algebraiska uttryck
A5	Representerar förmågan att kartlägga en graf av en bekant funktion med dess motsvarande funktion
A6	Hanterar de abstrakta egenskaperna hos funktioner, såsom att känna igen den grafiska representationen av sambandet mellan oberoende och beroende variabler
A7	Kräver färdigheter att ersätta tal med algebraiska uttryck
A8	Representerar färdigheterna för avancerad substitution – algebraiska uttryck, snarare än siffror, måste ersättas med ett annat algebraiskt uttryck
A9	Avser färdigheter kopplade till regelförståelse och tillämpning

Hierarkin innehåller två oberoende grenar som delar en gemensam förutsättning – attribut A1. Förutom attribut A1 inkluderar den första grenen två ytterligare attribut, A2 och A3, och den andra grenen inkluderar en fristående underhierarki som inkluderar attributen A4 till A9. Tre oberoende grenar utgör underhierarkin: attributen A4, A5, A6; attribut A4, A7, A8; och attribut A4, A9. Som ett förutsättningsattribut inkluderar attribut A1 de mest grundläggande aritmetiska operationsfärdigheterna , såsom addition, subtraktion, multiplikation och division av tal. Attribut A2 och A3 handlar båda om faktorer. I attribut A2 behöver examinanden ha kunskap om egenskaper hos faktorer . I attribut A3 kräver examinanden inte bara kunskaper i factoring (dvs attribut A2), utan även färdigheter i att tillämpa factoringreglerna . Därför anses attribut A3 vara ett mer avancerat attribut än A2.

Den fristående underhierarkin innehåller sex attribut. Bland dessa attribut är attribut A4 förutsättningen för alla andra attribut i underhierarkin. Attribut A4 har attribut A1 som en förutsättning eftersom A4 inte bara representerar grundläggande färdigheter i aritmetiska operationer (dvs attribut A1), utan det innebär också utbyte av värden i algebraiska uttryck som är mer abstrakta och därför svårare än attribut A1. Den första grenen i underhierarkin handlar främst om funktionell grafläsning. För attribut A5 ska examinanden kunna kartlägga grafen för en bekant funktion med dess motsvarande funktion . I ett objekt som kräver attribut A5 (t.ex. objekt 4), krävs typiskt attribut A4 eftersom examinanden måste hitta slumpmässiga punkter i grafen och ersätta punkterna i funktionens ekvation för att hitta en matchning mellan grafen och funktionen. Attribut A6, å andra sidan, handlar om funktioners abstrakta egenskaper , såsom att känna igen den grafiska representationen av förhållandet mellan oberoende och beroende variabler. Graferna för mindre bekanta funktioner, såsom en funktion av polynom med högre effekt, kan vara inblandade. Därför anses attribut A6 vara svårare än attribut A5 och placeras under attribut A5 i underhierarkin.

Den andra grenen i underhierarkin tar hänsyn till de färdigheter som är förknippade med avancerad substitution. Attribut A7 kräver att examinanden byter ut tal i algebraiska uttryck . Komplexiteten hos attribut A7 i förhållande till attribut A4 ligger i den samtidiga hanteringen av flera par av tal och flera ekvationer. Attribut A8 representerar också kompetensen för avancerad substitution . Det som dock gör attribut A8 svårare än attribut A7 är att algebraiska uttryck, snarare än tal, måste ersättas med ett annat algebraiskt uttryck. Den sista grenen i underhierarkin innehåller endast ett ytterligare attribut, A9, relaterat till färdigheter förknippade med regelförståelse och tillämpning . Det är regeln, snarare än det numeriska värdet eller det algebraiska uttrycket som måste ersättas i objektet för att nå en lösning.

Kognitiv modellrepresentation

Attributhierarkin Ratio och Algebra kan också uttryckas i matrisform. Till att börja med specificeras det direkta förhållandet mellan attributen av en binär närliggande matris (A) av ordningen (k,k) , där k är antalet attribut, så att varje element i A-matrisen representerar frånvaron (dvs. 0 ) eller närvaro (dvs. 1) av en direkt koppling mellan två attribut. A-matrisen för Ratio- och Algebrahierarkin som presenteras visas nedan.

${\begin{bmatrix}0&1&0&1&0&0&0&0&0\\0&0&1&0&0&0&0&0&0\\0&0&0&0&0&0&0&0&0\\0&0&0&0&1&0&1&0&1\\0&0&0&0&0&1&0&0&0\\0&0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&1&0\\0&0&0&0&0&0&0&0&0\\0&0&0&0&0&0&0&0&0\end{bmatrix}}$

Varje rad och kolumn representerar A-matrisen ett attribut; den första raden och kolumnen representerar attribut A1 och den sista raden och kolumnen representerar attribut A9. Närvaron av en 1 i en viss rad anger en direkt koppling mellan det attributet och det attribut som motsvarar kolumnpositionen. Till exempel är attribut A1 direkt kopplat till attribut A2 på grund av närvaron av en 1 i den första raden (dvs attribut A1) och den andra kolumnen (dvs attribut A2). Positionerna 0 i rad 1 indikerar att A1 varken är direkt kopplad till sig själv eller till attributen A3 och A5 till A9.

De direkta och indirekta förhållandena mellan attribut specificeras av den binära nåbarhetsmatrisen (R) av ordningen (k,k) , där k är antalet attribut. För att erhålla R-matrisen från A-matrisen utförs booleska additions- och multiplikationsoperationer på närliggande matris, vilket betyder $R=(A+I)^{n}$ där n är heltal som krävs för att nå invarians, $n=1,2,\cdots ,m$ , och I är identitetsmatrisen. R-matrisen för Ratio- och Algebrahierarkin visas härnäst.

$&1\\0&1&1&0&0&0&0&0&0&0&0&0&0&0 \0&0&0&1&1&1&1&1&1\\0&0&0&0&1&1&0&0&0\ \0&0&0&0&0&1&0&0&0\\0&0&0&0&0&0&1&1&0\\0&0&0&0&0&0&0&0&1&0\\\0&0&0&0&0&0&0&0&1\end{bmatrix}}}$

I likhet med A-matrisen representerar varje rad och kolumn i matrisen ett attribut; den första raden och kolumnen representerar attribut A1 och den sista raden och kolumnen representerar attribut A9. Det första attributet är antingen direkt eller indirekt kopplat till alla attribut A1 till A9. Detta representeras av närvaron av 1:or i alla kolumner på rad 1 (dvs representerar attribut A1). I R-matrisen anses ett attribut vara relaterat till sig självt vilket resulterar i 1:or längs huvuddiagonalen. Med hänvisning tillbaka till hierarkin visas att attributet A1 är direkt kopplat till attributet A2 och indirekt till A3 genom dess koppling till A2. Attribut A1 är indirekt kopplat till attributen A5 till A9 genom sin koppling till A4.

Den potentiella poolen av poster representeras av incidensmatrisen (Q) ordningsmatrisen ( k, p ), där k är antalet attribut och p är antalet potentiella poster. Denna pool av artiklar representerar alla kombinationer av attributen när attributen är oberoende av varandra. Emellertid kan denna pool av poster reduceras för att bilda den reducerade incidensmatrisen (Qr ), genom _att införa begränsningarna för attributhierarkin som definieras av R-matrisen. Q _r -matrisen representerar objekt som fångar beroenden mellan de attribut som definieras i attributhierarkin. Qr _- matrisen bildas med hjälp av boolesk inkludering genom att bestämma vilka kolumner i R-matrisen som logiskt ingår i varje kolumn i Q-matrisen. Qr _- matrisen är av ordning ( k,) där k är antalet attribut och i är det reducerade antalet artiklar som är ett resultat av begränsningarna i hierarkin. För Ratio- och Algebra-hierarkin visas Q _{r- matrisen härnäst.}

$&1\\0&1&1&0&0&0&0&0&0&0&0&0&0&0 \0&0&0&1&1&1&1&1&1\\0&0&0&0&1&1&0&0&0\ \0&0&0&0&0&1&0&0&0\\0&0&0&0&0&0&1&1&0\\0&0&0&0&0&0&0&0&1&0\\\0&0&0&0&0&0&0&0&1\end{bmatrix}}}$

Q _r -matrisen tjänar en viktig plan för utveckling av testobjekt där artiklar kan skapas för att mäta varje specifik kombination av attribut. På så sätt kan varje komponent i den kognitiva modellen utvärderas systematiskt. I det här exemplet krävs minst 9 poster för att mäta alla attributkombinationer som anges i Q _r -matrisen.

De förväntade examinandens svarsmönster kan nu genereras med hjälp av Q _r -matrisen. En förväntad examinand konceptualiseras som en hypotetisk examinand som korrekt svarar på frågor som kräver kognitiva attribut som examinanden behärskar. Den förväntade svarsmatrisen (E) skapas, med användning av boolesk inkludering, genom att jämföra varje rad i attributmönstermatrisen (som är transponeringen av Q _r -matrisen) med kolumnerna i Q _r -matrisen. Den förväntade svarsmatrisen är av ordning ( j,i ), där j är antalet examinander och i är det reducerade antalet poster som är ett resultat av de begränsningar som härarkin ställer. E-matrisen för Ratio- och Algebrahierarkin visas nedan.

${\begin{bmatrix}0&0&0&0&0&0&0&0&0\\1&0&0&0&0&0&0&0&0\\1&1&0&0&0&0&0&0&0\\1&1&1&0&0&0&0&0&0\\1&0&0&1&0&0&0&0&0\\1&1&0&1&0&0&0&0&0\\1&1&1&1&0&0&0&0&0\\1&0&0&1&1&0&0&0&0\\1&1&0&1&1&0&0&0&0\\1&1&1&1&1&0&0&0&0\\1&0&0&1&1&1&0&0&0\\1&1&0&1&1&1&0&0&0\\1&1&0&1&1&1&0&0&0 \\1&0&0&1&0&0&1&0&0\\1&1&0&1&0&0&1&0&0\\1&1&1&1&0&0&0&1&0&0\\1&0&0&1&1&0&1&0&0\\\1&1&0&1&1&1&0&1&1&0\\&1&0&1&1&0\\\ 1&1&1&1&0&0\\\1&1&0&1&1&1&1&0&0\\\1&1&1&1&1&1&1&0&0\\\1&0&0&1&0&0&0&1&1&0\\1&1&0&1&0&0&1&1&0\\&0&1&1&01&1&1&1&0\&0&1&1&01&1&1 &0\\1&1&0&1&1&0&1&1&0\\1&1&1&1&1&0&1&1&0\\1&0&0&1&1&1&1&1&1&0\\ 1&1&0&1&1&1&1&1&0\\\1&1&1&1&1&1&1&1&0\\\1&0&0&1&0&0&0&0&0&1\\1&1&0&1&0&0&0&0&1\\&1&1&1&1&0&0&0&0&0&0&1&1&1&1&0&0&0&0&0&1&1\\\\ &1&0&0&0&1\\\1&1&1&1&1&0&0&0&1\\1&0&0&1&1&1&0&0&1\\\1&1&0&1&1&1&1&0&0&1\\1&1&1&1&1&1&0&0&1\\\1&0&0&1&0&0&0&1\\1&0&0&1&1&0 1\\1&1&1&1&0&0&1&0&1\\\1&0&0&1&1&0&1&0&1\\1&1&0&1&1&0&1&0&1\\\1&1&1&1&1&0&1&0&1\ \1&0&0&1&1&1&1&0&1\\\1&1&0&1&1&1&1&0&1\\\1&1&1&1&1&1&1&1&0&1\\\1&0&0&1&0&0&1&1&1\\&1&1&0&1&0&0&0&1&0&1&1&1&1&1&1&1&1&1 &1&0&1&1&1\\1&1&0&1&1&0&1&1&1\\1&1&1&1&1&0&1&1&1\\\1&0&0&1&1&1&1&1&1&1\\1&1&0&1&1&1&1&1&1\\\1&1&1&1&1&1matris$

Om den kognitiva modellen är sann, bör 58 unika objektsvarsmönster produceras av undersökare som skriver dessa kognitivt baserade objekt. En rad med nollor läggs vanligtvis till E-matrisen som representerar en examinand som inte behärskar några attribut. För att sammanfatta, om examinandens attributmönster innehåller de attribut som krävs av punkten, förväntas examinanden svara korrekt på punkten. Om examinandens attributmönster saknar en eller flera av de kognitiva attribut som krävs av momentet förväntas dock inte examinanden svara korrekt.

Testutveckling

Den kognitiva modellens roll i produktutveckling

Den kognitiva modellen i form av en attributhierarki har direkta implikationer för produktutvecklingen. Objekt som mäter varje attribut måste bibehålla den hierarkiska ordningen av attributen som specificeras av den kognitiva modellen samtidigt som de mäter allt mer komplexa kognitiva processer. Dessa objekttyper kan ha antingen flervals- eller konstruerade svarsformat . Hittills har AHM använts med poster som poängsätts dikotomt där 1 motsvarar ett korrekt svar och 0 motsvarar ett felaktigt svar. Därför kan en elevs testprestation sammanfattas med en vektor av korrekta och felaktiga svar i form av 1:or och 0:or. Denna vektor fungerar sedan som indata för den psykometriska analysen där examinandens attributbehärskning uppskattas.

Tillvägagångssätt för produktutveckling

Attributen i den kognitiva modellen är specificerade med en finkornig storlek för att ge en detaljerad kognitiv färdighetsprofil om examinandens provprestation. Detta kräver många objekt som måste skapas för att mäta varje attribut i hierarkin. För datorbaserade tester är automatiserad objektgenerering (AIG) en lovande metod för att generera flera objekt "i farten" som har liknande form och psykometriska egenskaper med hjälp av en gemensam mall.

Exempel på objekt anpassade till attributen i en hierarki

Med hänvisning tillbaka till bildrepresentationen av Ratio- och Algebrahierarkin, kan ett objekt konstrueras för att mäta de färdigheter som beskrivs i vart och ett av attributen. Till exempel inkluderar attribut A1 de mest grundläggande aritmetiska operationsfärdigheterna , såsom addition, subtraktion, multiplikation och division av tal. Ett objekt som mäter denna färdighet kan vara följande: examinander presenteras för det algebraiska uttrycket $4(t+u)+3=19$ och ombeds lösa för (t + u). För detta objekt måste examinatorerna subtrahera 3 från 19 och sedan dividera 16 med 4.

Attribut A2 representerar kunskap om egenskaper hos faktorer . Ett exempel på ett objekt som mäter detta attribut är "Om (p + 1)(t – 3) = 0 och p är positivt, vad är värdet på t?" Examinanden måste känna till egenskapen att värdet av minst en faktor måste vara noll om produkten av flera faktorer är noll. När denna egenskap är igenkänd skulle examinanden kunna känna igen det eftersom p är positivt, (t – 3) måste vara noll för att värdet av hela uttrycket ska bli noll, vilket slutligen skulle ge värdet 3 för t. För att svara rätt på denna fråga bör examinanden ha behärskat både attributen A1 och A2.

Attribut A3 representerar inte bara kunskap om factoring (dvs. attribut A2), utan också färdigheter i att tillämpa reglerna för factoring . Ett exempel på ett objekt som mäter detta attribut är " ${\mbox{Om }}{\frac {x+y}{ab}}={\frac {2}{3}}{\mbox{, sedan }}{\frac {9x+9y}{ 10a-10b}}=?$ ”. Först efter att examinanden faktoriserat det andra uttrycket till produkten av det första uttrycket skulle beräkningen av värdet på det andra uttrycket bli uppenbar. För att besvara denna fråga korrekt bör examinanden ha behärskat attributen A1, A2 och A3.

Psykometrisk analys

Under detta skede används statistisk mönsterigenkänning för att identifiera de attributkombinationer som examinanden sannolikt kommer att ha baserat på det observerade examinationssvaret i förhållande till de förväntade svarsmönstren härledda från den kognitiva modellen.

Utvärdera modell-data passform

Före ytterligare analys måste den angivna kognitiva modellen korrekt återspegla de kognitiva attribut som används av examinanden. Det förväntas att det kommer att finnas diskrepanser, eller glidningar, mellan observerade svarsmönster som genereras av en stor grupp av examinander och de förväntade svarsmönstren. Passningen av den kognitiva modellen i förhållande till de observerade svarsmönstren som erhållits från examinander kan utvärderas med hjälp av Hierarchical Consistency Index. HCI utvärderar i vilken grad de observerade svarsmönstren överensstämmer med attributhierarkin . HCI för examinand i ges av :

HCI_{i}=1-{\frac {\sum _{j= 1}^{J}\summa _{g\in s_{j}}X_{i_{j}}(1-X_{i_{g}})}{N_{c_{i}}}}

där J är det totala antalet artiklar, X _{i _j} är examinandens i :s poäng (dvs. 1 eller 0) till objekt j, S _j inkluderar objekt som kräver delmängden av attribut för objekt j och N _{c _i} är summan antal jämförelser för korrekt besvarade uppgifter per examinand i .

Värdena för HCI sträcker sig från −1 till +1. Värden närmare 1 indikerar en god anpassning mellan det observerade svarsmönstret och de förväntade svarsmönstren för examinanden som genereras från hierarkin. Omvänt indikerar låga HCI-värden en stor diskrepans mellan de observerade svarsmönstren för undersökaren och de förväntade svarsmönstren för undersökaren som genereras från hierarkin. HCI-värden över 0,70 indikerar bra modelldatapassform.

Varför är modelldatapassning viktigt?

Att erhålla god modell-data-anpassning ger ytterligare bevis för att validera den specificerade attributhierarkin, vilket krävs innan man fortsätter med bestämning av en examinands attributbehärskning. Om data inte visas för att passa modellen, kan olika orsaker förklara det stora antalet avvikelser, inklusive: en felaktig specifikation av attributen, felaktig ordning av attribut inom hierarkin, artiklar som inte mäter de angivna attributen och/eller modellen reflekterar inte de kognitiva processer som används av ett givet urval av examinander. Därför bör den kognitiva modellen vara korrekt definierad och nära anpassad till de observerade svarsmönstren för att tillhandahålla en materiell ram för att dra slutsatser om en specifik grupp av examinandens kunskaper och färdigheter. لابلب

Uppskattning av attributsannolikheter

När vi väl har fastställt att modellen passar data, kan attributsannolikheterna beräknas. Användningen av attributsannolikheter är viktig i de psykometriska analyserna av AHM eftersom dessa sannolikheter ger undersökare specifik information om deras prestanda på attributnivå som en del av den diagnostiska rapporteringsprocessen. För att uppskatta sannolikheten för att undersökare har specifika attribut, givet deras observerade objektsvarsmönster, används en artificiell neurala nätverksmetod .

Kort beskrivning av ett neuralt nätverk

Det neurala nätverket är en typ av parallellbearbetningsarkitektur som omvandlar alla stimulanser som tas emot av ingångsenheten (dvs stimulusenheter) till en signal för utenheten (dvs svarsenheter) genom en serie dolda enheter på mellannivå. Varje enhet i ingångslagret är ansluten till varje enhet i det dolda lagret och i sin tur till varje enhet i utdatalagret.

Generellt sett kräver ett neuralt nätverk följande steg. Till att börja med får varje cell i inmatningsskiktet ett värde (0 eller 1) som motsvarar svarsvärdena i exemplarvektorn. Varje ingångscell skickar sedan värdet den tar emot till varje gömd cell. Varje dold cell bildar en linjärt viktad summa av dess input och transformerar summan med hjälp av logistikfunktionen och skickar resultatet till varje utdatacell. Varje utdatacell bildar i sin tur en linjärt viktad summa av dess indata från de dolda cellerna och transformerar den med hjälp av logistikfunktionen, och matar ut resultatet. Eftersom resultatet skalas med den logistiska transformationen sträcker sig utdatavärdena från 0 till 1. Resultatet kan tolkas som sannolikheten att det korrekta värdet eller målvärdet för varje utdata kommer att ha ett värde på 1.

Utgångsmålen i svarsenheterna (dvs. examinationsattributen) jämförs med mönstret som är associerat med varje stimulusinmatning eller exemplar (dvs. de förväntade svarsmönstren). Lösningen som initialt produceras med stimulans- och associationskopplingsvikterna kommer sannolikt att vara avvikande vilket resulterar i ett relativt stort fel. Emellertid kan detta avvikande resultat användas för att modifiera anslutningsvikterna och därigenom leda till en mer exakt lösning och en mindre felterm. Ett populärt tillvägagångssätt för att approximera vikterna så att feltermen minimeras är med en inlärningsalgoritm som kallas den generaliserade deltaregeln som är inkorporerad i en träningsprocedur som kallas backpropagation of error .

Specifikation av det neurala nätverket

Beräkning av attributsannolikheter börjar med att presentera det neurala nätverket med både de genererade förväntade testpersonens svarsmönster från steg 1, med deras tillhörande attributmönster som härleds från den kognitiva modellen (dvs transponeringen av Q r-matrisen), tills nätverket _lär sig varje förening. Resultatet är en uppsättning viktmatriser som kommer att användas för att beräkna sannolikheten för att en examinand har bemästrat ett visst kognitivt attribut baserat på deras observerade svarsmönster. En attributsannolikhet nära 1 skulle indikera att examinanden sannolikt har bemästrat det kognitiva attributet, medan en sannolikhet nära 0 skulle indikera att examinanden sannolikt inte behärskar det kognitiva attributet.

Rapportera resultaten

Ett exempel på diagnostisk resultatrapport för en undersökt som behärskar attributen A1, A4, A5 och A6

Vikten av rapporteringsprocessen

Resultatrapportering fyller en kritisk funktion som gränssnittet mellan testutvecklaren och en mångsidig publik av testanvändare. En poängrapport måste innehålla detaljerad information, som ofta är teknisk till sin natur, om betydelser och möjliga tolkningar av resultat som användare kan göra. Standarderna för pedagogisk och psykologisk testning definierar tydligt testutvecklarnas roll i rapporteringsprocessen. Standard 5.10 säger: När information om testresultat släpps till elever, föräldrar, juridiska företrädare, lärare, klienter eller media, bör de som är ansvariga för att testa programmen tillhandahålla lämpliga tolkningar. Tolkningarna ska på ett enkelt språk beskriva vad testet omfattar, vad poängen betyder och hur poängen kommer att användas.

Rapportera kognitiva diagnostiska resultat med hjälp av AHM

En viktig fördel med AHM är att den stöder individualiserad diagnostisk poängrapportering med hjälp av attributets sannolikhetsresultat. Poängrapporterna som tagits fram av AHM har inte bara en totalpoäng utan också detaljerad information om vilka kognitiva attribut som mättes av testet och i vilken grad de undersökta behärskar dessa kognitiva attribut. Denna diagnostiska information är direkt kopplad till attributbeskrivningarna, individuellt anpassad för varje elev och enkelt presenterad. Därför ger dessa rapporter specifik diagnostisk feedback som kan styra instruktionsbeslut. För att visa hur AHM kan användas för att rapportera testresultat och ge diagnostisk feedback, presenteras en exempelrapport härnäst. I exemplet till höger behärskar examinanden attributen A1 och A4 till A6. Tre prestationsnivåer valdes ut för att rapportera attributbehärskning: icke-behärskning (attributsannolikhetsvärde mellan 0,00 och 0,35), partiell behärskning (attributsannolikhetsvärde mellan 0,36 och 0,70) och behärskning (attributsannolikhetsvärde mellan 0,71 och 1,00). Resultaten i poängrapporten visar att examinanden tydligt behärskar fyra attribut, A1 (grundläggande aritmetiska operationer), A4 (färdigheter som krävs för att ersätta värden i algebraiska uttryck), A5 (färdigheterna att kartlägga en graf av en bekant funktion med dess motsvarande funktion) och A6 (abstrakta egenskaper hos funktioner). Examinanden har inte bemästrat de färdigheter som är förknippade med de återstående fem attributen.

Implikationer av AHM för kognitiv diagnostisk bedömning

Integrering av bedömning, undervisning och lärande

Effekter av resultaten av en kognitiv diagnostisk bedömning

Ökningen i popularitet för kognitiva diagnostiska bedömningar kan spåras till två källor: bedömningsutvecklare och bedömningsanvändare. Bedömningsutvecklare ser stor potential för kognitiva diagnostiska bedömningar för att informera undervisning och lärande genom att förändra hur nuvarande bedömningar utformas. Bedömningsutvecklare hävdar också att för att maximera de pedagogiska fördelarna med bedömningar, bör läroplanen, undervisningen och bedömningsdesignen anpassas och integreras.

Bedömningsanvändare, inklusive lärare och andra pedagogiska intressenter, efterfrågar i allt högre grad relevanta resultat från pedagogiska bedömningar. Detta kräver att bedömningar är anpassade till klassrummets praxis för att vara av maximalt instruktionsvärde.

AHM hittills, som en form av kognitiv diagnostisk bedömning, tar upp vägen mellan läroplan och bedömningsdesign genom att identifiera de kunskaper, färdigheter och processer som faktiskt används av examinerade för att lösa problem inom en given domän. Dessa kognitiva attribut organiserade i en kognitiv modell blir inte bara representation av konstruktionen av intresse, utan också den kognitiva testplanen. Objekt kan sedan konstrueras för att systematiskt mäta varje attributkombination inom den kognitiva modellen.

Vägen mellan bedömningsdesign och undervisning tas också upp genom att ge specifik, detaljerad feedback om en examinands prestation när det gäller de kognitiva attribut som bemästras. Denna kognitiva diagnostiska feedback ges till elever och lärare i form av en poängrapport. Färdighetsbehärskningsprofilen, tillsammans med tilläggsinformation som exemplariska provobjekt, kan användas av läraren för att fokusera undervisningsinsatser på områden där eleven behöver ytterligare hjälp. Bedömningsresultat kan också ge feedback till läraren om hur effektiv undervisningen är för att främja lärandemålen.

AHM är en lovande metod för kognitiv diagnostisk bedömning. Att använda ett principiellt testdesignmetoder, integrera kognition i testutveckling, kan främja starkare slutsatser om hur elever faktiskt tänker och löser problem. Med denna kunskap kan eleverna förses med ytterligare information som kan vägleda deras lärande, vilket leder till förbättrade prestationer på framtida utbildningsbedömningar och problemlösningsuppgifter.

Föreslagen läsning

Leighton, JP, & Gierl, MJ (red.). (2007). Kognitiv diagnostisk bedömning för utbildning: Teori och tillämpningar. Cambridge, Storbritannien: Cambridge University Press.

externa länkar

Centrum för forskning inom tillämpad mätning och utvärdering