Program för internationell studentbedömning

Program för internationell studentbedömning
Förkortning PISA
Bildning 1997
Syfte Jämförelse av utbildningsnivåer över hela världen
Huvudkontor OECD:s högkvarter
Plats
Regionen betjänas
Värld
Medlemskap
79 statliga utbildningsavdelningar
Officiellt språk
engelska och franska
Chef för avdelningen Småbarn och skolor
Yuri Belfali
Huvudorgel
PISAs styrande organ (ordförande – Michele Bruniges)
Föräldraorganisation
OECD
Hemsida www .oecd .org /pisa /
PISA genomsnittliga matematikpoäng (2018)
PISA genomsnittliga vetenskapspoäng (2018)
PISA genomsnittliga läsningspoäng (2018)

Program for International Student Assessment ( PISA ) är en världsomspännande studie av Organisationen för ekonomiskt samarbete och utveckling (OECD) i medlemsländer och icke-medlemsländer avsedd att utvärdera utbildningssystem genom att mäta 15-åriga skolelevers skolprestationer om matematik, naturvetenskap och läsning. Den framfördes första gången 2000 och upprepades sedan vart tredje år. Dess syfte är att tillhandahålla jämförbara uppgifter i syfte att göra det möjligt för länder att förbättra sin utbildningspolitik och sina resultat. Den mäter problemlösning och kognition.

Resultaten av 2018 års datainsamling släpptes den 3 december 2019.

Inflytande och påverkan

PISA och liknande internationella standardiserade bedömningar av utbildningsnivåer används i allt större utsträckning i utbildningspolitiken på både nationell och internationell nivå.

PISA utformades för att sätta i ett vidare sammanhang den information som tillhandahålls av nationell övervakning av utbildningssystemets prestationer genom regelbundna bedömningar inom en gemensam, internationellt överenskommen ram; genom att undersöka relationer mellan elevers lärande och andra faktorer kan de "ge insikter i källor till variation i prestationer inom och mellan länder".

Fram till 1990-talet använde få europeiska länder nationella prov. På 1990-talet införde tio länder/regioner standardiserad bedömning och sedan början av 2000-talet har ytterligare tio följt efter. År 2009 hade endast fem europeiska utbildningssystem inga nationella studentbedömningar.

Effekterna av dessa internationella standardiserade bedömningar inom utbildningspolitikens område har varit betydande, i termer av skapandet av ny kunskap , förändringar i bedömningspolitiken och externt inflytande över den nationella utbildningspolitiken mer allmänt. [ vem? ] [ citat behövs ]

Skapande av ny kunskap

Data från internationella standardiserade bedömningar kan vara användbara i forskning om orsaksfaktorer inom eller över utbildningssystem. Mons konstaterar att databaserna som genererats av storskaliga internationella bedömningar har gjort det möjligt att genomföra inventeringar och jämförelser av utbildningssystem i en aldrig tidigare skådad skala* på teman som sträcker sig från villkoren för att lära sig matematik och läsa, till institutionell autonomi och antagningspolicy. De gör det möjligt att utveckla typologier som kan användas för jämförande statistiska analyser av utbildningsresultatindikatorer, och därigenom identifiera konsekvenserna av olika politiska val. De har genererat ny kunskap om utbildning: PISA-fynd har utmanat djupt förankrade pedagogiska metoder, som att tidigt spåra elever till yrkes- eller akademiska vägar.

  • 79 länder och ekonomier deltog i 2018 års datainsamling.

Barroso och de Carvalho finner att PISA tillhandahåller en gemensam referens som kopplar samman akademisk forskning inom utbildning och den offentliga politikens politiska område, och fungerar som en medlare mellan olika kunskapsområden från utbildningsområdet och offentlig politik. Men även om nyckelresultaten från jämförande bedömningar är allmänt delade i forskarvärlden, stämmer den kunskap de skapar inte nödvändigtvis med regeringens reformagendor; detta leder till en del olämplig användning av bedömningsdata.

Förändringar i nationell bedömningspolicy

Ny forskning tyder på att internationella standardiserade bedömningar har en inverkan på nationell bedömningspolicy och praxis. PISA integreras i nationell policy och praxis för bedömning, utvärdering, läroplansstandarder och resultatmål; dess ramar och instrument för bedömning används som modeller för bästa praxis för att förbättra nationella bedömningar. många länder har uttryckligen införlivat och betonat PISA-liknande kompetenser i reviderade nationella standarder och läroplaner; andra använder PISA-data för att komplettera nationella data och validera nationella resultat mot ett internationellt riktmärke.

Yttre inflytande över nationell utbildningspolitik

Viktigare än dess inflytande på ländernas policy för studentbedömning är de olika sätt på vilka PISA påverkar ländernas utbildningspolitiska val.

Beslutsfattare i de flesta deltagande länder ser PISA som en viktig indikator på systemets prestanda; PISA-rapporter kan definiera policyproblem och sätta agendan för nationell policydebatt; Politiker verkar acceptera PISA som ett giltigt och tillförlitligt instrument för internationell benchmarking av systemprestanda och förändringar över tid; de flesta länder – oavsett om de presterade över, på eller under den genomsnittliga PISA-poängen – har påbörjat politiska reformer som svar på PISA-rapporter.

Mot detta varierar inverkan på de nationella utbildningssystemen markant. Till exempel i Tyskland orsakade resultaten av den första PISA-bedömningen den så kallade "PISA-chocken": ett ifrågasättande av tidigare accepterade utbildningspolicyer; i en stat präglad av svartsjukt bevakade regionalpolitiska skillnader ledde det i slutändan till en överenskommelse mellan alla delstater om att införa gemensamma nationella standarder och till och med en institutionaliserad struktur för att säkerställa att de efterlevdes. I Ungern som jämförelse, som delade liknande förhållanden som Tyskland, har PISA-resultaten inte lett till betydande förändringar i utbildningspolitiken.

Eftersom många länder har satt upp nationella prestationsmål baserat på deras relativa rang eller absoluta PISA-poäng, har PISA-bedömningar ökat inflytandet från deras (icke-valda) uppdragsgivande organ, OECD, som en internationell utbildningsövervakare och policyaktör, vilket innebär en viktig grad av "policyöverföring" från internationell till nationell nivå; Särskilt PISA har "en inflytelserik normativ effekt på inriktningen av nationell utbildningspolitik". Således hävdas det att användningen av internationella standardiserade bedömningar har lett till en förskjutning mot internationell, extern ansvarighet för nationella systemprestanda; Rey hävdar att PISA-undersökningar, framställda som objektiva diagnoser från tredje part av utbildningssystem, faktiskt tjänar till att främja specifika inriktningar i utbildningsfrågor.

Nationella politiska aktörer hänvisar till högpresterande PISA-länder för att "hjälpa till att legitimera och motivera deras avsedda reformagenda inom omstridda nationella politiska debatter". PISA-data kan "användas för att underblåsa långvariga debatter kring redan existerande konflikter eller rivaliteter mellan olika politiska alternativ, som i den franska gemenskapen i Belgien". I sådana fall används PISA-bedömningsdata selektivt: i den offentliga debatten använder regeringar ofta bara ytliga drag i PISA-undersökningar som landrankningar och inte de mer detaljerade analyserna. Rey (2010:145, med hänvisning till Greger, 2008) noterar att de verkliga resultaten av PISA-bedömningar ofta ignoreras eftersom beslutsfattare selektivt hänvisar till data för att legitimera policyer som införts av andra skäl.

Dessutom kan PISA:s internationella jämförelser användas för att motivera reformer som uppgifterna i sig inte har något samband med; i Portugal, till exempel, användes PISA-data för att motivera nya arrangemang för lärarbedömning (baserat på slutsatser som inte motiverades av själva bedömningarna och uppgifterna); de matade också regeringens diskurs om frågan om elever som upprepar ett år (vilket, enligt forskning, inte lyckas förbättra studenternas resultat). I Finland användes landets PISA-resultat (som i andra länder anses vara utmärkta) av ministrarna för att främja ny politik för "begåvade" elever. Sådana användningar och tolkningar förutsätter ofta orsakssamband som inte legitimt kan baseras på PISA-data, vilket normalt skulle kräva mer omfattande undersökningar genom kvalitativa djupstudier och longitudinella undersökningar baserade på blandade kvantitativa och kvalitativa metoder, som politiker ofta är ovilliga att finansiera.

De senaste decennierna har sett en expansion i användningen av PISA och liknande bedömningar, från att bedöma elevernas lärande, till att koppla ihop "utbildningsområdet (deras traditionella uppdrag) med det politiska området". Detta väcker frågan om huruvida PISA-data är tillräckligt robusta för att bära vikten av de stora politiska beslut som baseras på dem, för enligt Breakspear har PISA-data "kommit att alltmer forma, definiera och utvärdera de viktigaste målen för nationella/federala utbildningssystem". Detta innebär att de som ställer PISA-testen – t.ex. genom att välja innehåll som ska bedömas och inte bedömas – har stor makt att sätta villkoren för utbildningsdebatten och att styra utbildningsreformer i många länder runt om i världen.

Ramverk

PISA står i en tradition av internationella skolstudier, genomförda sedan slutet av 1950-talet av International Association for the Evaluation of Educational Achievement ( IEA). Mycket av PISAs metodik följer exemplet med Trends in International Mathematics and Science Study (TIMSS, som startade 1995), som i sin tur var mycket influerad av USA:s National Assessment of Educational Progress (NAEP). Läsdelen i PISA är inspirerad av IEA:s Progress in International Reading Literacy Study ( PIRLS).

PISA syftar till att testa läskunnighet elevernas kompetens inom tre områden: läsning, matematik, naturvetenskap på obestämd skala.

PISA-testet för matematikläserlighet ber eleverna att tillämpa sina matematiska kunskaper för att lösa problem i verkliga sammanhang. För att lösa problemen måste eleverna aktivera ett antal matematiska kompetenser samt ett brett utbud av matematiskt innehållskunskap. TIMSS, å andra sidan, mäter mer traditionellt klassrumsinnehåll som en förståelse för bråktal och decimaler och förhållandet mellan dem (läroplansuppfyllelse). PISA påstår sig mäta utbildningens tillämpning på verkliga problem och livslångt lärande (kunskap om arbetskraft).

I läsprovet "mäter OECD/PISA inte i vilken utsträckning 15-åriga elever är flytande läsare eller hur kompetenta de är på ordigenkänningsuppgifter eller stavning." Istället bör de kunna "konstruera, utvidga och reflektera över innebörden av det de har läst över ett brett spektrum av kontinuerliga och icke-kontinuerliga texter."

PISA bedömer också studenter inom innovativa domäner. Under 2012 och 2015 testades de utöver läsning, matematik och naturvetenskap i samverkande problemlösning. Under 2018 var den ytterligare innovativa domänen global kompetens.

Genomförande

PISA sponsras, styrs och samordnas av OECD, men betalas av deltagande länder. [ citat behövs ]

Metod för testning

Provtagning

Eleverna som testas av PISA är i åldern mellan 15 år och 3 månader och 16 år och 2 månader i början av bedömningsperioden. Det läsår eleverna går i beaktas inte. Endast elever i skolan testas, inte hemskolebarn. I PISA 2006 använde dock flera länder även ett betygsbaserat urval av elever. Detta gjorde det möjligt att studera hur ålder och läsår samverkar.

För att uppfylla OECD:s krav måste varje land ta ett urval på minst 5 000 studenter. I små länder som Island och Luxemburg , där det finns färre än 5 000 elever per år, testas en hel ålderskohort. Vissa länder använde mycket större urval än vad som krävs för att möjliggöra jämförelser mellan regioner.

Testa

PISA-testdokument på ett skolbord (Neues Gymnasium, Oldenburg, Tyskland, 2006)

Varje elev gör ett tvåtimmars datorbaserat test. En del av testet är flervalsprov och en del innebär mer utförliga svar. Det finns sex och en halv timmes bedömningsmaterial, men varje elev testas inte på alla moment. Efter det kognitiva testet spenderar deltagande elever nästan en timme till med att svara på ett frågeformulär om sin bakgrund, inklusive inlärningsvanor, motivation och familj. Skolchefer fyller i ett frågeformulär som beskriver skolans demografi, finansiering etc. Under 2012 erbjöds deltagarna, för första gången i historien om storskaliga tester och bedömningar, en ny typ av problem, dvs interaktiva (komplexa) problem som kräver utforskning av en ny virtuell enhet.

I utvalda länder började PISA experimentera med adaptiv datortestning .

Nationella tillägg

Länder får kombinera PISA med kompletterande nationella prov.

Tyskland gör detta på ett mycket omfattande sätt: Dagen efter det internationella provet gör eleverna ett nationellt prov som heter PISA-E (E=Ergänzung=komplement). Testobjekt av PISA-E är närmare TIMSS än PISA. Medan endast cirka 5 000 tyska studenter deltar i det internationella och det nationella provet, gör ytterligare 45 000 endast det nationella provet. Detta stora urval behövs för att möjliggöra en analys av federala stater. Efter en sammandrabbning om tolkningen av 2006 års resultat varnade OECD Tyskland för att man kan dra tillbaka rätten att använda "PISA"-märkningen för nationella prov.

Dataskalning

Från början har PISA designats med en särskild metod för dataanalys i åtanke. Eftersom eleverna arbetar med olika testhäften måste råpoängen "skalas" för att möjliggöra meningsfulla jämförelser. Poängen skalas så att OECD-genomsnittet inom varje domän (matematik, läsning och naturvetenskap) är 500 och standardavvikelsen är 100. Detta gäller endast för den initiala PISA-cykeln när skalan först introducerades, även om efterföljande cykler är länkade till de tidigare cyklerna genom IRT-skala länkningsmetoder.

Denna generering av kompetensuppskattningar görs med hjälp av en latent regressionsförlängning av Rasch-modellen , en modell för objektsvarsteori (IRT), även känd som konditioneringsmodell eller populationsmodell. Kompetensuppskattningarna tillhandahålls i form av så kallade plausibla värden, som tillåter opartiska uppskattningar av skillnader mellan grupper. Den latenta regressionen, tillsammans med användningen av en Gaussisk tidigare sannolikhetsfördelning av elevkompetenser, möjliggör uppskattning av kompetensfördelningarna för grupper av deltagande elever. Skalnings- och konditioneringsprocedurerna beskrivs i nästan identiska termer i de tekniska rapporterna från PISA 2000, 2003, 2006. NAEP och TIMSS använder liknande skalningsmetoder.

Ranking resultat

Alla PISA-resultat är tabellerade per land; de senaste PISA-cyklerna har separata provinsiella eller regionala resultat för vissa länder. Det mesta av allmänhetens uppmärksamhet koncentreras på bara ett resultat: de genomsnittliga poängen för länder och deras rangordning av länder mot varandra. I de officiella rapporterna ges dock rankningar land för land inte som enkla ligatabeller utan som korstabeller som anger för varje par av länder huruvida medelpoängskillnader är statistiskt signifikanta (osannolikt beror på slumpmässiga fluktuationer i elevurvalet) eller i objektfunktion). I gynnsamma fall räcker det med en skillnad på 9 poäng för att anses signifikant. [ citat behövs ]

PISA kombinerar aldrig poäng inom matematik, naturvetenskap och läsdomän till ett övergripande betyg. Men kommentatorer har ibland kombinerat testresultat från alla tre domänerna till en övergripande landsrankning. Sådan metaanalys stöds inte av OECD, även om officiella sammanfattningar ibland använder poäng från en testcykels huvuddomän som en proxy för elevernas övergripande förmåga.

PISA 2018 rankingsammanfattning

Resultaten av PISA 2018 presenterades den 3 december 2019, som inkluderade data för cirka 600 000 deltagande studenter i 79 länder och ekonomier, där Kinas ekonomiska område Peking , Shanghai , Jiangsu och Zhejiang framstår som bäst presterande i alla kategorier. Observera att detta inte representerar hela Kinas fastland. Läsresultat för Spanien släpptes inte på grund av upplevda anomalier.

Matematik Vetenskap Läsning
1   Kina (BSJZ) 591
2  Singapore 569
3  Macau 558
4  Hong Kong 551
5  Taiwan 531
6  Japan 527
7  Sydkorea 526
8  Estland 523
9  Nederländerna 519
10  Polen 516
11  Schweiz 515
12  Kanada 512
13  Danmark 509
13  Slovenien 509
15  Belgien 508
16  Finland 507
17  Sverige 502
17  Storbritannien 502
19  Norge 501
20  Tyskland 500
20  Irland 500
22  Tjeckien 499
22  Österrike 499
24  Lettland 496
24  Vietnam 496
26  Frankrike 495
26  Island 495
28  Nya Zeeland 494
29  Portugal 492
30  Australien 491
Internationellt genomsnitt (OECD) 489
31  Ryssland 488
32  Italien 487
33  Slovakien 486
34  Luxemburg 483
35  Litauen 481
35  Spanien 481
35  Ungern 481
38  Förenta staterna 478
39  Belarus 472
39  Malta 472
41  Kroatien 464
42  Israel 463
43  Kalkon 454
44  Ukraina 453
45  Cypern 451
45  Grekland 451
47  Serbien 448
48  Malaysia 440
49  Albanien 437
50  Bulgarien 436
51  Förenade arabemiraten 435
52  Brunei 430
52  Montenegro 430
52  Rumänien 430
55  Kazakstan 423
56  Moldavien 421
57  Azerbajdzjan 420
58  Thailand 419
59  Uruguay 418
60  Chile 417
61  Qatar 414
62  Mexiko 409
63  Bosnien och Hercegovina 406
64  Costa Rica 402
65  Jordanien 400
65  Peru 400
67  Georgien 398
68  Nordmakedonien 394
69  Libanon 393
70  Colombia 391
71  Brasilien 384
72  Argentina 379
72  Indonesien 379
74  Saudiarabien 373
75  Marocko 368
76  Kosovo 366
77  Panama 353
77  Filippinerna 353
79  Dominikanska republiken 325
1   Kina (BSJZ) 590
2  Singapore 551
3  Macau 544
4  Vietnam 543
5  Estland 530
6  Japan 529
7  Finland 522
8  Sydkorea 519
9  Kanada 518
10  Hong Kong 517
11  Taiwan 516
12  Polen 511
13  Nya Zeeland 508
14  Slovenien 507
15  Storbritannien 505
16  Australien 503
16  Tyskland 503
16  Nederländerna 503
19  Förenta staterna 502
20  Belgien 499
20  Sverige 499
22  Tjeckien 497
23  Irland 496
24  Schweiz 495
25  Danmark 493
25  Frankrike 493
27  Portugal 492
28  Österrike 490
28  Norge 490
Internationellt genomsnitt (OECD) 489
30  Lettland 487
31  Spanien 483
32  Litauen 482
33  Ungern 481
34  Ryssland 478
35  Luxemburg 477
36  Island 475
37  Kroatien 472
38  Belarus 471
39  Ukraina 469
40  Italien 468
40  Kalkon 468
42  Slovakien 464
43  Israel 462
44  Malta 457
45  Grekland 452
46  Chile 444
47  Serbien 440
48  Cypern 439
49  Malaysia 438
50  Förenade arabemiraten 434
51  Brunei 431
52  Jordanien 429
53  Moldavien 428
54  Rumänien 426
54  Thailand 426
54  Uruguay 426
57  Bulgarien 424
58  Mexiko 419
58  Qatar 419
60  Albanien 417
61  Costa Rica 416
62  Montenegro 415
63  Colombia 413
63  Nordmakedonien 413
65  Argentina 404
65  Brasilien 404
65  Peru 404
68  Azerbajdzjan 398
68  Bosnien och Hercegovina 398
70  Kazakstan 397
71  Indonesien 396
72  Saudiarabien 386
73  Libanon 384
74  Georgien 383
75  Marocko 377
76  Kosovo 365
76  Panama 365
78  Filippinerna 357
79  Dominikanska republiken 336
1   Kina (BSJZ) 555
2  Singapore 549
3  Macau 525
4  Hong Kong 524
5  Estland 523
6  Kanada 520
6  Finland 520
8  Irland 518
9  Sydkorea 514
10  Polen 512
11  Nya Zeeland 506
11  Sverige 506
13  Förenta staterna 505
13  Vietnam 505
15  Japan 504
15  Storbritannien 504
17  Australien 503
17  Taiwan 503
19  Danmark 501
20  Norge 499
21  Tyskland 498
22  Slovenien 495
23  Belgien 493
23  Frankrike 493
25  Portugal 492
26  Tjeckien 490
Internationellt genomsnitt (OECD) 487
27  Nederländerna 485
28  Österrike 484
28  Schweiz 484
30  Kroatien 479
30  Lettland 479
30  Ryssland 479
33  Ungern 476
33  Italien 476
33  Litauen 476
36  Belarus 474
36  Island 474
38  Israel 470
38  Luxemburg 470
40  Kalkon 466
40  Ukraina 466
42  Slovakien 458
43  Grekland 457
44  Chile 452
45  Malta 448
46  Serbien 439
47  Förenade arabemiraten 432
48  Rumänien 428
49  Uruguay 427
50  Costa Rica 426
51  Cypern 424
51  Moldavien 424
53  Montenegro 421
54  Bulgarien 420
54  Mexiko 420
56  Jordanien 419
57  Malaysia 415
58  Brasilien 413
59  Colombia 412
60  Brunei 408
61  Qatar 407
62  Albanien 405
63  Bosnien och Hercegovina 403
64  Argentina 402
65  Peru 401
66  Saudiarabien 399
67  Nordmakedonien 393
67  Thailand 393
69  Azerbajdzjan 389
70  Kazakstan 387
71  Georgien 380
72  Panama 377
73  Indonesien 371
74  Marocko 359
75  Kosovo 353
75  Libanon 353
77  Dominikanska republiken 342
78  Filippinerna 340
     
     

Rankingsjämförelse 2000–2015

Matematik
Land 2015 2012 2009 2006 2003 2000
Göra Rang Göra Rang Göra Rang Göra Rang Göra Rang Göra Rang
Internationellt genomsnitt (OECD) 490 494 495 494 499 492
 Albanien 413 57 394 54 377 53 381 33
 Algeriet 360 72
 Argentina 409 58 388 30
 Australien 494 25 504 17 514 13 520 12 524 10 533 6
 Österrike 497 20 506 16 496 22 505 17 506 18 503 12
  Kina BSJG 531 6
 Belgien 507 15 515 13 515 12 520 11 529 7 520 8
 Brasilien 377 68 389 55 386 51 370 50 356 39 334 35
 Bulgarien 441 47 439 43 428 41 413 43 430 28
  Argentina CABA 456 43 418 49
 Kanada 516 10 518 11 527 8 527 7 532 6 533 6
 Chile 423 50 423 47 421 44 411 44 384 32
 Taiwan 542 4 560 3 543 4 549 1
 Colombia 390 64 376 58 381 52 370 49
 Costa Rica 400 62 407 53
 Kroatien 464 41 471 38 460 38 467 34
 Cypern 437 48
 Tjeckien 492 28 499 22 493 25 510 15 516 12 498 14
 Danmark 511 12 500 20 503 17 513 14 514 14 514 10
 Dominikanska republiken 328 73
 Estland 520 9 521 9 512 15 515 13
 Finland 511 13 519 10 541 5 548 2 544 2 536 5
 Frankrike 493 26 495 23 497 20 496 22 511 15 517 9
 Makedonien 371 69 381 33
 Georgien 404 60
 Tyskland 506 16 514 14 513 14 504 19 503 19 490 16
 Grekland 454 44 453 40 466 37 459 37 445 32 447 24
 Hong Kong 548 2 561 2 555 2 547 3 550 1 560 1
 Ungern 477 37 477 37 490 27 491 26 490 25 488 17
 Island 488 31 493 25 507 16 506 16 515 13 514 10
 Indonesien 386 66 375 60 371 55 391 47 360 37 367 34
 Irland 504 18 501 18 487 30 501 21 503 20 503 12
 Israel 470 39 466 39 447 39 442 38 433 26
 Italien 490 30 485 30 483 33 462 36 466 31 457 22
 Japan 532 5 536 6 529 7 523 9 534 5 557 2
 Jordanien 380 67 386 57 387 50 384 48
 Kazakstan 460 42 432 45 405 48
 Sydkorea 524 7 554 4 546 3 547 4 542 3 547 3
 Kosovo 362 71
 Lettland 482 34 491 26 482 34 486 30 483 27 463 21
 Libanon 396 63
 Litauen 478 36 479 35 477 35 486 29
 Luxemburg 486 33 490 27 489 28 490 27 493 23 446 25
 Macau 544 3 538 5 525 10 525 8 527 8
 Malaysia 446 45 421 48
 Malta 479 35
 Mexiko 408 59 413 50 419 46 406 45 385 36 387 31
 Moldavien 420 52
 Montenegro 418 54 410 51 403 49 399 46
 Nederländerna 512 11 523 8 526 9 531 5 538 4
 Nya Zeeland 495 21 500 21 519 11 522 10 523 11 537 4
 Norge 502 19 489 28 498 19 490 28 495 22 499 13
 Peru 387 65 368 61 365 57 292 36
 Polen 504 17 518 12 495 23 495 24 490 24 470 20
 Portugal 492 29 487 29 487 31 466 35 466 30 454 23
 Qatar 402 61 376 59 368 56 318 52
 Rumänien 444 46 445 42 427 42 415 42 426 29
 Ryssland 494 23 482 32 468 36 476 32 468 29 478 18
 Singapore 564 1 573 1 562 1
 Slovakien 475 38 482 33 497 21 492 25 498 21
 Slovenien 510 14 501 19 501 18 504 18
 Spanien 486 32 484 31 483 32 480 31 485 26 476 19
 Sverige 494 24 478 36 494 24 502 20 509 16 510 11
 Schweiz 521 8 531 7 534 6 530 6 527 9 529 7
 Thailand 415 56 427 46 419 45 417 41 417 35 432 27
 Trinidad och Tobago 417 55 414 47
 Tunisien 367 70 388 56 371 54 365 51 359 38
 Kalkon 420 51 448 41 445 40 424 40 423 33
 Förenade arabemiraten 427 49 434 44
 Storbritannien 492 27 494 24 492 26 495 23 508 17 529 7
 Förenta staterna 470 40 481 34 487 29 474 33 483 28 493 15
 Uruguay 418 53 409 52 427 43 427 39 422 34
 Vietnam 495 22 511 15
Vetenskap
Land 2015 2012 2009 2006
Göra Rang Göra Rang Göra Rang Göra Rang
Internationellt genomsnitt (OECD) 493 501 501 498
 Albanien 427 54 397 58 391 54
 Algeriet 376 72
 Argentina 432 52
 Australien 510 14 521 14 527 9 527 8
 Österrike 495 26 506 21 494 28 511 17
  Kina BSJG 518 10
 Belgien 502 20 505 22 507 19 510 18
 Brasilien 401 66 402 55 405 49 390 49
 Bulgarien 446 46 446 43 439 42 434 40
  Argentina CABA 475 38 425 49
 Kanada 528 7 525 9 529 7 534 3
 Chile 447 45 445 44 447 41 438 39
 Taiwan 532 4 523 11 520 11 532 4
 Colombia 416 60 399 56 402 50 388 50
 Costa Rica 420 58 429 47
 Kroatien 475 37 491 32 486 35 493 25
 Cypern 433 51
 Tjeckien 493 29 508 20 500 22 513 14
 Danmark 502 21 498 25 499 24 496 23
 Dominikanska republiken 332 73
 Estland 534 3 541 5 528 8 531 5
 Finland 531 5 545 4 554 1 563 1
 Frankrike 495 27 499 24 498 25 495 24
 Makedonien 384 70
 Georgien 411 63
 Tyskland 509 16 524 10 520 12 516 12
 Grekland 455 44 467 40 470 38 473 37
 Hong Kong 523 9 555 1 549 2 542 2
 Ungern 477 35 494 30 503 20 504 20
 Island 473 39 478 37 496 26 491 26
 Indonesien 403 65 382 60 383 55 393 48
 Irland 503 19 522 13 508 18 508 19
 Israel 467 40 470 39 455 39 454 38
 Italien 481 34 494 31 489 33 475 35
 Japan 538 2 547 3 539 4 531 6
 Jordanien 409 64 409 54 415 47 422 43
 Kazakstan 456 43 425 48 400 53
 Sydkorea 516 11 538 6 538 5 522 10
 Kosovo 378 71
 Lettland 490 31 502 23 494 29 490 27
 Libanon 386 68
 Litauen 475 36 496 28 491 31 488 31
 Luxemburg 483 33 491 33 484 36 486 33
 Macau 529 6 521 15 511 16 511 16
 Malaysia 443 47 420 50
 Malta 465 41
 Mexiko 416 61 415 52 416 46 410 47
 Moldavien 428 53
 Montenegro 411 62 410 53 401 51 412 46
 Nederländerna 509 17 522 12 522 10 525 9
 Nya Zeeland 513 12 516 16 532 6 530 7
 Norge 498 24 495 29 500 23 487 32
 Peru 397 67 373 61 369 57
 Polen 501 22 526 8 508 17 498 22
 Portugal 501 23 489 34 493 30 474 36
 Qatar 418 59 384 59 379 56 349 52
 Rumänien 435 50 439 46 428 43 418 45
 Ryssland 487 32 486 35 478 37 479 34
 Singapore 556 1 551 2 542 3
 Slovakien 461 42 471 38 490 32 488 29
 Slovenien 513 13 514 18 512 15 519 11
 Spanien 493 30 496 27 488 34 488 30
 Sverige 493 28 485 36 495 27 503 21
 Schweiz 506 18 515 17 517 13 512 15
 Thailand 421 57 444 45 425 45 421 44
 Trinidad och Tobago 425 56 410 48
 Tunisien 386 69 398 57 401 52 386 51
 Kalkon 425 55 463 41 454 40 424 42
 Förenade arabemiraten 437 48 448 42
 Storbritannien 509 15 514 19 514 14 515 13
 Förenta staterna 496 25 497 26 502 21 489 28
 Uruguay 435 49 416 51 427 44 428 41
 Vietnam 525 8 528 7
Läsning
Land 2015 2012 2009 2006 2003 2000
Göra Rang Göra Rang Göra Rang Göra Rang Göra Rang Göra Rang
Internationellt genomsnitt (OECD) 493 496 493 489 494 493
 Albanien 405 63 394 58 385 55 349 39
 Algeriet 350 71
 Argentina 425 56
 Australien 503 16 512 12 515 8 513 7 525 4 528 4
 Österrike 485 33 490 26 470 37 490 21 491 22 492 19
  Kina BSJG 494 27
 Belgien 499 20 509 16 506 10 501 11 507 11 507 11
 Brasilien 407 62 407 52 412 49 393 47 403 36 396 36
 Bulgarien 432 49 436 47 429 42 402 43 430 32
  Argentina CABA 475 38 429 48
 Kanada 527 3 523 7 524 5 527 4 528 3 534 2
 Chile 459 42 441 43 449 41 442 37 410 35
 Taiwan 497 23 523 8 495 21 496 15
 Colombia 425 57 403 54 413 48 385 49
 Costa Rica 427 52 441 45
 Kroatien 487 31 485 33 476 34 477 29
 Cypern 443 45
 Tjeckien 487 30 493 24 478 32 483 25 489 24 492 20
 Danmark 500 18 496 23 495 22 494 18 492 19 497 16
 Dominikanska republiken 358 69
 Estland 519 6 516 10 501 12 501 12
 Finland 526 4 524 5 536 2 547 2 543 1 546 1
 Frankrike 499 19 505 19 496 20 488 22 496 17 505 14
 Makedonien 352 70 373 37
 Georgien 401 65
 Tyskland 509 11 508 18 497 18 495 17 491 21 484 22
 Grekland 467 41 477 38 483 30 460 35 472 30 474 25
 Hong Kong 527 2 545 1 533 3 536 3 510 9 525 6
 Ungern 470 40 488 28 494 24 482 26 482 25 480 23
 Island 482 35 483 35 500 15 484 23 492 20 507 12
 Indonesien 397 67 396 57 402 53 393 46 382 38 371 38
 Irland 521 5 523 6 496 19 517 6 515 6 527 5
 Israel 479 37 486 32 474 35 439 39 452 29
 Italien 485 34 490 25 486 27 469 32 476 29 487 21
 Japan 516 8 538 3 520 7 498 14 498 14 522 9
 Jordanien 408 61 399 55 405 51 401 44
 Kazakstan 427 54 393 59 390 54
 Sydkorea 517 7 536 4 539 1 556 1 534 2 525 7
 Kosovo 347 72
 Lettland 488 29 489 27 484 28 479 27 491 23 458 28
 Libanon 347 73
 Litauen 472 39 477 37 468 38 470 31
 Luxemburg 481 36 488 30 472 36 479 28 479 27 441 30
 Macau 509 12 509 15 487 26 492 20 498 15
 Malaysia 431 50 398 56
 Malta 447 44
 Mexiko 423 58 424 49 425 44 410 42 400 37 422 34
 Moldavien 416 59
 Montenegro 427 55 422 50 408 50 392 48
 Nederländerna 503 15 511 13 508 9 507 10 513 8
 Nya Zeeland 509 10 512 11 521 6 521 5 522 5 529 3
 Norge 513 9 504 20 503 11 484 24 500 12 505 13
 Peru 398 66 384 61 370 57 327 40
 Polen 506 13 518 9 500 14 508 8 497 16 479 24
 Portugal 498 21 488 31 489 25 472 30 478 28 470 26
 Qatar 402 64 388 60 372 56 312 51
 Rumänien 434 47 438 46 424 45 396 45 428 33
 Ryssland 495 26 475 40 459 40 440 38 442 32 462 27
 Singapore 535 1 542 2 526 4
 Slovakien 453 43 463 41 477 33 466 33 469 31
 Slovenien 505 14 481 36 483 29 494 19
 Spanien 496 25 488 29 481 31 461 34 481 26 493 18
 Sverige 500 17 483 34 497 17 507 9 514 7 516 10
 Schweiz 492 28 509 14 501 13 499 13 499 13 494 17
 Thailand 409 60 441 44 421 46 417 40 420 35 431 31
 Trinidad och Tobago 427 53 416 47
 Tunisien 361 68 404 53 404 52 380 50 375 39
 Kalkon 428 51 475 39 464 39 447 36 441 33
 Förenade arabemiraten 434 48 442 42
 Storbritannien 498 22 499 21 494 23 495 16 507 10 523 8
 Förenta staterna 497 24 498 22 500 16 495 18 504 15
 Uruguay 437 46 411 51 426 43 413 41 434 34
 Vietnam 487 32 508 17

Tidigare år

Period Fokus OECD-länderna Partnerländer Deltagande elever Anteckningar
2000 Läsning 28 4 + 11 265 000 Nederländerna diskvalificerade sig från dataanalys. 11 ytterligare länder utanför OECD gjorde testet 2002.
2003 Matematik 30 11 275 000 Storbritannien diskvalificeras från dataanalys. Ingår även test i problemlösning .
2006 Vetenskap 30 27 400 000 Läspoäng för USA diskvalificerade från analys på grund av tryckfel i testmaterial.
2009 Läsning 34 41 + 10 470 000 10 ytterligare länder utanför OECD gjorde testet 2010.
2012 Matematik 34 31 510 000

Reception

(Kina) Kinas deltagande i testet 2012 var begränsat till Shanghai , Hongkong och Macau som separata enheter. 2012 deltog Shanghai för andra gången och toppade återigen rankingen i alla tre ämnen, samt förbättrade poängen i ämnena jämfört med 2009 års tester. Shanghais poäng på 613 i matematik var 113 poäng över medelpoängen, vilket ger Shanghai-elevers prestationer cirka 3 läsår före elever i genomsnittsländer. Utbildningsexperter diskuterade i vilken grad detta resultat återspeglade kvaliteten på det allmänna utbildningssystemet i Kina, och påpekade att Shanghai har större rikedomar och bättre betalda lärare än resten av Kina. Hongkong placerade sig på andra plats i läsning och naturvetenskap och trea i matematik.

Andreas Schleicher , chef för PISA-avdelningen och samordnare, uppgav att PISA-tester som administrerats på landsbygden i Kina har gett några resultat som närmar sig OECD-genomsnittet. Med hänvisning till ytterligare ännu opublicerad OECD-forskning, sa han: "Vi har faktiskt gjort Pisa i 12 av provinserna i Kina. Även i några av de mycket fattiga områdena får man prestanda nära OECD-genomsnittet." Schleicher menar att Kina också har utökat tillgången till skolan och har gått bort från att lära sig utan att lära sig, och presterat bra i både utantillgångsbaserade och bredare bedömningar.

2018 var de kinesiska provinserna som deltog Peking , Shanghai , Jiangsu och Zhejiang . Under 2015 var de deltagande provinserna Jiangsu, Guangdong , Peking och Shanghai. Peking-Shanghai-Jiangsu-Guangdong-kohorten 2015 fick median 518 i vetenskap 2015, medan Shanghai-kohorten 2012 fick median 580.

Kritiker av PISA menar att i Shanghai och andra kinesiska städer kan de flesta barn till migrantarbetare endast gå i stadsskolor upp till nionde klass och måste återvända till sina föräldrars hemorter för gymnasiet på grund av hukou-restriktioner, vilket gör att sammansättningen av stadens gymnasieelever till förmån för rikare lokala familjer. Ett befolkningsdiagram över Shanghai som återges i The New York Times visar en brant minskning av antalet 15-åringar som bor där. Enligt Schleicher är 27 % av Shanghais 15-åringar utestängda från skolsystemet (och därmed från att testa). Som ett resultat var andelen Shanghais 15-åringar som testades av PISA 73 %, lägre än de 89 % som testades i USA. Efter testerna 2015 publicerade OECD djupgående studier om utbildningssystemen i ett fåtal utvalda länder, inklusive Kina.

2014 ledde Liz Truss , den brittiska parlamentariska understatssekreteraren vid utbildningsdepartementet, ett faktabesök i skolor och lärarutbildningscenter i Shanghai. Storbritannien ökade utbytet med kinesiska lärare och skolor för att ta reda på hur man kan förbättra kvaliteten. Under 2014 bjöds 60 lärare från Shanghai in till Storbritannien för att hjälpa till att dela sina undervisningsmetoder, stödja elever som har det svårt och hjälpa till att utbilda andra lärare. Under 2016 bjöd Storbritannien in 120 kinesiska lärare, som planerar att anta kinesiska undervisningsstilar i 8 000 skolor med stöd. År 2019 hade cirka 5 000 av Storbritanniens 16 000 grundskolor anammat Shanghais undervisningsmetoder. De brittiska skolornas prestationer i PISA förbättrades efter att ha anammat Kinas undervisningsstilar.

Finland

Finland, som fick flera topplaceringar i de första proven, föll i alla tre ämnen 2012, men förblev det bäst presterande landet totalt i Europa, och uppnådde sitt bästa resultat i naturvetenskap med 545 poäng (5:a) och sämst i matematik med 519 (12:e plats) ) där landet överträffades av fyra andra europeiska länder. Nedgången i matematik var 25 poäng sedan 2003, förra gången matematiken stod i fokus för proven. För första gången presterade finländska flickor snävt bättre än pojkar i matematik. Det var också första gången elever i finskspråkiga skolor inte presterade bättre än elever i svenskspråkiga skolor. Utbildnings- och vetenskapsminister Krista Kiuru uttryckte oro över den totala nedgången, liksom att antalet lågpresterande hade ökat från 7 % till 12 %.

Indien

Indien deltog i testomgången 2009 men drog sig ur 2012 års PISA-testning, där den indiska regeringen tillskrev dess agerande det orättvisa i PISA-testningen mot indiska studenter. Indian Express rapporterade, "Utbildningsministeriet har kommit fram till att det fanns en sociokulturell koppling mellan frågorna och indiska studenter. Ministeriet kommer att skriva till OECD och driva hem behovet av att ta hänsyn till Indiens" sociokulturella miljö ". Indiens deltagande i nästa PISA-cykel kommer att bero på detta". Indian Express noterade också att "Med tanke på att över 70 nationer deltar i PISA är det osäkert om ett undantag skulle göras för Indien".

Indien deltog inte i PISA-omgångarna 2012, 2015 och 2018.

En Kendriya Vidyalaya Sangathan (KVS)-kommitté samt en grupp sekreterare för utbildning som utgörs av Indiens premiärminister Narendra Modi rekommenderade att Indien skulle delta i PISA. Följaktligen, i februari 2017, ministeriet för utveckling av mänskliga resurser under Prakash Javadekar att avsluta bojkotten och delta i PISA från 2020. För att ta itu med den sociokulturella kopplingen mellan testfrågorna och eleverna rapporterades att OECD kommer att uppdatera några frågor. Till exempel kan ordet avokado i en fråga ersättas med en mer populär indisk frukt som mango.

Malaysia

Under 2015 fann OECD att resultaten från Malaysia inte hade nått den maximala svarsfrekvensen. Oppositionspolitikern Ong Kian Ming sa att utbildningsministeriet försökte översampla högpresterande elever i rika skolor.

Sverige

Sveriges resultat sjönk i alla tre ämnen i 2012 års prov, vilket var en fortsättning på en trend från 2006 och 2009. Det var den kraftigaste nedgången i matematikprestationer med en nedgång i poäng från 509 år 2003 till 478 år 2012. Poängen i läsning visade en minskning från 516 år 2000 till 483 år 2012. Landet presterade under OECD-genomsnittet i alla tre ämnen. Oppositionsledaren, socialdemokraten Stefan Löfven , beskrev situationen som en nationell kris. Tillsammans med partiets talesperson för utbildning, Ibrahim Baylan , pekade han på den nedåtgående trenden i läsning som den mest allvarliga.

2020 avslöjade svenska tidningen Expressen att Sverige hade blåst upp sin poäng i PISA 2018 genom att inte följa OECD:s standarder. Enligt professor Magnus Henrekson hade ett stort antal utrikesfödda elever inte testats. Enligt en artikel i Sveriges Radio är dåliga invandrarbarns poäng en betydande orsak till den senaste tidens minskning av svenska Pisa-poäng.

Storbritannien

I 2012 års test, liksom 2009, var resultatet något över genomsnittet för Storbritannien, med den vetenskapliga rankingen som högst (20). England , Wales , Skottland och Nordirland deltog också som separerade enheter, vilket visade det sämsta resultatet för Wales som i matematik var 43:e av de 65 länderna och ekonomierna. Utbildningsminister i Wales Huw Lewis uttryckte besvikelse över resultaten, sa att det inte fanns några "snabbfix", men hoppades att flera utbildningsreformer som har genomförts under de senaste åren skulle ge bättre resultat i nästa omgång av tester. Förenade kungariket hade en större klyfta mellan hög- och lågbetygsstudenter än genomsnittet. Det var liten skillnad mellan offentliga och privata skolor när man justerade för elevernas socioekonomiska bakgrund. Könsskillnaden till flickors fördel var mindre än i de flesta andra länder, liksom skillnaden mellan infödda och invandrare.

Ambrose Evans-Pritchard skrev i Daily Telegraph och varnade för att lägga för mycket tonvikt på Storbritanniens internationella ranking och hävdade att en överfokusering på akademiska prestationer i Östasien kan ha bidragit till områdets låga födelsetal , vilket han menade kunde skada den ekonomiska utvecklingen i framtiden skulle väga mer än ett bra PISA-poäng.

2013 publicerade Times Educational Supplement (TES) en artikel, "Is PISA Fundamentally Fawed?" av William Stewart, som beskriver allvarlig kritik av PISA:s konceptuella grunder och metoder som utvecklats av statistiker vid stora universitet.

I artikeln citerades professor Harvey Goldstein vid University of Bristol för att säga att när OECD försöker utesluta frågor som misstänks för partiskhet kan det få effekten att "utjämna" viktiga skillnader mellan länder. "Det innebär att många av de viktiga sakerna utelämnas", varnade han. "De blir helt enkelt inte kommenterade. Det du tittar på är något som råkar vara vanligt. Men (är det) värt att titta på? PISA-resultat tas för nominellt värde som att ge någon sorts gemensam standard mellan länder. Men så fort du börjar plocka upp den tror jag att allt faller samman."

vid Queen's University Belfast uppgav att han fann att den statistiska modellen som ligger till grund för PISA innehåller ett grundläggande, olösligt matematiskt fel som gör Pisa-rankingen "värdelös". Goldstein påpekade att Dr. Morrisons invändning belyser "en viktig teknisk fråga" om inte ett "djupt begreppsfel". Goldstein varnade dock för att PISA har "använts olämpligt" och hävdar att en del av skulden för detta "ligger på PISA själv. Jag tror att det tenderar att säga för mycket för vad det kan göra och det tenderar att inte publicera det negativa eller svagare aspekter." Professorerna Morrison och Goldstein uttryckte bestörtning över OECD:s svar på kritiken. Morrison sa att när han först publicerade sin kritik av PISA 2004 och även personligen frågade flera av OECD:s "senior personer" om dem, möttes hans poäng med "absolut tystnad" och har ännu inte behandlats. "Jag var förvånad över hur oförstående de var", sa han till TES. "Det gör mig misstänksam." "Pisa ignorerade bestämt många av dessa frågor", säger han. "Jag är fortfarande orolig."

Professor Svend Kreiner, vid Köpenhamns universitet , höll med: "Ett av problemen som alla har med PISA är att de inte vill diskutera saker med människor som kritiserar eller ställer frågor om resultaten. De ville inte prata med Jag är säker på att det beror på att de inte kan försvara sig.

Förenta staterna

Sedan 2012 har ett fåtal stater deltagit i PISA-testerna som separata enheter. Endast resultaten för 2012 och 2015 är tillgängliga på statlig basis. Puerto Rico deltog 2015 som en separat amerikansk enhet också.

2012 års resultat i USA
Matematik Vetenskap Läsning
 Massachusetts 514
 Connecticut 506
United StatesUSA-genomsnitt 481
 Florida 467
 Massachusetts 527
 Connecticut 521
United StatesUSA-genomsnitt 497
 Florida 485
 Massachusetts 527
 Connecticut 521
United StatesUSA-genomsnitt 498
 Florida 492
2015 års resultat i USA
Matematik Vetenskap Läsning
 Massachusetts 500
 norra Carolina 471
United StatesUSA-genomsnitt 470
 Puerto Rico 378
 Massachusetts 529
 norra Carolina 502
United StatesUSA-genomsnitt 496
 Puerto Rico 403
 Massachusetts 527
 norra Carolina 500
United StatesUSA-genomsnitt 497
 Puerto Rico 410

PISA-resultat för USA efter ras och etnicitet.

Matematik
Lopp 2018 2015 2012 2009 2006 2003
Göra Göra Göra Göra Göra Göra
asiatiska 539 498 549 524 494 506
Vit 503 499 506 515 502 512
USA-genomsnitt 478 470 481 487 474 483
Mer än ett lopp 474 475 492 487 482 502
latinamerikan 452 446 455 453 436 443
Övrig 423 436 460 446 446
Svart 419 419 421 423 404 417
Vetenskap
Lopp 2018 2015 2012 2009 2006
Göra Göra Göra Göra Göra
asiatiska 551 525 546 536 499
Vit 529 531 528 532 523
USA-genomsnitt 502 496 497 502 489
Mer än ett lopp 502 503 511 503 501
latinamerikan 478 470 462 464 439
Övrig 462 439 465 453
Svart 440 433 439 435 409
Läsning
Lopp 2018 2015 2012 2009 2006 2003 2000
Göra Göra Göra Göra Göra Göra Göra
asiatiska 556 527 550 541 513 546
Vit 531 526 519 525 525 538
USA-genomsnitt 505 497 498 500 495 504
Mer än ett lopp 501 498 517 502 515
latinamerikan 481 478 478 466 453 449
Svart 448 443 443 441 430 445
Övrig 440 438 462 456 455

Forskning om möjliga orsaker till PISA-skillnader i olika länder

Även om PISA- och TIMSS-tjänstemän och forskare själva i allmänhet avstår från att göra hypoteser om de stora och stabila skillnaderna i studentprestationer mellan länder, har det sedan 2000 framkommit litteratur om skillnaderna i PISA- och TIMSS-resultat och deras möjliga orsaker. Data från PISA har försett flera forskare, särskilt Eric Hanushek , Ludger Wößmann , Heiner Rindermann och Stephen J. Ceci, med material för böcker och artiklar om förhållandet mellan studentprestationer och ekonomisk utveckling, demokratisering och hälsa; såväl som rollerna för sådana enstaka pedagogiska faktorer som höginsatsprov, närvaron eller frånvaron av privata skolor och effekterna och tidpunkten för förmågasspårning.

Kommentarer om noggrannhet

David Spiegelhalter från Cambridge skrev: "Pisa presenterar osäkerheten i poängen och rangordningen - till exempel sägs Storbritanniens rangordning i de 65 länderna vara mellan 23 och 31. Det är oklokt för länder att basera utbildningspolitiken på sina Pisa-resultat, som Tyskland , Norge och Danmark gjorde efter att ha gått dåligt 2001."

Enligt en åsiktsartikel från Forbes väljer vissa länder som Kina , Hongkong , Macao och Argentina PISA-prover från endast de bäst utbildade områdena eller från deras högpresterande elever, vilket snedställer resultaten.

Enligt ett öppet brev till Andreas Schleicher , chef för PISA, hävdade olika akademiker och utbildare att "OECD- och Pisa-tester skadar utbildning över hela världen".

Enligt O Estado de São Paulo visar Brasilien en stor skillnad när man klassificerar resultaten mellan offentliga och privata skolor, där offentliga skolor skulle rankas sämre än Peru, medan privata skolor skulle rankas bättre än Finland.

Se även

Förklarande anteckningar

externa länkar