Kina er nr. 1 på PISA - men her er grunden til, at dets testresultater er svære at tro på

Kina er nr. 1 på PISA - men her er grunden til, at dets testresultater er svære at tro på

Det kinesiske fastland var den store vinder i de nyligt udgivne resultater på Program for International Student Assessment, som tester 15-årige elever i snesevis af lande i matematik, læsning og naturfag hvert tredje år. Med 600.000 elever fra 79 lande og skolesystemer, der tog eksamen i 2018, blev fire provinser i Kina - som for PISA udgør det kinesiske fastland - samlet placeret som nr. 1 i alle tre fag.

Men der er god grund til at anskue resultaterne fra det kinesiske fastland med skepsis, og det er emnet for dette indlæg af Tom Loveless, en ekspert i elevernes præstationer, test, uddannelsespolitik og skolereform på grundskoleniveau.

En tidligere lærer i sjette klasse og professor i politik ved Harvard, Loveless, var seniorstipendiat i forvaltningsstudier og direktør for Brown Center on Education Policy ved den Washington-baserede nonprofit Brookings Institution. Han skrev 16 bind af 'The Brown Center Report on American Education', en årlig rapport, der analyserer vigtige tendenser inden for uddannelse.

Annoncehistorien fortsætter under annoncen

Det er ikke første gang, Loveless kommenterer PISA-resultater fra Kina. I 2013 skrev jeg et indlæg, hvor jeg satte spørgsmålstegn ved Shanghais nr. 1-placering i 2012 PISA. I den testadministration klarede amerikanske studerende sig ikke bedre end gennemsnittet blandt 65 lande og uddannelsessystemer (som sædvanligt).

Da 2012-resultaterne blev offentliggjort i slutningen af ​​2013, sagde Organisationen for Økonomisk Samarbejde og Udvikling, som sponsorerer PISA, at skolerne, der blev brugt i Shanghai-prøven, repræsenterer byens 15-årige befolkning. Loveless, dengang ved Brookings Institution, og nogle Kina-eksperter sagde, at migrantbørn rutinemæssigt blev udelukket fra skoler i Shanghai, som er rigere end resten af ​​Kina. OECD har stået ved resultaterne.

I øvrigt var Singapore i 2018 PISA-resultaterne nummer to i alle tre fag. Amerikanske studerende blev placeret som ottende i læsning, 11. i naturvidenskab og 30. plads i matematik, med resultater, der ikke har ændret sig væsentligt siden PISA startede for et par årtier siden.

Annoncehistorien fortsætter under annoncen

Af Tom Loveless

2018 PISA-resultaterne er ude. Generelt scorede lande inden for et forventet interval givet deres tidligere rekorder. Bortset fra én. Resultaterne er forbløffende for B-S-J-Z, et akronym for de fire kinesiske provinser, der deltog: Beijing, Shanghai, Jiangsu og Zhejiang. Ud af 77 internationale systemer scorede B-S-J-Z nr. 1 i alle tre fag: læsning, matematik og naturvidenskab.

De fire kinesiske provinser, der tog PISA, ændrede sig fra 2015 til 2018, hvor Zhejiang overtog stedet for Guangdong. 2018-gruppens score er dramatisk højere end 2015-gruppens (som passende kaldes B-S-J-G). Faktisk er forskellene så store, at de helt sikkert vil hæve øjenbrynene.

Historien fortsætter under annoncen

B-S-J-Z's score er 61 point højere (494 versus 555) i læsning, 60 point højere (531 versus 591) i matematik og hele 72 point højere (518 versus 590) i naturvidenskab. Hvor usædvanlige er forskelle som disse? For at besvare det spørgsmål undersøgte jeg PISA-data fra 2006-2015.

For hvert treårige testinterval beregnede jeg ændringerne for hvert land på de tre PISA-tests og konverterede dem til absolutte værdier. Det gav 497 observationer med et gennemsnit på 9,5 point og standardafvigelse på 8,6.

Så den typiske ændring i en nations score er omkring 10 point. Forskellene mellem de kinesiske deltagere fra 2015 og 2018 er mindst seks gange så mange. Forskellene er også mindst syv gange standardafvigelsen for alle intervalændringer. Meget usædvanligt.

Historien fortsætter under annoncen

En rimelig hypotese er, at ændring af de provinser, der deltager i PISA, selv om det kun var én ud af en gruppe på fire, påvirkede testresultaterne. Faktisk, da jeg oprindeligt skrev en tråd til Twitter om dette emne, overså jeg ændringen og behandlede 2015-2018-scoreforskellene, som om de deltagende provinser var de samme. Jeg beklager fejlen. Min fejl understreger dog det større problem: at PISA-resultater fra Kina skal ses skeptisk.

Hvorfor blev Guangdong, Kinas mest folkerige provins, droppet at deltage og Zhejiang tilføjet? Er det kun en tilfældighed, at scoren steg i vejret efter ændringen?

De tidligere PISA-score af kinesiske provinser er blevet sat i tvivl (af mig og andre) på grund af hukou's aflivningseffekt på befolkningen af ​​15-årige - og for at OECD tillader Kina at godkende, hvilke provinser der kan testes. I 2009 blev PISA-tests administreret i 12 kinesiske provinser, herunder flere landdistrikter, men kun resultater fra Shanghai blev frigivet.

Historien fortsætter under annoncen

Tre år senere rapporterede BBC: 'Den kinesiske regering har indtil videre ikke tilladt OECD at offentliggøre de faktiske data.' Til denne dag er dataene ikke blevet frigivet.

OECD reagerede på tidligere kritik ved at angribe kritikere og foretage datagennemgange bag lukkede døre. En sky hænger over PISA-resultater fra kinesiske provinser. Jeg opfordrer indtrængende OECD til hurtigst muligt at offentliggøre resultaterne af eventuelle kvalitetstjek af 2018-data, der er blevet udført, sammen med score, opdelt efter provins, fra både 2015- og 2018-deltagere.

Troværdigheden af ​​internationale vurderinger hviler på gennemsigtigheden af ​​testprocedurer, herunder hvordan deltagere udvælges og reglerne for rapportering af testresultater. OECD risikerer at underminere PISA's troværdighed ved ikke at være åben omkring sin gennemførelse af vurderingen i Kina.