Pressemeddelelse fra Aarhus Universitet: Aarhus BSS
Samfundet måler i ét væk, hvordan vi får mest ud af pengene i den offentlige sektor, men i den uafbrudte evaluering af daginstitutioner, sygehuse eller gymnasier er medarbejderne, som bliver målt, sjældent med i billedet. For hvordan opfatter pædagoger, sygeplejersker og gymnasielærere egentligt undersøgelserne af deres egen indsats? Og hvad betyder denne opfattelse for, hvad de såkaldte resultatmål overhovedet kan bruges til?
De spørgsmål har en gruppe forskere fra Aarhus BSS stillet sig selv – og har i et nyt studie fundet et svar på det første spørgsmål, der kan synes banalt, men som har væsentlige konsekvenser for spørgsmål to; nemlig resultatmålenes potentiale i offentlige institutioner.
I studiet, hvis resultater er publiceret i artiklen ‘Acceptance or Disapproval: Performance Information in the Eyes of Public Frontline Employees’, besvarede mere end 1.700 danske gymnasielærere en spørgeskemaundersøgelse, som for halvdelens vedkommende indeholdte information om, hvordan deres gymnasium havde klaret sig på indikatoren “løfteevne”, der forsøger at måle et gymnasiums evne til at løfte sine elever fagligt, når man sammenligner med tilsvarende gymnasier. Derefter sammenlignede forskerne gymnasielærerne, der havde modtaget information om deres gymnasiums placering på indikatoren med gymnasielærere, der ikke fik denne information, hvilket blev afgjort ved lodtrækning. Således var det tilfældigt, hvem der fik information, og hvem der ikke fik nogen information.
Herefter viste det sig, at informationen gjorde lærerne mere positivt stemt over for resultatmålets validitet (er løfteevne et godt mål?), legitimitet (er det fair at blive evalueret på målet løfteevne?) og anvendelighed (er løfteevne et anvendeligt mål?), hvis deres gymnasium klarede sig godt, mens det mindskede deres accept af resultatmålet, hvis gymnasiet klarede sig dårligt.
“Vores studie viser altså, at dem, der klarer sig dårligst, har sværest ved at acceptere målene. Umiddelbart er der måske ikke så megen hokuspokus i det, men dykker man lidt dybere, er implikationerne omfangsrige,” konstaterer lektor Morten Jakobsen fra Institut for Statskundskab, Aarhus BSS, som sammen med kollegaerne, ph.d.- studerende Niels Bjørn G. Petersen fra samme sted og Trine V. Laumann, tidligere studerende på Aarhus BSS og nu fuldmægtig i Kulturministeriet, står bag studiet.
Psykologiske mekanismer spiller ind
Et af formålene med at generere store mængder performance-information på for eksempel gymnasier er nemlig, at det kan bruges til at lære fra. Hvad gør vi godt, og hvor skal vi forbedre os? Men når dem, der klarer sig dårligst, og som derfor har allermest brug for at skabe forbedringer, ikke anerkender resultatmålet, så kan muligheden for læring være ganske lille – der hvor der vel at mærke er mest brug for den.
“Lederne kan lave nok så mange initiativer på baggrund af resultatmålene, men det er gymnasielærerne, der skal ændre noget i deres praksis, hvad enten det så er deres adfærd i klasseværelset, deres pensum eller noget helt tredje, hvis noget skal ændres. Og hvis de synes, at målene er noget hø og dermed ikke accepterer præmissen for dem, ja, så er det sværere at bruge målene til at skabe læring,” siger Niels Bjørn G. Petersen.
Hidtil har man ellers antaget, at medarbejdernes, her gymnasielærernes, professionelle baggrund ville betyde, at de ville bruge informationen om resultatmålene uden at lade sig påvirke af, hvordan de klarer sig på målene, når de skal vurdere kvaliteten af dem, idet de professionelle normer og værdier styrer, om medarbejderne accepterer målene – men her identificerer studiet altså en anden mekanisme.
“Den kan måske forklares ved, at især folk med en professionel baggrund har en større del af deres identitet inden for deres fagområde, og så slår det ekstra hårdt, når man ser information, der viser, at det ikke er gået, som man havde håbet,” fortæller Niels Bjørn G. Petersen.
Sagen er nemlig, at der kommer ubevidste, psykologiske mekanismer i spil, når ansatte skal forholde sig til indikatorer for, hvordan deres egen organisation – og dermed de selv – klarer sig. Alle mennesker har en interesse i at fremstå kompetente (også) over for sig selv, og hvis man har en professionel baggrund som for eksempel gymnasielærer, er man særligt interesseret i at fremstå kompetent inden for sit fag. Når man så møder information, som ikke imødekommer ens grundlæggende behov for at fremstå kompetent, vil man ubevidst forsøge at neutralisere den information for eksempel ved at overbevise sig selv om, at informationen, man måles på, er dårlig, illegitim og ikke anvendelig – eller ved at lægge ansvaret for resultatet over på andre.
“Vi har identificeret disse psykologiske barrierer hos gymnasielærerne, men denne såkaldte ‘defensive bias’ går igen hos alle mennesker. Derfor vil alle, der skal bruge resultaterne af performance målinger generelt, altid møde den her udfordring – og dermed være nødt til at kunne tackle den i forhold til at kunne bruge den indsamlede performance-information mest optimalt,” siger Morten Jakobsen.
Læring og udvikling kræver nye greb
Her skal politikere eller ledere, der skal bruge målingerne i forhold til medarbejdere, først og fremmest forstå begrænsningerne ved målingerne og i den forbindelse være meget bevidst om formålet med dem.
At vise, at nogen er bedst – for eksempel hvilket gymnasium, der klarer sig bedst på løfteevne – har primært det formål, at borgere og politikere kan se, hvordan det går. Men skal resultatmålet bruges til at skabe læring og udvikling i den konkrete institution, så betyder menneskers ‘defensive bias’, at man skal bruge nogle andre greb. Måske skal lederen helt undlade at bruge resultatmålet som begrundelse for at ændre i organisationen, da der er en risiko for, at medarbejderne vil afvise tiltaget, da man ikke accepterer præmissen – og i stedet bruge resultatmålet selv som baggrundsviden uden at sprede det ud til medarbejderne.
“Vi har ikke et entydigt svar på, hvordan man skal præsentere og arbejde med resultatmålene for at få medarbejderne til at acceptere dem, for det vil variere fra sted til sted – men det er under alle omstændigheder noget, man skal tage alvorligt og acceptere,” fastslår forskerne. De kommer med følgende bud på, hvad fremtidige undersøgelser kan dykke ned i for at komme nærmere en løsning på, hvad offentlige ledere skal gøre, når de skal omsætte den information, de har fra resultatmålene, til læring hos deres medarbejdere:
Fra anden forskning ved man, at hvis man på et møde får præsenteret et resultat, der viser, at man har klaret sig dårligt, så har det betydning for ens opfattelse af informationen, hvis man lige inden er blevet vist nogle gode resultater. Med andre ord er det altså mere sandsynligt, at man er villig til at acceptere et dårligt resultat, hvis man har fået boostet sin selvopfattelse kort forinden.
En anden mulighed kan være at lade medarbejderne selv vælge de mål, de skal måles på, idet de så måske vil være mere tilbøjelige til at opfatte målene som gode. Men en eventuel medarbejderinddragelse åbner til gengæld op for andre udfordringer: Måske vælger medarbejderne mål, som de ved, de vil lykkes med, og desuden vil man få forskellige mål mellem organisationerne, hvilket gør, at man ikke kan sammenligne for eksempel gymnasier og sygehuse og dermed heller ikke kan hente inspiration til best practice hos hinanden.
Endelig kunne man undersøge, om de psykologiske barrierer er lige så udbredte hos lederne som hos ansatte uden ledelsesansvar? Hvis det er tilfældet, vil det betyde, at man udover at stå med udfordringen på medarbejderniveau også har den på lederniveau, hvilket kan gøre det endnu sværere at tackle barriererne.
Resultatmål er stadig en god idé – med omtanke
Spørgsmålene er altså stadig mange, men hverken de ubesvarede spørgsmål – eller de nu kendte begrænsninger ved arbejdet med resultatmål – betyder dog, at vi bare skal smide alt ud og holde op med at måle, hvordan det går i den offentlige sektor.
For det første kan det ikke udelukkes, at noget at den negative information bliver brugt på en god måde.Vi ved altså ikke, om alle gymnasielærere, som arbejder, hvor løfteevnen er lav, forkaster resultatmålet – blot at det er tendensen.
For det andet kan andre end medarbejderne have glæde af resultatmålene; for eksempel kan borgeren bruge informationen om løfteevne, når man skal vælge hvilket gymnasium, man vil søge ind på.
Og endelig er det meget svært at retfærdiggøre at bruge så mange penge på en stor offentlig sektor, som vi gør i Danmark, hvis ingen ved, hvordan det egentligt går.
“Vi elsker at hade de her resultatmålinger, og selv om alt ikke kan måles og vejes, så ville alternativet – altså ikke at foretage målinger – have meget voldsomme konsekvenser.; Bare forestil dig hvis man aldrig ville opdage, hvis en folkeskole eller et gymnasium slet ikke løste sin opgave,” siger Niels Bjørn G. Petersen.
Morten Jakobsen supplerer:
“I stedet skal man overveje formålet og være opmærksom på begrænsningerne – hvis man har blik for de potentielle psykologiske barrierer, har man også bedre blik for, hvordan resultatmålene bliver modtaget og anvendt i den enkelte organisation.”
Kilde:
Journal of Public Administration Research And Theory, 2018, 1-17
(https://academic.oup.com/jpart/advance-article/doi/10.1093/jopart/muy035/5050542)
Performancemålinger i det offentlige I den offentlige sektor dækker begrebet performancemålinger eller resultatmål over mange forskellige ting. Det kan være målinger af brugernes tilfredshed med for eksempel daginstitutioner eller skoler, men det kan også være målinger af de offentlige institutioners performance på andre parametre: På sygehuset kan det være, hvor mange patienter med en bestemt diagnose, som man helbreder, hvor mange penge man bruger på en bestemt behandling, eller hvor mange behandlinger af en vis type, som man gennemfører. På gymnasieområdet kan målene gå på karakterer eller den såkaldt løfteevne, som udregnes af Undervisningsministeriet, og som er udtryk for, hvor dygtige de enkelte gymnasier er til at løfte eleverne faglige niveau, når man tager højde for elevernes faglige og sociale baggrund. Det vil sige, at man tager højde for de forhold, der varierer mellem gymnasierne, og som skolerne ikke selv er herre over og kun måler effekten af de forskelle, som gymnasierne selv kan skabe. Det betyder, at et gymnasium godt kan have en god løfteevne, og dermed være en succes, på trods af et måske generelt lavt karaktergennemsnit, som siger mest om, hvilke elever man optager. Løfteevne siger derimod noget om, hvor højt man løfter eleverne fagligt, fra de kommer, til de forlader gymnasiet. |
Kontakt:
Ph.d.-studerende Niels Bjørn G. Petersen, Institut for Statskundskab, Aarhus BSS: Tlf.: 87 16 55 85. Mail: niels@ps.au.dk
Læs hele pressemeddelelsen på Via Ritzau her: https://via.ritzau.dk/pressemeddelelse/ansatte-kritiserer-resultatmal-nar-evalueringen-er-darlig?releaseId=13564199
