Læsevejledning til figur

Hvordan fortolker jeg resultaterne?

Evalueringsrapporterne i UDEVA anvender den samme figurtype til alle uddannelser og til alle organisatoriske niveauer. Figuren viser, hvordan de studerende/eleverne i gennemsnit har besvaret spørgsmålene i spørgeskemaet på det pågældende organisatoriske niveau.

Det er vigtigt, at du er opmærksom på, at data baseret på spørgeskemaer altid vil være behæftet med usikkerhed. Rapporter på klinik-niveau vil ofte være baseret på én eller to personers udtalelser, hvor evalueringen derfor vil være mere afhængig af den enkeltes subjektive oplevelse.  Evalueringen repræsenterer studenters og elevers vurdering af deres forløb. At forløbet opleves mindre godt, og at besvarelser er under 3 ("hverken enig eller uenig") betyder ikke nødvendigvis, at forløbet også er mindre godt fra en uddannelsesfaglig vinkel. Dog, hvis man oplever, at mange studenter eller elever oplever deres forløb mindre godt, kan det sandsynliggøre, at der er behov for at diskutere ændringer i uddannelsesforløbet.

Når man betragter søjlediagrammet, så kan man være tilbøjelig til at fokusere på, hvilke søjler der er højest eller lavest, og sætte ind på disse områder. Denne tilgang er dog ikke den mest hensigtsmæssige måde at bruge resultaterne, fordi det der kan betragtes som et højt niveau for et spørgsmål ikke nødvendigvis er det samme for et andet spørgsmål. Frem for at sammenligne niveauet mellem de enkelte spørgsmål, er det væsentligt at se på, om der for det enkelte spørgsmål er markante ændringer i forhold til tidligere målinger på samme spørgsmål. Hvis den aktuelle måling markeret med D ligger markant lavere end den akkumulerede måling A, kan det danne grundlag for, at man ser nærmere på, om det kliniske forløb skal optimeres.  

Dertil anbefaler vi, at anvendelse af resultaterne ikke kun tager udgangspunkt i søjlediagrammet, men også de kommentarer, som er udtryk for studenternes og elevernes oplevelse. Derfor anbefaler vi også, at kliniske vejledere opfordrer studenter og elever til at uddybe deres oplevelser i spørgeskemaets tekstfelter. På samme måde som søjlediagrammerne skal man være opmærksom på, at udsagnene er udtryk for en oplevelse, og at øvrige medarbejdere ved det kliniske forløb ikke nødvendigvis har samme oplevelse, men udsagnene kan give meget konkrete anvisninger til, hvad der kan være behov for at ændre.

Hvis du er usikker på, hvordan resultaterne kan anvendes, er du velkommen til at kontakte os. 

 

Spørgsmål, svarskala og svarscorer

Spørgsmålene i spørgeskemaet er formuleret som en række udsagn, som de studerende/eleverne vurderer på en skala fra 1-5, hvor 1 er ”uenig”, 2 er "overvejende uenig", 3 er "hverken enig eller uenig", 4 er "overvejende enig" og 5 er ”enig”. Man kan også svare "Ved ikke/Ikke relevant" og har mulighed for at tilføje en uddybende kommentar. For hvert spørgsmål er der tre søjler, der viser de gennemsnitlige svarscorer på de enkelte spørgsmål på det pågældende organisatoriske niveau. Jo højere søjlerne er, jo mere positive er vurderingerne af de enkelte udsagn. Resultatet af besvarelserne på hvert udsagn er i evalueringsrapporterne præsenteret som et simpelt gennemsnit af deres svarscore på skalaen fra 1-5.

Det nedenstående eksempel viser figuren fra en tilfældig evalueringsrapport for sygeplejestuderende på modul 4 på Glostrup Hospital. Figuren viser svarscoren på de 22 spørgsmål i grundstammen af spørgsmål (q1-q22), der stilles til alle sygeplejestuderende, uanset hvilket modul de er på, og de tre modulspecifikke spørgsmål – her for modul 4 (m23-m25).

De tre søjler og deres farver

For hvert spørgsmål er der tre søjler, der viser de gennemsnitlige svarscorer på det pågældende organisatoriske niveau.

  • Den første søjle, F (forrige måling), viser den gennemsnitlige svarscore i den forrige måling.
  • Den midterste søjle, D (denne måling), viser den gennemsnitlige svarscore i den nuværende måling.
  • Den sidste søjle, A (akkumuleret), viser gennemsnittet for samtlige besvarelser inden for de seneste fire målinger.
     

 Søjlerne kan have tre farver: blå, lilla og grøn.

  • En blå søjle angiver, at svarscoren på dette organisatoriske niveau ligger over gennemsnittet blandt alle studerende/elever.
  • En lilla søjle angiver, at svarscoren er under gennemsnittet.
  • En grøn søjle angiver, at svarscoren ikke er væsentlig forskellig fra gennemsnittet. Svarscoren for den forrige (F) måling sammenlignes ikke med det samlede gennemsnit, men den har altid farven grøn.
     

Hvide og gule prikker

I evalueringsrapporter, der inkluderer flere moduler, sammenlignes der med gennemsnit for samtlige studerende på den pågældende uddannelse. Det kan let ses, hvad der sammenlignes med, eftersom en hvid prik angiver gennemsnit for alle studerende på ét modul, og en gul prik angiver gennemsnit for alle studerende på tværs af moduler.

Da der i det konkrete eksempel er anvendt en figur, der kun indeholder svar fra studerende på modul 4, er det det samlede gennemsnit for studerende på modul 4, der sammenlignes med. De to hvide prikker på de sidste to søjler angiver gennemsnittet for alle studerende på modul 4 for hhv. dette kliniske forløb (prik på søjle D) og for samtlige kliniske forløb inden for det seneste år (prik på søjle A).
 
Billede til hjemmeside.JPG

Eksempel på forklaring af figuren

I eksemplet oven for er der en tendens til, at de studerende i denne måling på modul 4 er lidt mere positive end resten af de studerende på samme modul. Dette kan ses både ved, at cirka halvdelen af de midterste søjler (søjle D) er blå, og ved at søjlernes top (søjle D) ligger højere end prikkerne.

For spørgsmål 23-25 ligger den midterste søjle højere end den første søjle, der viser forrige måling (søjle F). Det viser, at de studerende i denne måling er mere positive i deres besvarelser af disse tre spørgsmål sammenlignet med den forrige måling. De studerende i denne måling er også mere positive i deres besvarelser af de tre spørgsmål sammenlignet med studerende over de sidste fire målinger. Dette ses ved, at søjlen for denne måling ligger over den tredje søjle (søjle A), der viser gennemsnittet akkumuleret (samlet) over de seneste fire målinger. For disse tre spørgsmål er niveauet for den sidste søjle i øvrigt også højere end for de studerende på modul 4 samlet set (den hvide prik).

Test af forskelle i gennemsnit

I rapporterne sammenligner vi svarene på spørgsmålene på lokalt niveau (for eksempel på afsnitsniveau) med det samlede niveau. For at afgøre, hvilken farve søjlen skal have, undersøger vi, om værdien på det lokale niveau ligger over eller under det samlede niveau, når der er taget højde for den statistiske usikkerhed for det samlede niveau. Vi tager derimod ikke højde for den statistiske usikkerhed på lokalt niveau, og derfor er der ikke tale om en decideret signifikanstest. Testen i UDEVA er derfor en måde at vurdere, om gennemsnittet på et givent, lokalt niveau ligger inden for en rimelig afstand af det samlede gennemsnit, men en decideret signifikanstest er det ikke.