Pedagogisk bruk av automatiserte tester

Fra E-Læring
Hopp til: navigasjon, søk

Det du nå leser er basert på lærestoff utviklet av Svend Andreas Horgen og Greta Hjertø i forbindelse med kurset "Kreativ bruk av LMS", høsten 2006, samt erfaringer gjort fra SELP-prosjektet og arbeidet rundt EVATEST.

Introduksjon

Mange forbinder automatiserte tester med tidsbesparelse. Hovedhensikten blir ofte å oppnå effektiv vurdering. Her følger noen konkrete eksempler som viser hvordan kreativ bruk av tester kan åpne nye muligheter for læring.

Noen av eksemplene er strukturert i fremstillingen, med en kort beskrivelse av mulig gjennomføring og positive/negative sider. Hensikten er å gi idéer slik at du som leser (og lærer) kan gjennomføre ulike varianter i din undervisning.

Verdien av å planlegge opplegget på en strukturert måte før det gjennomføres, må ikke undervurderes. Det tvinger deg som lærer til refleksjon, gjennomtenkning, målformulering og oppfordrer til dokumentasjon i ettertid. Det er dessuten enklere å kvalitetssikre opplegg som er skriftlig dokumenterte ved for eksempel å sende resultatene til en kollega

Eksempel på selvtest for å øke læringseffekten

Egenvurdering kan inngå som en viktig del av læringsprosessen, og blir i så måte en form for formativ vurdering. En øver inn kritiske holdninger til egen kunnskap, forståelse og læremetoder. Egenvurdering er nært beslektet med egenevaluering – evnen til å si noe om kvaliteten på egen kunnskap.

Studentene kan for eksempel skrive rapport om egen innsats, gi seg selv karakter (med begrunnelse), og så videre. Rent konkret kan en slik rapportering gjennomføres i et LMS ved hjelp av undersøkelsesverktøy, logg-verktøy eller diskusjonsforum. Dermed vil resultatene kunne samles opp slik at læreren (eller medstudenter) kan involveres i vurderingsprosessen.

La oss nå forsøke å tenke kreativt rundt hvordan en tradisjonell undervisningsøkt kan berikes ved bruk av tester. Beskrivelsen som følger er basert på et vellykket opplegg gjennomført flere ganger i ulike fag av Svend Andreas Horgen ved datautdanningen ved Avdeling for Informatikk og e-læring, HiST. Merk: Opplegget kan også gjennomføres utelukkende i et LMS. Dette er litt vanskeligere å få til i praksis, grunnet dårlige muligheter for sekvensstyring i dagens LMS-systemer. Gir du derimot gode instruksjoner, går det bra å flytte dette opplegget over til et LMS.

Overordnet mål: Vil skape læremodus, øke engasjementet og motivasjon i en undervisningsøkt, og slik øke læringsutbyttet for den enkelte student.

Metode: Bruk av samme flervalgstest før og etter undervisningsøkten.

Passer best for: Opplegget passer bra dersom et tema undervises over to økter, for eksempel første halvdel tirsdag kl 10-12 og deretter neste halvdel onsdag kl 10-12. Kan selvsagt også brukes dersom temaene er forskjellige. Passer også bra dersom det har vært en lengre pause mellom undervisningsøkter (for eksempel 3 uker pause i et fag).

Forberedelse: Læreren lager en flervalgstest som har spørsmål fra forrige læringsøkt og fra den kommende læringsøkten. Testen kan gjerne utformes i LMS-systemet og skrives ut i to eksemplarer. Må kopieres opp til alle i klassen.

Gjennomføring: Opplegget består av fire faser som gjennomgås her:

Fase 1

Innebærer at studentene tar den første testen før kommende læringsøkt (onsdag) påstartes, gjerne i de 10 første minutter av timen. En kan forvente at mange klarer å svare på spørsmålene fra forrige læringsøkt (tirsdag) mens en kan forvente at de færreste klarer å svare på spørsmålene fra denne læringsøkt (onsdag) siden denne økten ikke er påbegynt enda. Dette fremtvinger refleksjon og tankevirksomhet fra studentens side, og minst to effekter oppnås:

  1. Tidligere tilegnet kunnskap gjenoppfriskes i og med svar på spørsmålene fra forrige læringsøkt.
  2. Studentene kommer i et motiverende læremodus. De sitter igjen med mange ubesvarte spørsmål som de trolig vil få svar på i løpet av kommende læringsøkt.

Det er viktig at svarene ikke presenteres enda.

Fase 2

Er selve læringsøkten (som i et helt enkelt undervisningsopplegg vil stå alene). Her skal studenten jobbe med lærestoffet.

Fase 3

Kommer rett etter at læringsøkten er ferdig, for eksempel de 10 siste minuttene av timen. Studentene får nå utdelt samme test som utdelt i fase 1. Det er ingen forskjell på test1 og test2.

Fase 4

Innebærer en oppsummering fra lærerens side (for eksempel 5 minutter). Studentene får vite svarene, og retter selv testene sine (gir seg selv poeng). En variant kan være å rette sidemannens tester. Dersom testen er godt utformet, vil de fleste studentene gjøre det bedre på den andre testen enn på den første. Hvilken konklusjon kan en så trekke? De to effektene fra fase 1 kan utvides med en tredje effekt:

  1. Gjenoppfriske tidligere kunnskap.
  2. Motivasjon, læremodus.
  3. Studentene blir bevisst på at de har lært noe i løpet av timen.

For å forsterke effekten fra punkt 3 ytterligere, kan en som lærer til slutt be studentene om å skrive noen ord om for eksempel:

  • Hvordan vil du karakterisere din egen innsats i timen i dag?
  • Var du forberedt før timen?
  • Vil du jobbe i etterkant av timen?
  • Likte du dette opplegget?

Arkene kan – hvis ønskelig – samles inn for videre bearbeiding i ettertid. Det er i så fall lurt å få alle studentene til å velge en id og skrive samme id på begge arkene.

Fordeler og ulemper med opplegget

Fordeler:

  • Studentene blir mer aktive under bearbeiding av lærestoffet.
  • Bevisstgjør studentene på egen læring og øker motivasjon for videre arbeid.
  • Lærer kan følge med på læringseffekten til mange studenter samtidig.
  • Opplegget er lett å gjenbruke, også på tvers av fag.
  • Passer godt både i e-læring og vanlig undervisning. En kan lage testen i et LMS, skrive ut og benytte i klasserom. En kan også kjøre utelukkende i et LMS, men må i så fall gi beskjed om at at ting må gjøres i rekkefølge.
  • Spørsmålene i testen kan med fordel utformes på ulike nivåer i Blooms taksonomi.

Ulemper:

  • De studenter som måtte få negativt resultat (første test var best) kan ødelegge motivasjonen for videre læring.
  • Dårlig formulerte spørsmål vil skape mer irritasjon enn motivasjon.
  • Ved gjennomføring i et LMS, kan opplegget kreve en viss grad av instruksjoner fra lærerens side dersom LMS-systemet ikke støtter sekvensiering/rekkefølgestyring.
  • Svak verktøystøtte for slike opplegg vil kreve manuell innsats fra lærer og student.


Studentene lager sine egne spørsmål og tester

Du har sikkert oppdaget som lærer at det er vanskelig å lage gode spørsmål for bruk i automatiserte tester. Dersom du får hjelp av en kollega til kvalitetssikring, vil det trolig gå lettere.

Du har kanskje også opplevd at det er lærerikt å forsøke å lage gode spørsmål. En viktig forutsetning for å lykkes, er å forstå stoffet, og klare å se nye sammenhenger. Hvis du som lærer, lærer mye av å lage spørsmål og tester, hvorfor ikke da la studentene lage sine egne spørsmål og tester?

Overordnet mål: Studentene skal innøve lærestoffet på en ny måte og se nye sammenhenger fra nye synsvinkler. Øke evnen til å problematisere spørsmål og tenke oppover i Blooms kognitive stige.

Metode: Studentene lager selv en rekke spørsmål.

Passer best for: Det er krevende å lage spørsmål utover nivå 1 i Blooms taksonomi. Det kan være lurt å kjøre et slikt opplegg først etter at studentene har svart på noen ”vanlige” tester der ulike nivåer i Blooms taksonomi er brukt. Erfaring viser at hvis ikke, vil studentene holde seg på fakta-nivå.

Mulige gevinster:

  • God læring, krever faglig innsikt ov oversikt
  • Gode spørsmål kan inngå i lærers tester. Dette skaper motivasjon for både studentene og læreren ☺
  • Kan studentene bli mer mottakelige for tester når de selv har laget egne tester?
  • Øvelse i å formulere seg korrekt og presist
  • Du som lærer fanger opp studenters nivå, problemer, kunnskap

Utfordringer:

  • Hva er gode spørsmål?
  • Tar tid å vurdere for læreren (dersom testene skal vurderes til bestått/ikke bestått).

Praktisk gjennomføring:

  • Gi studentene rettigheter til å opprette tester i LMS-systemet. Fordelen er at testene da er digitale fra starten av. Ulempen er de begrensninger som test-verktøyet i LMS-systemet setter. Er det mulig å laste opp bilder i en test i LMS-et? Kan spørsmål lett gjenbrukes?
  • Lage en mal i Word (eller liknende) som skal fylles ut og returneres.

Varianter:

  • Samarbeid om å lage spørsmål er positivt! Dette skaper diskusjon og en må forsvare spørsmålene en lager overfor andre på gruppen.
  • Grupper kan lage tester til hverandre.
  • Alle må kommentere hverandres spørsmål.
  • Studentene skal begrunne hva som er riktige og gale alternativer når de lager spørsmålene. Dette fremtvinger refleksjon rundt gode spørsmål.

Hvordan tenke kreativt og hvordan bruke LMS?

Det er mange muligheter for kreativt bruk av automatiserte tester. Hva er kreativitet? Det som er kreativt for noen, er kanskje banalt for andre. Det viktigste er likevel å finne frem til opplegg som passer inn i sin egen undervisningssituasjon.

Egne erfaringer viser at ved å sette av tid til å skrive litt om det opplegget en tenker å gjennomføre – gjerne på en strukturert og konsis måte som vist i eksemplene i denne leksjonen – vil prosessen rundt å tenke ut passende opplegg bli lettere, og sluttresultatet blir bedre. Dessuten er det enklere å forbedre opplegget i neste omgang, få innspill fra andre kollegaer og eventuelt å dokumentere sitt (innovative) arbeid. Hva er hensikten med opplegget? Hva vil oppnås? En bør ikke ta utgangspunkt i de tilgjengelige verktøy i LMS-systemet når en skal pønske ut nye ideer, men heller se på hva en vil oppnå rent pedagogisk og så se på om det er mulig å realisere opplegget med et LMS-system.

For å forsterke de positive effektene ved ulike tilnærminger, er det gunstig (og mulig) å kombinere ulike teknikker. En kan for eksempel gjøre en flervalgstest rett etter arbeid med en skriftlig/praktisk øvingsoppgave. Som følge av en umiddelbar tilbakemelding fra flervalgstesten, blir studenten kritisk til sin egen produksjon, og kan modifisere sin øvingsoppgave før den sendes til veileder. Læringseffekten av en slik arbeidsmetodikk er forskjellig fra en ren øvingsoppgave. Det ekstra leddet medfører selvsagt ekstra arbeid, og dermed også (forhåpentligvis) økt læring.

Når LMS-systemene begynner å implementere større grad av muligheter for sekvensstyring og gruppering av ulike verktøy og aktiviteter, vil det åpne seg nye muligheter for deg som faglærer. Det er mulig å gjøre det meste også i dag, men ofte krever dette stor grad av manuell innsats fra både læreren (som lager opplegget) og studentene (som gjennomfører opplegget).

Et eksempel på hvordan en undervisningssekvens kan realiseres i et LMS-system, er vist i bildet under. I sekvensen inngår evalueringer, ressurser (lærestoffet) og tester. Ved å ta disse i en forhåndsbestemt rekkefølge, bør læringseffekten øke sammenliknet med å bare jobbe med lærestoffet (element nummer 5).

Simulert sekvens i LMS-systemet it’s learning. Faglærer ønsker at elementene i Leksjon 11 skal utføres i rekkefølge. Her inngår automatiserte tester (3, 4 og 6), lærestoff (5) og evalueringer/undersøkelser (2 og 7). I høyre del av bildet vises oppskriften som læreren har laget i notatet ”1. Rekkefølge”.

Ved gjennomføring i it’s learning i faget ”Programmering i Visual Basic” våren 2006, oppstod følgende problem. Alle nye tester og evalueringer vises som ”nye elementer” på fagets forside i it’s learning. Læreren kan ikke slå av slike varslinger. Følgelig oppdaget mange studenter som logget inn, at det var en ny test tilgjengelig som het ”3. Test: grunnleggende programmering”. De klikket på testen (samt de andre testene). Dette ødela hele opplegget for dem. Når de senere klikket på mappen ”Lek 11: Lage en større applikasjon” og oppdaget at leksjon 11 hadde et spesielt opplegg som skulle tas i rekkefølge, hadde de allerede gjennomført alle testene og evalueringene, og ville ikke få noen særlig merverdi av å gjøre dem på nytt igjen. Datamaterialet for læreren ble også ødelagt.

Dette viser hvor viktig det er at læreren forstår hvordan LMS-systemet oppfører seg. Det er vanskelig å forutse alle negative (og positive) konsekvenser på forhånd. En mulighet er å teste et opplegg på et utvalg av studenter først (eller anta at første gjennomføring ikke blir problemfri). En kan også med fordel logge inn som studentbruker og observere nøye hva som er mulig underveis (studentmodus holder ikke, her må en ha sin egen dummy-studentbruker). Når slike svakheter er oppdaget, må studentene informeres godt på forhånd. Dersom studentene hadde kjent til at det var et spesielt opplegg knyttet til leksjon 11, og fått beskjed om å ikke fristes av eventuelle tester de ble tilbudt fra fagets forside, ville flere ha fått utbytte av øvelsen.

Kort oppsummert kan vi si at det er liten tvil om at automatiserte tester vil gi mange fordeler, spesielt når en tar i betraktning mulighetene for kreativt bruk. En bør likevel være bevisst på hvor mye en benytter automatiserte tester i undervisningen. Det er ikke gitt at mer er bedre, og det er ikke slik at automatiserte tester er den eneste vei til Rom. Du vil trolig lykkes best dersom du anser automatiserte tester som et av mange pedagogiske verktøy. I og med denne leksjonen ønsker vi å bevisstgjøre at det fins mange, mange kreative måter å benytte tester på, der det er din egen fantasi som setter grensene!