Seniorprofessor Lars Anders Kulbrandstad, Karlstads universitet<\/p>\n\n\n\n
Som i andre land m\u00e5 voksne innvandrere i Norge dokumentere sine skriftlige spr\u00e5kferdigheter for \u00e5 f\u00e5 tilgang til utdanning, arbeid og samfunnsliv ellers. For mange skjer dette ved at de avlegger en spr\u00e5ktest hvor de blant annet skal skrive en sammenhengende tekst om et oppgitt tema. Sammen med Anne Golden ved Multling-senteret ved Universitet i Oslo og andre kolleger har jeg i flere arbeider utforsket hvordan slike tekster blir vurdert.<\/p>\n\n\n\n
I Golden, Kulbrandstad og Tenfjord (2017) tok vi for oss 200 tekster fra det store ASK-korpuset, som best\u00e5r av innl\u00e6rertekster forfattet av voksne med ti ulike f\u00f8rstespr\u00e5k (Tenfjord, Hagen & Johansen, 2009). Tekstene vi analyserte, var skrevet av testtakere med bakgrunn i spansk og i vietnamesisk, og det dreide seg om en test p\u00e5 et niv\u00e5 som noenlunde tilsvarer B1 i Det felles europeiske rammeverket CEFR. Grunnen til at vi ville unders\u00f8ke akkurat disse to spr\u00e5kgruppene, var at de hadde blitt vurdert sv\u00e6rt forskjellig da sensorer evaluerte tekstene i ASK-korpuset etter CEFR-skalaen i forbindelse med prosjektet ASKeladden \u2013 Morsm\u00e5lstransfer i norsk innl\u00e6rerspr\u00e5k<\/em>. Hele 55 % av tekstene i den vietnamesiske gruppen var plassert p\u00e5 A2, noe som indikerer at de var svakere enn det som skulle til for \u00e5 best\u00e5 en test p\u00e5 det aktuelle niv\u00e5et. Dette var tilfellet med langt f\u00e6rre av tekstene skrevet av spansktalende, nemlig 39 %. M\u00e5let med studien var \u00e5 finne ut hvorfor det var slik.<\/p>\n\n\n\n Vi gransket et bredt spekter av variabler knyttet til flyt, korrekthet og kompleksitet, og kartla hvordan forfatterne framstod i tekstene gjennom blant annet bruken av pronomen og verb. Selv om en kombinasjon av fem variabler, hovedsakelig feilvariabler og antall ulike ord, s\u00e5 ut til \u00e5 forklare hvorfor ganske mange av tekstene var blitt plassert p\u00e5 A2 eller B1, var det igjen en god del tekster der dette ikke var tilfellet. Vi lurte derfor p\u00e5 om andre forhold enn korrekt spr\u00e5k og variasjon i ordvalget ogs\u00e5 hadde spilt en rolle. Kunne det v\u00e6re slik at innholdet og den retoriske organiseringen av tekstene var blitt tillagt betydning, selv om de spesifikke vurderingskriteriene som CEFR angir, ikke trekker oppmerksomheten mot slike tekstaspekter? Og kunne forskjellen mellom den vietnamesiske og den spanske gruppen ha noe med dette \u00e5 gj\u00f8re? Med det s\u00e5kalte parallellkorpuset i ASK s\u00e5 Anne Golden og jeg en mulighet til \u00e5 unders\u00f8ke dette. Der er nemlig alle tekstene korrigert slik at det til hver originaltekst svarer en tekst uten ortografiske, morfologisk og syntaktiske feil.<\/p>\n\n\n\n Ut fra de 200 tekstene i den tidligere studien trakk vi 40 tekster, 20 fra hver av de to spr\u00e5kgruppene. Vi var hovedsakelig interessert i tekstene som ikke besto B1-niv\u00e5et, og vi valgte derfor 30 som l\u00e5 under B1 og 10 som l\u00e5 p\u00e5 eller over dette niv\u00e5et. Fra parallellkorpuset hentet vi korrigerte versjoner av alle disse tekstene, og med stikkordene \u2018innhold\u2019, \u2018tekststruktur\u2019 og \u2018stil\u2019 bad vi tolv erfarne sensorer vurdere tekstene ut fra en skala med tre niv\u00e5er: \u2018god\u2019, \u2018middels\u2019 og \u2018svak\u2019. Sensorene skulle ogs\u00e5 gi en kort skriftlig begrunnelse av vurderingen. De fikk vel \u00e5 merke ikke vite hvordan tekstene var blitt vurdert i sin originale versjon.<\/p>\n\n\n\n I analysen sammenliknet vi den opprinnelige evalueringen av tekstene med hvordan den korrigerte versjonen var blitt vurdert, og s\u00e5 hvilke tekster som hadde tjent p\u00e5 at feilene var blitt korrigert, hvilke som tvert imot hadde tapt p\u00e5 dette, og hvilke som verken hadde tjent eller tapt. Videre unders\u00f8kte vi feilfrekvensene i den originale versjonen av tekster som hadde kommet sterkere ut og tekster som hadde kommet svakere ut n\u00e5r den korrigerte utgaven ble evaluert. Vi kategoriserte ogs\u00e5 m\u00e5ten sensorene hadde begrunnet evalueringene sine p\u00e5, og vi var da s\u00e6rlig interessert i de tekstene som var blitt vurdert som svake. I alt dette hadde vi fokus p\u00e5 forskjeller mellom tekster skrevet av testtakere fra hver av de to spr\u00e5kgruppene.<\/p>\n\n\n\n Hva fant vi s\u00e5 ut? Her er det bare plass for viktigste funnene: Det viste seg at tekster skrevet av spansktalende testtakere lettere \u00abhoppet\u00bb opp til en bedre vurdering enn tekster skrevet av forfattere med vietnamesisk som f\u00f8rstespr\u00e5k. Dette kan tyde p\u00e5 at den spanske gruppens tekster gjerne hadde kvaliteter som blir verdsatt av norske sensorer, men at disse egenskapene var blitt maskert av feil i den opprinnelige versjonen. De vietnamesisktalende skrivernes tekster manglet derimot oftest slike foretrukne trekk.<\/p>\n\n\n\n Hvilke egenskaper det er tale om, kom fram i sensorenes vurderingsbegrunnelser. Om tekster som ble vurdert som gode, skrev sensorene ofte at de gav svar p\u00e5 oppgaven, de hadde et velutviklet innhold, det var tydelig struktur og sammenheng i dem, og spr\u00e5ket var klart og variert. Svake tekster ble generelt sagt \u00e5 mangle svar p\u00e5 oppgaven eller \u00e5 gi et mangelfullt svar. De var uklart eller kaotisk organisert og manglet sammenheng i teksten som helhet og\/eller innenfor avsnitt. Spr\u00e5ket manglet klarhet, det var brukt et begrenset ordforr\u00e5d, og det var mange uidiomatiske uttrykk.<\/p>\n\n\n\n V\u00e5r tentative forklaring p\u00e5 disse funnene var at de vietnamesisktalende testtakerne hadde v\u00e6rt mer opptatt av \u00e5 unng\u00e5 feil p\u00e5 ord- og setningsniv\u00e5 enn \u00e5 skrive om temaet som oppgaveteksten krevde, \u00e5 lage en tydelig strukturert og sammenhengende tekst og \u00e5 bruke et rikt og variert spr\u00e5k. Dette er det n\u00e6rliggende \u00e5 se i sammenheng med vekten p\u00e5 formell korrekthet som forskere framhever som et sentralt trekk ved tradisjonell s\u00f8r\u00f8st-asiatisk skolekultur.<\/p>\n\n\n\n Det er viktig at de som underviser innl\u00e6rere med en slik bakgrunn, blir klar over at forhold som dette og tar opp kulturforskjeller i tekstnormer og tekstevaluering i undervisningen. Det betyr ikke at de r\u00e5dende normene og evalueringskriteriene er uforanderlige og ikke kan utfordres. Men man m\u00e5 unng\u00e5 at skrivere og testtakere som ikke er vant med de aktuelle normene og kriteriene, blir vurdert ut fra \u00abtause kriterier\u00bb. <\/p>\n\n\n\n