Maskinöversättning och språkinlärning

Kent Fredholm, fil.dr. i pedagogiskt arbete och romanska språk

Språkstuderandes bruk av maskinöversättning utgör ett växande forskningsfält med förgreningar bland annat till språkdidaktik, tillämpad språkvetenskap och skrivforskning. Bland tidiga studier märks ofta en skeptisk inställning gentemot tekniken, med artiklar om hur lärare kan upptäcka om elever använt maskinöversättning och hur missbruket kan stävjas. Andra studier har undersökt effekter på texter som skrivs med hjälp av maskinöversättning: hur textlängd, lexikal variation, stavning, grammatisk korrekthet och komplexitet påverkas. Här ses ofta större lexikal variation och textlängd, men blandade resultat i fråga om språklig korrekthet. Några studier har också genomförts där lärares bedömning av maskinöversatta texter jämförts med bedömning av icke maskinöversatta texter. Intressanta resultat här är att maskinöversatta texter ibland fått högre betyg eller bättre omdömen, men att lärare som granskat texterna inte alltid har kunnat avgöra huruvida en text var maskinöversatt eller ej när frågats om vad de trodde.

I senare studier framhålls maskinöversättning som ett sätt att stärka språkstuderandes metalingvistiska kompetens. Genom att jämföra och diskutera olika översättningar kan den språkliga medvetenheten ökas, åtminstone i teorin. Här märks en mer öppen inställning gentemot tekniken. Eftersom vi vet att språkstuderande använder den, är det förmodligen mer givande att sakligt diskutera den, snarare än att förbjuda den. (Detta betyder dock inte att elever behöver ha tillgång till den alltid eller uppmuntras att använda den varje gång de skall skriva något.)

Vi känner således till en del om de effekter som användning av maskinöversättning kan få. Trots detta har få studerat vad de som använder tekniken egentligen gör med den, och hur de gör det. Jag ville veta mer om detta och följde därför i mitt avhandlingsprojekt fyra grupper i Spanska 4 på gymnasiet under sammanlagt tre terminer. (Avhandlingen kan laddas ned här. Den innehåller också en fylligare sammanfattning av forskningsläget än vad som kan erbjudas i detta blogginlägg.)

I mitt projekt fick hälften av eleverna använda nätbaserade resurser (däribland Google Translate), den andra hälften en tryckt ordbok, medan de med jämna mellanrum skrev uppsatser på spanska om teman som var knutna till undervisningen i grupperna och till ämnesplanens centrala innehåll. Genom att spela in datorskärmarna för de elever som hade tillgång till internet kunde jag se vilka resurser de använde, hur de använde dem och vad de gjorde med eventuella sökresultat. Vanliga Google-sökningar förekom när eleverna sökte efter fakta till sina texter och för att slå upp spanska verbparadigm. För att verifiera betydelsen av ord förekom bildsökningar; vid ett tillfälle sökte exempelvis en elev på ordet salchicha för att säkerställa att det verkligen betyder ’korv’, varvid skärmen fylldes av bilder på denna livsmedelsprodukt.

Den överlägset vanligaste strategin för att söka efter språklig information var dock användningen av Google Translate. I genomsnitt 44 % av ordmassan i de färdiga uppsatserna tillkom med hjälp av maskinöversättning (med stora variationer mellan eleverna, från 6 % upp till 100 % i extremfallen. Elevernas sätt att använda Google Translate kan grovt delas in i tre olika förhållningssätt, som jag kallat för genvägar, omvägar och irrvägar. I den första kategorin möter vi elever som hanterar tekniken effektivt: de slår upp ord som ger tillförlitliga sökresultat, kopierar orden och klistrar med lätthet in dem i sina texter. De här eleverna behärskar kortkommandon som underlättar skiften mellan olika fönster på datorskärmen, kopiering och inklistring. Informationssökningen går snabbt och enkelt och riskerar troligen inte att ta fokus bort från den framväxande texten och dess innehåll. Eleverna behärskar också språken de använder så pass bra att de kan utföra säkra sökningar och snabbt värdera sökresultaten.

Elever som tar omvägar använder tekniken på mer tidsödande sätt. Här finns elever som utför kontrollöversättningar av ord som de tidigare översatt eller av ord som de själva skrivit utan att först översätta dem. Ibland leder detta till långa sekvenser av kontrollöversättningar fram och tillbaka mellan språken. Merparten av eleverna i mina studier använde tre språk (svenska, spanska och engelska), vilket ytterligare komplicerar sökstrategierna jämfört med om enbart två språk hade varit inblandade. Många av de här eleverna använde inte heller kortkommandon utan växlade långsammare mellan fönster och skrev manuellt av de uppslagna orden, bokstav för bokstav. De litade inte alltid på sitt eget omdöme utan raderade ord de själva skrivit till förmån för förslag från Google Translate, vilka ibland var mindre korrekta eller passade sämre in i kontexten.

De många kontrollöversättningarna leder ibland också till irrvägar, där elever trots långa söksekvenser aldrig kommer fram till något användbart svar, eller accepterar översättningar som inte är korrekta eller inte passar in i sammanhanget. Detta överensstämmer kanske på ett sätt med den stereotypa bilden av Google Translate-användare som någon som godtager obegripliga översättningar och utan att reflektera använder dem i sin egen textproduktion. Denna bild är dock överdriven; eleverna som deltog i mina studier ansträngde sig i regel hårt för att finna översättningar som de ansåg trovärdiga och användbara, och de godtog ytterst sällan första bästa översättning. De många kontrollöversättningarna som kunde observeras tyder på en vilja att säkerställa så bra översättningar som möjligt. Denna vilja att kommunicera och att göra sig förstådd är något värdefullt att bygga vidare på som språklärare. Tyvärr litade eleverna inte alltid på sina egna språkkunskaper och sin egen omdömesförmåga, utan valde att använda översättningar som var mindre användbara. Det är därför viktigt att språklärare arbetar aktivt med att stärka elevernas tilltro till de egna språkkunskaperna.

Det är också angeläget att språklärare diskuterar maskinöversättning med sina elever, visar hur tekniken fungerar och var fallgroparna finns: bland dessa kan nämnas idiomatiska uttryck, homografer, svårigheter att få kongruensen rätt i komplexa meningar och att åstadkomma översättningar med korrekt användning av tempus och modus, liksom att erhålla korrekta översättningar av pronomen, inte minst då tekniken inte känner av artighetsnivåer och inte klarar av att anpassa översättningarna särskilt väl efter olika kulturers språkliga konventioner. För att kunna hantera tekniken behöver eleverna gedigna lexikala, grammatiska, pragmatiska och kulturella kunskaper i och om språken de översätter till och från för att kunna avgöra var översättningar brister och för att kunna förutse var problem kan uppstå. Det är därför inte dags – än, åtminstone – att tro att maskinöversättningstekniken gjort oss språklärare obsoleta och onödiga. Vi har tvärtom en viktig roll att spela för att medvetandegöra eleverna om språkens komplexitet, om hur tekniken kan hjälpa oss att hantera språken och – inte minst – att stärka elevernas tilltro till den egna språkförmågan.

Kent Fredholm, Karlstad, oktober 2021

Hot topics in language research

Andrea Schalley, Professor in English Linguistics

You may wonder at times how you can get an overview of hot topics in language education research, to see what research could possibly be beneficial for you and your professional development. One option is, of course, to attend an overview conference and try to take stock of the topics under discussion. This is what I have attempted by attending the 19th World Congress of Applied Linguistics (AILA 2021) – originally scheduled to take place in Groningen, the Netherlands, during August 2020, but due to the Covid-19 pandemic moved to a virtual format and held in August 2021 instead.

The World Congress of Applied Linguistics is the flagship conference in the field of applied linguistics, steered by the international federation of national and regional applied linguistic associations, the International Association of Applied Linguistics (AILA). In non-pandemic times, AILA conferences take place every third year and they travel around the globe (2014 Brisbane, Australia; 2017 Rio de Janeiro, Brazil; 2021 Groningen, the Netherlands; 2024 Kuala Lumpur, Malaysia). They attract a huge number of participants, as the impressive figures from this year’s conference confirm: AILA 2021 had 2181 registered attendees, 2014 of which presented their work, and 384 participants organised and/or moderated the 164 symposia that constituted the week-long conference.  Each symposium addressed a specific topic in applied linguistics, the branch of language research that is directly oriented towards practical, everyday problems related to language and communication. Prominently among participants’ interest areas are, not surprisingly, many that relate to language education, as can be seen in the top five areas nominated by participants:

1. Language teaching and learning

2. Multiple languages

3. Language in use

4. Linguistic social issues

5. Language (teaching) resources

This is reflected in the symposia themselves, too. The overwhelming majority focused on language teaching and learning, with some prominent trends within this area standing out. For each of the trends listed in the following, the titles of three relevant AILA 2021 symposia are included in order to give an impression on what was discussed at the conference. Many more could be mentioned, and some naturally straddle across categories:

  • Multilingual learning:
    • International perspectives on educational models for newly immigrated (refugee) children, adolescents, and young adults: Options, challenges & best practices
    • Multilingual education or how to learn to teach multilingual learning
    • New dynamics for new cultural, linguistic and digital realities: Adapting mainstream learning environments to and for migrant learners
  • Interaction and language use in the classroom / classroom discourse:
    • Classroom discourse: Intercultural, interactional and assessment perspectives
    • Conversation analysis and interactional linguistics in foreign language learning: Understanding what provides for ‘competent’ interaction
    • L2 classroom discourse: Micro-analytic, multimodal, and multilingual perspectives
  • Age as a factor in language learning:
    • Age as a critical factor in L2 learning – at any age or none!
    • Early foreign language learning in classroom settings
    • Language learning never gets old: Linguistic, social and cognitive effects of third age language learning
  • Digitalisation and technology-mediated language learning and teaching
    • Emergent orchestration in technology-mediated language learning and teaching
    • Language teacher education, intercultural communicative competence and the ‘Web 4.0’: Scaling up with virtual exchange
    • Technology-mediated corrective feedback and instruction in language learning
  • Learner characteristics and learner diversity
    • Learner diversity as an asset in the (inclusive) foreign language classroom: Challenges and solutions
    • The role of individual differences in the language learning of children and adolescents.
    • Variables affecting foreign language acquisition in bilingual programs
  • Language learning resources
    • Broadening perspectives: Theorising, researching and practising literature in language teaching
    • Innovative approaches to TESOL materials and textbook research
    • What do we know and where do we go? : Emergent definitions of “materials” and “materials use” in language teaching and learning
  • Assessment and testing
    • Connecting second language acquisition research to language testing
    • Proficiency: Wanting it in instruction, and seeing it in varied assessment
    • Re-envisioning language assessment to meet the needs of learners in a changing world: What can diagnostic and dynamic assessment contribute?

As it happens, CSL scholars have addressed aspects of nearly all of these trending research areas in their own work, and you can find some information on ongoing as well as completed projects on CSL’s website.

While unfortunately the recorded video presentations of symposium participants are only available for a short period to conference attendees, the keynote presentations are available freely and in full. You can access and watch them here. For instance, Carmen Muñoz (Spain) presented on “Language learning through audiovisual input in and out of the classroom”, with a specific focus on the role of multimodal input (video captions and subtitles) in language learning. There is lots to discover, also in the other keynotes. Enjoy!

Andrea Schalley, October 2021

Ny studie om lärare som bedömare: Om hökar, duvor och koltrastar i bedömning av nationella prov

Erica Sandlund, Docent i engelska

Källa:

Sandlund, E., & Sundqvist, P. (2021). Rating and reflecting: Displaying rater identities in collegial L2 English oral assessment. In M. R. Salaberry & A. R. Burch (Eds.), Assessing speaking in context – Expanding the construct and its applications (pp. 132-162).  Multilingual Matters.

Känner du dig som en hök eller en duva jämfört med dina lärarkollegor när du bedömer och betygsätter elevprestationer? Har du i egenskap av mentor eller vårdnadshavare hört elever prata om hur olika lärare bedömer elevuppsatser, prov eller muntliga presentationer ”hårt” eller ”snällt”? Hur formas och framträder sådana bedömarprofiler? En ny studie om bedömning av muntlig färdighet i språk sätter fokus på just hur lärare – i sitt bedömaruppdrag – formulerar och förklarar vilken typ av bedömare de är. Kapitlet, som är skrivet av Erica Sandlund och Pia Sundqvist är publicerad i boken Assessing speaking – Expanding the construct and its applications och är ett resultat av två tidigare forskningsprojekt inom Centrum för språk- och litteraturdidaktik.

Studien intresserar sig för hur lärare diskuterar sina enskilda bedömningar av den muntliga delen av det nationella provet i engelska i årskurserna sex och nio med engelsklärarkollegor från andra skolor. I Sverige, till skillnad från i många andra länder, är det ju oftast elevens egna ämneslärare som bedömer elevens prestation på de nationella proven. Vi har länge intresserat oss för lärares bedömningspraktiker vad gäller det muntliga nationella provet i engelska, vilket vi skrivit om i flera andra sammanhang (se exempelvis här, här, och här) och i studien använder vi oss av två olika videoinspelade datamaterial. I det ena har vi spelat in fyra grupper av engelsklärare som först har bedömt ett inspelat elevprov från årskurs nio individuellt, och sedan träffas i grupper om tre eller fyra lärare för att diskutera och enas om ett provbetyg för de två eleverna utifrån Skolverkets bedömningsanvisningar för provet. I det andra datamaterialet finns liknande bedömarmöten för nationella prov i engelska i årskurs sex, där elva lärare deltog i en fortbildning med fokus på bedömarträning. Lärarna hade ombetts att diskutera sina enskilda bedömningar och också sätta sina bedömningar i relation till de andra deltagarnas, och till Skolverkets betygsättning av dessa elevprov. Det är här fåglarna i rubriken kommer in – vi forskare presenterade begreppen duva, hök och koltrast som metaforer för olika typer av bedömare. Höken ser allt och tenderar att vara sträng i sina bedömningar medan duvan är generös och mäklar fred med elevprestationens kvaliteter. Koltrasten, slutligen, är den som ligger mitt i prick – den som ligger väldigt nära den standard som elevprestationen ska bedömas efter. I vår studie var Skolverkets egna exempelprov med tillhörande betygsättning en sådan standard (eller benchmarks, som man brukar kalla dessa normvärden).  Lärarna i detta projekt fick göra en mängd individuella bedömningar av muntliga elevprov och fick sedan återkoppling från forskarna på hur de bedömt i förhållande till Skolverket. Därefter diskuterade de både återkopplingen och sin syn på de olika elevproven.

Varför är det då intressant och viktigt att studera hur lärare positionerar sig som bedömare? Ja, något som forskning kring bedömning, bedömare och bedömarträning länge visat är att det är väldigt svårt att uppnå såväl samsyn (om vad som ska bedömas) och samstämmighet (olika bedömare sätter samma betyg) i bedömning – särskilt om det handlar om bedömning av komplexa förmågor som skrivande och muntlig färdighet (se exempelvis Jönsson och Thornbergs artikel från 2014 som diskuterar detta). Dels kan tolkningsutrymmet göra det möjligt med olika förståelse av det som ska bedömas (i vårt fall, muntlig produktion och interaktion på engelska); dels har alla bedömare sina erfarenheter och uppbyggda kunskap från olika skolor, färdighetsnivåer och arbetssätt, och det är sannerligen inte enkelt att vara säker på om ett ”B” i ens egen klass motsvarar exakt samma färdighetsnivå som ett ”B” på en annan skola. Den kollegiala miljön, möjligheterna till sambedömning och fortbildning, samt erfarenhet som lärare är några faktorer som kan spela in för hur man bedömer – och uppfattar sig själv som bedömare. I den här studien undersöker vi hur lärarna reflekterar kring sig själva som bedömare i relation till sin egen bedömningspraktik och i förhållande till kollegor.

Inom forskningen har flera vägar till ökad samsyn och samstämmighet prövats och diskuterats. Språkforskaren Glenn Fulcher (2003) betonar exempelvis vikten av att socialisera in bedömare i en gemensam förståelse av matriser och bedömningsfaktorer. Sambedömningsmöten kan vara ett sådant forum eftersom lärare får möjlighet att arbeta gemensamt med faktiska elevprestationer och därmed öka samsynen om vad som ska bedömas. Detta kan också ske genom individuell och gemensam reflektion över den egna professionella praktiken (Mann & Walsh, 2013) där lärare/bedömare, i samtal med andra, kan få syn på egna preferenser och tendenser i bedömningen i relation till kriterier och kollegial kunskap.

Studien visar att lärarna i båda videomaterialen förhöll sig till en slags skala för ”bedömarstränghet”, vilket på engelska kallas rater leniency (generositet) och rater severity (stränghet) i sina beskrivningar och förklaringar kring individuella bedömningar och den egna bedömarprofilen. Man positionerade sig i förhållande till kollegor och lokala förhållanden på den skola man arbetar på, och detta särskilt för att motivera varför man bedömt hårdare eller mer generöst än de andra deltagarna och/eller Skolverket. Om man upptäcker att man är en generös duva förklaras detta exempelvis med att kollegor upplevs som väldigt hårda och man har velat lyfta fram elevprestationens kvaliteter som kontrast. Har man fått klart för sig att man är mer av en hök förklaras det exempelvis med osäkerhet eller avsaknaden av ämneskollegor på skolan, och där man tydligt kopplar ihop yrkesprofessionalitet med stränghet. Det upplevdes alltså som ett ”säkrare” alternativ att vara lite ”för sträng” än att vara ”för snäll”. Lärarna i alla grupperna visar i sina samtal att det anses problematiskt att befinna sig i båda ytterkanterna av stränghets/snällhetsskalan, men också att det är än mer problematiskt att vara för generös än att vara för sträng i sina bedömningar. Detta kan vi se genom att lärarna ger en mängd förklaringar kring sina bedömningar om de visat sig vara hökar, och än mer om de visat sig vara duvor. Vi ser vidare att man förhåller sig till stränghet som ett tecken på professionalitet genom att beskriva Skolverkets bedömningar som bitvis för generösa.

Även om lärarna i just vår studie generellt sett bedömde elevprestationerna nära Skolverkets exempelbedömningar finns det alltid en risk att en social norm kring stränghet och professionalism leder bedömningspraktiken närmare höken än duvan, och längre ifrån koltrasten. Den stränghetsskala som vi ser att lärarna förhåller sig till är ju inget som finns i bedömningsmaterialet. Istället är det en underliggande och gemensam förståelseram som blir synlig i lärarnas samtal. Studien visade även att kollegiala samtal är en rik källa till gemensam och delad kunskap – både för forskare och i praktiken.

De forskningsprojekt som ligger till grund för analysen är Likvärdig bedömning i språk och Sambedömning som samtal. Läs gärna mer om dessa två projekt genom att klicka på länkarna. Hela kapitlet finns att ladda ner, skriva ut eller bara läsa här. Om effekterna på likvärdig bedömning av att få delta i ett bedömarträningsprogram av den typ som utvecklades och utvärderades inom EquA-projektet kan du läsa här.

Karlstad oktober 2021

Erica Sandlund