Månad: maj 2024

Publicerat

How do Swedish lower secondary students think and feel about their English? – Studies, skills, and self-esteem in a second language

Andrea C. Schalley1, Marika Kjellén1, Marie K. Tåqvist1, Ann Jamt2, Kajsa Krigström2, Åsa Lindström3, Susanne Malmberg Olsson4, Ann-Charlotte Rydberg4, Christina Thorén5, Michael Österman2, and Daniel Östlund3

1Karlstad University, Karlstad; 2Ferlinskolan, Filipstad; 3Fryxellska skolan, Sunne; 4Vålbergsskolan, Karlstad; 5Ilandaskolan, Karlstad

ULF (Utbildning, Lärande, Forskning) is a national initiative which aims to facilitate and conduct research in close collaboration between researchers and in-service teachers in primary and secondary school. During meetings within ULF, participating teachers reported on a large disparity between the proficiency levels achieved by students in the English lower secondary classroom, characterised by big groups of very strong students contrasting with those of struggling students. Still, teachers are expected to offer an equitable education to them all. To this end, we are exploring the nature of lower secondary students’ different proficiency levels and to investigate whether there are factors that correlate with (and thus potentially causally relate to) students’ proficiency levels. At a future stage of the project, we aim to develop and evaluate classroom materials and strategies for the teaching and learning of English that will be of assistance to teachers working with students at different proficiency levels.

Researchers from Karlstad University and in-service teachers from four different lower secondary schools in Värmland have jointly collected materials from nearly 300 students. The materials consist of two kinds of data. First, we distributed a survey and collected information relating to student demographics, their self-reported proficiency, the use of English in the classroom as well as outside of it, and various affective factors. These factors relate to foreign language enjoyment (i.e., positive emotions experienced by learners in the classroom), foreign language classroom anxiety (i.e., feelings of unease and apprehension in the English classroom), and self-efficacy (i.e., students’ belief in their capacity to use English appropriately). Second, students wrote an essay on the topic of My Media, based on the National Test in English for Year 9, 2015/2016. The students wrote the essays under National Test conditions. Detailed instructions had been provided, and the essays were written as part of the regular teaching and subsequently graded by the teachers involved. Additionally, the texts are currently being analysed linguistically and the outcomes of these analyses serve as a proxy for the students’ overall English language proficiency. Areas in focus for the linguistic analyses are vocabulary on the one hand, and sentence structure on the other. The students’ vocabulary use is studied with the help of measures of lexical diversity (i.e., the variety of words used in a text) and lexical sophistication (i.e., the proportion of infrequent or advanced words occurring in a text). Sentence structure analysis is based on various types and measures of syntactic complexity (i.e., the grammatical sophistication exhibited in a text).

While the data collection and analyses are still ongoing, there are already some preliminary results. One finding is that the essays written by girls received higher grades than those written by boys. At the same time, the girls reported having higher levels of anxiety in the English classroom, as compared to the boys. In fact, quite a few of the girls reported extremely high anxiety levels whereas none of the boys did. Many boys instead reported very low anxiety levels overall – something very few of the girls did. Another finding is that the large majority of students had high or very high levels of self-reported proficiency, especially the boys. In terms of self-efficacy, it was found that high self-efficacy scores dominated throughout the data set. When the four macro-skills were separated, it was obvious that the students perceived the receptive skills (reading and listening) as being even easier than the productive ones (speaking and writing). What is especially interesting here is that many students with a low essay grade still reported a high level of self-efficacy. It was only students with a failing essay grade who reported a markedly lower level of self-efficacy overall, even though some of these students still had a fairly high level of self-efficacy. As mentioned above, we were also interested in how students use English outside of the classroom. Interestingly, we have not found a strong relationship between gaming and essay grade so far, though further and more detailed analyses are needed. As for reading books, we found that not many students read books in English in their spare time, but that students with grade A read more than other students.

A few early findings relating to the linguistic measures used are available as well. First, as regards lexical diversity, the results suggest a positive correlation with essay length across the student cohort. In other words, students who write longer essays tend to have a more lexically diverse vocabulary. Furthermore, the results indicate that students with a high English grade appear to write longer and more lexically diverse essays than students with a lower English grade. Second, when it comes to syntactic complexity, measured as mean length of clause, no correlation with essay length could be found. In fact, the data set was characterised by similar levels of syntactic complexity throughout, high and low performers alike. Further analyses of other types of syntactic complexity may provide more insights.

As the study progresses, the data will be further processed, and a more complete set of results will inform the selection of intervention areas for the second stage of the study. The results will also be used to support the development and evaluation of materials and strategies for teaching and learning in proficiency-disparate classrooms. The aspiration is that the findings of the study may provide in-service and pre-service teachers as well as policy-makers with solid data to inform their decision-making regarding various pedagogical choices.

Would you like to know more?

If you are interested in reading more about the scales and measures on which we based our study, check out the following publications:

  • on the use of English outside the classroom: Coşkun & Mutlu (2017), Sundqvist & Uztosun (2023);
  • on foreign language enjoyment, foreign language classroom anxiety and self-efficacy scales: Botes et al. (2021), Botes et al. (2022), Dewaele et al. (2017), Torres & Turner (2016); and
  • on lexical diversity and sophistication and syntactic complexity:  Covington & McFall (2010), Zenker & Kyle (2021), Kyle et al. (2018), Kim et al. (2018), Lu (2017), Norris & Ortega (2009).

References

Botes, E., Dewaele, J.–M., & Greiff, S. (2021). The development and validation of the short form of the Foreign Language Enjoyment Scale. The Modern Language Journal, 105(4), 858–876.

Botes, E., van der Westhuizen, L., Dewaele, J.–M., MacIntyre, P., & Greiff, S. (2022). Validating the short-form Foreign Language Classroom Anxiety Scale. Applied Linguistics, 43(5), 1006–1033.

Coşkun, A. & Mutlu, H. T. (2017). Investigating high school students’ use of Extramural English: A scale development study. Journal of Human and Social Science Research, 6(1), 571–590.

Covington , M. A. & McFall, J. D. (2010). Cutting the Gordian Knot: The Moving-Average Type–Token Ratio (MATTR). Journal of Quantitative Linguistics, 17(2), 94–100).

Dewaele, J.-M., Witney, J., Saito, K., & Dewaele, L. (2017). Foreign language enjoyment and anxiety: The effect of teacher and learner variables. Language Teaching Research, 22(6), 676–697.

Kim, M., Crossley, S. A., & Kyle, K. (2018). Lexical sophistication as a multidimensional phenomenon: Relations to second language lexical proficiency, development, and writing quality. The Modern Language Journal, 102(1), 120–141.

Kyle, K., Crossley, S. A., & Berger, C. (2018). The tool for the automatic analysis of lexical sophistication (TAALES): Version 2.0. Behavior Research Methods. 50(3), 1030–1046.

Lu, X. (2017). Automated measurement of syntactic complexity in corpus-based L2 writing research and implications for writing assessment. Language Testing, 34(4), 493–511.

Norris, J. M. & Ortega, L. (2009). Towards an organic approach to investigating CAF in instructed SLA: The case of complexity. Applied Linguistics, 30(4), 555–578.

Sundqvist, P. & Uztosun, M. S. (2023). Extramural English in Scandinavia and Asia: Scale development, learner engagement, and perceived speaking ability. TESOL Quarterly, Retrieved from https://www.duo.uio.no/handle/10852/106711.

Torres, K. M. & Turner, J. E. (2016). Students’ foreign language anxiety and self-efficacy beliefs across different levels of university foreign language coursework. Journal of Spanish Language Teaching, 3(1), 57–73.

Zenker, F. & Kyle, K. (2021). Investigating minimum text lengths for lexical diversity indices. Assessing Writing, 47, 100505.

Publicerat

TT FAIR: Forskningsbaserade principer för muntliga språkprov

Erica Sandlund, professor i engelsk språkvetenskap, Karlstads universitet
Pia Sundqvist, professor i engelskdidaktik, Universitetet i Oslo

Muntliga språkprov är en vattendelare bland elever. Medan en del ser muntliga prov i språk som deras möjlighet att få visa mer av vad de verkligen kan, innebär muntliga prov för andra ett ångestladdat moment där samtalspartnern, nervositet i att prata inför läraren, osäkerhet kring vad som förväntas och rädsla för att få en ren blackout kan samspela. Vi har i många år forskat kring de muntliga språkprovens utförande där vi bland annat har intresserat oss för interaktion och bedömning. Utöver vårt mångåriga forskningssamarbete är vi också mammor till sammanlagt fem tonåringar/unga vuxna och kan därför konstatera att vi sett varianter av ovanstående upplevelser även hos våra egna barn. Elever är olika personlighets- och inlärningsmässigt, de har olika grad av självförtroende och språkfärdigheter och de kan också samspela på helt olika sätt med olika klasskamrater i ett testsammanhang. Hur kan man då tillgodose allas olika behov och styrkor under ett prov i skarpt läge, så som de nationella proven?

I vår forskning om muntliga nationella prov i engelska har vi bland annat studerat hur lärare prövar sina elevers muntliga språkfärdighet utifrån ett flertal perspektiv, samt hur elever gemensamt tar sig an de muntliga uppgifterna. Genom en nationell enkätundersökning (2018) har vi studerat hur lärare genomför och bedömer de muntliga nationella proven i engelska i årskurs 9, och konstaterat att det finns både för- och nackdelar med att elevernas egna lärare bedömer sina egna elever i ett standardiserat prov. Å ena sidan kan läraren, som känner sina elever, se bortom nervositet och bristande socialt samspel mellan två elever i provsituationen och bedöma elevens prestation med hänsyn till sådana lokala förutsättningar. Å andra sidan kan en extern bedömare utan kunskap om eleverna i andra sammanhang kanske på ett mer ”kliniskt” sätt bedöma eleverna mot standardiserade bedömningsfaktorer och därmed bidra till ökad standardisering. Vi har också studerat lärares sambedömning genom att analysera videoinspelade samtal mellan lärare som bedömer ett muntligt prov tillsammans. I analyserna (redovisade exempelvis här och här) har vi visat dels hur lärare, i samtal med andra lärare om bedömning, positionerar sig själva som stränga eller generösa bedömare, dels hur lärare som bedömare konstruerar elevers interaktionella kompetenser utifrån faktorer som initiativförmåga, självständighet och vilja att bidra till samtalet. Vi har också studerat själva elevsamtalen i inspelade muntliga nationella prov i engelska och visat hur elever hanterar på förhand bestämda samtalsämnen, hur elever respektive lärare i situationen visar hur de tolkar ett givet ämne, och hur denna provuppgiftshantering också spelar in i hur eleverna bedöms. Vidare har vi vetenskapligt prövat några olika modeller för bedömarträning för lärare i engelska (exempelvis Rater Identity Development och workshops om interaktion i provsammanhang). Sammantaget har vi kunnat konstatera att muntliga språkprov medför en rad sociala och institutionella utmaningar för såväl lärare och elever som provkonstruktörer, men också att ökad förståelse för provsituationen hos alla inblandade är centralt för framgång.

I vår bok, som ges ut 30 maj 2024 (se här), föreslår vi en uppsättning principer för just muntliga prov i ett andraspråk sammanfattade i det vi kallar för the Testing Talk FAIR Principle (TT FAIR). Principerna består av fyra beskrivande allitterationer som alla anspelar på aspekter av att genomföra och bedöma muntlig färdighet i ett andraspråk. I vår forskning har vi sett att dessa utgör själva kärnan i muntliga språkprov där både lärare och elever går nöjda och stärkta ur en formell situation.

Den första principen, Functional formality (funktionell formalitet, F), utgör en påminnelse för alla som arbetar med att ta fram och genomföra muntliga prov om att alla former av prov och tester innebär en formell, icke-vardaglig situation för eleverna. Man bör därför betrakta elevsamtalet under provtillfället som just ett samtal under provtillfället och inte som representativt och överförbart till samtalsförmågor i andra sociala sammanhang. Regelverket säger dessutom att läraren vid betygssättning är skyldig att särskilt beakta elevens resultat vid nationella prov. Den formella aspekten är en påminnelse om vikten av att som bedömare agera professionellt och bedöma eleverna rättvist efter samma kriterier. Den andra principen, Amicable atmosphere (ungefär, vänlig atmosfär, A) står för den forskning (vår egen och andras) som tydligt pekar mot hur muntliga provprestationer påverkas av en rad faktorer, varav den stämning som uppstår eller medvetet skapas under ett elevprov är viktig. Med basis i forskning föreslår vi genom denna princip att den lärare som genomför ett muntligt språkprov medvetet bör sträva efter att skapa en avslappnad stämning där varje individ kan få visa sina bästa kunskaper, oavsett sociala, färdighetsmässiga, eller individuella sociala skillnader. Kort sagt, ingen elev presterar på topp om denne är nervös eller upplever den sociala eller bedömningsmässiga situationen som obekväm. En trygg lärare och god planering är avgörande i sammanhanget. Den tredje principen, Informative interaction (informativ interaktion, I) syftar både till att alla parter ska vara väl informerade och förberedda inför ett muntligt prov, och till att bedömare av prov bör ha goda kunskaper om målspråket, provets syfte och den typen av språkligt bedömningsunderlag som ett muntligt prov ger – nämligen social interaktion. Den fjärde principen, Recorded reliability (ungefär inspelad och bokförd reliabilitet/trovärdighet, R) pekar slutligen på vikten av att muntliga prov spelas in. I likhet med hur exempelvis skriftlig fri produktion kan sparas och sambedömas av flera bedömare, skulle systematiskt inspelade muntliga prov bidra till att alla prov finns dokumenterade och att prov genomförs och bedöms på ett pålitligt och rättvist sätt. Ett sådant tillvägagångssätt ger också möjligheter att använda bedömningen formativt för att ge elever återkoppling inför fortsatt träning av muntlig färdighet i engelska eller annat andraspråk. TT FAIR-principerna utgör alltså en uppsättning ”mindsets” som har sin grund i forskning. De syftar till att bidra till ökad likvärdighet, ökat självförtroende hos elever, och ökad professionskompetens hos lärare som bedömare.

Slutligen vill vi lyfta vikten av att provutveckling och provkonstruktion sker i nära samspel med aktuell forskning och med en blick på vilka kompetenser dagens elever kommer att behöva i sina framtida liv. Att kunna samspela med andra på ett kompetent, empatiskt och engagerat sätt är inte bara viktigt i språkundervisning och bedömningssammanhang utan de interaktionella, sociala förmågorna och mötet mellan människor känns viktigare än någonsin i en tid av digitalisering, artificiell intelligens, och motsättningar mellan grupper i samhället. Att kunna mötas genom ett andraspråk är en viktig del av att bygga social förståelse, interkulturell kompetens och identitet. Vi tycker att undervisning och bedömning bör struktureras mot ett sådant framtida kunskapsmål.

Den nya boken släpps den 30 maj med tillhörande webbsida. På bokens webbsida finns bland annat autentiska inspelningar av muntliga nationella prov i engelska med tillhörande diskussionuppgifter och förslag på upplägg för kompetensutveckling för lärare. 

Referens

Sundqvist, P., & Sandlund, E. (2024). Testing talk: Ways to assess second language oral proficiency. Bloomsbury Academic.

Drivs med WordPress