Heli Arminen, tutkijaopettaja, LUT-yliopisto, School of Business and Management, PL 20, 53851 Lappeenranta, heli.arminen@lut.fi
Maija Hujala, tutkijaopettaja, LUT-yliopisto, School of Business and Management, PL 20, 53851 Lappeenranta, maija.hujala@lut.fi
Timo Hynninen, lehtori, Kaakkois-Suomen Ammattikorkeakoulu, Informaatioteknologian koulutusyksikkö, PL 68, 50101 Mikkeli, timo.hynninen@xamk.fi
Tiivistelmä
Opiskelijapalautetta käytetään yleisesti yliopisto-opetuksen laadun mittaamiseen ja siten sekä opetuksen kehittämiseen että opetushenkilökunnan palkitsemiseen ja vertailemiseen. Opetuksen laatu ei kuitenkaan ole yksiselitteinen käsite, eikä sitä ole helppoa mitata objektiivisesti. Tässä tutkimuksessa käytettiin aineistona Lappeenrannan teknillisessä yliopistossa (LUT) lukuvuonna 2016–2017 opiskelijoilta kerättyä opintojaksopalautetta. Palautetta kerättiin yhteensä 303:lta opintojaksolta. Tutkimuksessa analysoidaan monitasomallinnusta käyttäen, mitkä tekijät vaikuttivat opiskelijoiden kokonaisarvioon opintojaksosta ja heidän käsitykseensä omasta oppimisestaan opintojakson aikana. Tulosten mukaan opiskelijoiden käsitys omasta oppimisestaan on kokonaisarviota parempi opetuksen laadun mittari, koska oppimiskokemuksen taustalla vaikuttaa olevan enemmän tekijöitä, joihin opettaja pystyy omalla toiminnallaan vaikuttamaan. Tulosten mukaan on lisäksi mahdollista, että opintojaksopalautteen hallinnollinen käyttö esimerkiksi tulospalkkauksessa voi ohjata opettajat optimoimaan saamaansa palautetta opiskelijoiden syvän oppimisen tukemisen sijaan. Siten opiskelijapalautteen käyttämisessä muuhun kuin opetuksen kehittämiseen tulee noudattaa erityistä varovaisuutta.
Avainsanat: opetuksen laatu, opiskelijapalaute, opintojaksopalaute, oppiminen, korkeakoulutus, monitasomallinnus
Abstract
Student evaluation of teaching (SET) is often used to measure the quality of teaching in higher education, where it is used both to improve the quality of teaching and for administrative purposes such as merit pay and tenure decisions. However, the quality of teaching is a multifaceted concept that is difficult to measure objectively. This study uses student feedback collected at Lappeenranta University of Technology on altogether 303 courses during the academic year 2016-2017. Multilevel modelling is used to analyze the factors that affected the students’ course evaluations and their learning experience. The results of the study support using the students’ view on how well the course promoted their learning as the measure of the quality of teaching, as the factors explaining this measure of quality appear to be mostly under teachers’ control. The results also indicate that using SET for administrative purposes such as merit pay decisions may tempt the teachers to optimize their SET scores instead of focusing on promoting the students’ deep learning. Therefore, it is important to pay attention to the unintended consequences when using SET for something else than improving the quality of teaching.
Keywords: quality of teaching, student evaluation of teaching, learning, higher education, multilevel modelling
Johdanto
Yliopisto-opetuksen laadun seuraaminen on tärkeää, jotta opetusta voidaan jatkuvasti kehittää ja sen laatua parantaa. Opetuksen laadulle ei kuitenkaan ole olemassa yhtä ainoaa yleisesti hyväksyttyä määritelmää, minkä lisäksi sen mittaaminen objektiivisesti on vaikeaa. Käytännössä opiskelijoiden opintojaksopalautteelle [1] annetaankin usein suuri rooli opetuksen laadun arvioimisessa. Opiskelijoiden kyky arvioida opetuksen laatua herättää kuitenkin jatkuvasti keskustelua yliopistoissa (esim. Uttl, White & Gonzalez, 2017). Välillä tätä keskustelua käydään myös sanomalehdissä. Esimerkiksi yliopistonlehtori Olli-Pekka Moisio ja professori Sara Heinämaa kritisoivat opiskelijoiden kykyä arvioida opetuksen laatua Helsingin Sanomien Vieraskynä-palstalla (Moisio & Heinämaa, 2015).
Mitä laadukkaalta opetukselta sitten voidaan edellyttää? Muun muassa Claysonin (2009) ja Cohenin (1981) mukaan hyväksytyimpänä ja tärkeimpänä opetuksen laadun kriteerinä voidaan pitää opiskelijan oppimista (ks. myös Christiaens, Spooren, Mortelmans & Van Loon, 2014; Penny, 2003). Siten tässäkin tutkimuksessa opetuksen laatu määritellään opiskelijan oppimisen kautta: hyvä opettaja saa opiskelijan oppimaan enemmän (Christiaens ym., 2014; Clayson, 2009). Koska objektiivisesti mitattuja oppimistuloksia, kuten loppuarvosanoja, ei läheskään aina pystytä yhdistämään yleensä anonyymisti annettavaan opintojaksopalautteeseen, opiskelijoiden oppimista mitataan usein tässä yhteydessä heidän omalla, subjektiivisella, käsityksellään oppimisestaan opintojakson aikana (Centra, 2003; Spooren, Brockx & Mortelmans, 2013). Centra (2003) toteaa, että opiskelijan arvio opintojaksolla tapahtuneesta oppimisesta on usein positiivisesti korreloitunut ”varsinaisten” oppimismittarien kanssa, minkä lisäksi siihen vaikuttavat opintojaksosta seuranneet muutokset asenteissa, motivaatiossa ja kriittisessä ajattelussa. Christiaens ja kollegat (2014) toteavat lisäksi, että sekä objektiiviset (esim. loppuarvosanat) että subjektiiviset (esim. opiskelijoiden käsitykset omasta oppimisestaan) tavat mitata oppimistuloksia mittaavat todellista oppimista vain suunnilleen ja että molemmilla on hyvät ja huonot puolensa. Loppuarvosanat eivät esimerkiksi erottele opintojakson aikana tapahtunutta oppimista aiemmasta osaamisesta (Spooren ym., 2013), minkä lisäksi niihin voivat vaikuttaa opiskelijan oppimisen lisäksi monet muutkin tekijät kuten opiskelijan älykkyys ja kyky oppia (Clayson, 2009; Uttl ym., 2017). Toisaalta kysyttäessä opiskelijan omaa arviota tapahtuneesta oppimisesta opinnoissaan heikommin menestyneet opiskelijat saattavat yliarvioida oppimisensa, koska eivät tiedosta puutteita osaamisessaan, kun taas paremmin menestyneet ja älykkäämmät opiskelijat hahmottavat puutteet osaamisessaan ja päätyvät siten aliarvioimaan oppimisensa tason (Clayson, 2009; Christiaens ym., 2014; Uttl ym., 2017).
Opiskelijoiden käsitykset laadukkaasta opetuksesta eroavat myös suuresti toisistaan, ja koska nämä käsitykset luonnollisesti vaikuttavat opiskelijoiden antamaan opintojaksopalautteeseen, opintojaksopalautteita ei voida pitää objektiivisina (Penny, 2003). Erityisen ongelmallista on, että aiempien tutkimusten (esim. Braga, Paccagnella & Pellizzari, 2014; Penny, 2003) mukaan opiskelijat saattavat jopa rankaista opintojaksopalautteessaan opettajia, jotka vaativat heiltä syvää oppimista passiivisen oppimisen sijaan ja joiden kursseilta hyvien arvosanojen saaminen on siis työläämpää. Empiirisen evidenssin mukaan on siten mahdollista, että ne opettajat, jotka tehokkaimmin edesauttavat opiskelijoidensa tulevaa suoriutumista, saavat heikompaa opintojaksopalautetta (Braga ym., 2014; Uttl, 2017).
Mikäli opintojaksopalautetta käytetään paitsi opetuksen laadun kehittämiseen myös hallinnollisiin tarkoituksiin – kuten opettajien suoriutumisen mittaamiseen – tulee opetuksen laadun mittaamiseen kiinnittää erityistä huomiota (esim. Uttl, 2017). Jos opintojaksopalaute vaikuttaa opettajien palkkaukseen ja tulevaan urakehitykseen, on mahdollista, että opettajat pyrkivät optimoimaan saamaansa palautetta sen sijaan, että pyrkisivät parhaansa mukaan edistämään opiskelijoiden syvää oppimista (Braga ym., 2014; Penny, 2003). Opintojaksopalautteen käyttöä muussa kuin opettamisen kehittämistarkoituksessa on myös syytetty epäreiluudesta, koska siihen saattavat vaikuttaa myös asiat, joihin opettaja ei pysty vaikuttamaan (De Witte & Rogge, 2011).
Vaikka aiempaa tieteellistä kirjallisuutta opintojaksopalautteesta ja siihen vaikuttavista tekijöistä on runsaasti, alan kvantitatiivista tutkimusta ei ole juurikaan tehty suomalaisilla aineistoilla. Opintojaksopalautteen ja oppimiskäsitysten kontekstisidonnaisuus puoltaa kuitenkin suomalaisen tutkimustiedon kerryttämistä suomalaisen keskustelun pohjaksi. Tämän tutkimuksen tarkoituksena on tuottaa tätä tietoa analysoimalla suomalaisten opiskelijoiden antamaa opintojaksopalautetta kvantitatiivisesti. Tutkimuksessa käytetään Lappeenrannan teknillisessä yliopistossa (LUT) lukuvuonna 2016–2017 opiskelijoilta kerättyä opintojaksopalautetta 303:lta opintojaksolta ja analysoidaan monitasomallinnusta käyttäen, mitkä tekijät vaikuttavat opiskelijoiden antamaan palautteeseen. Tutkimuksen tulokset auttavat siten osaltaan vastaamaan kysymykseen siitä, osaavatko opiskelijat arvioida opetuksen laatua. Lisäksi tulokset auttavat ymmärtämään paremmin, mitkä tekijät vaikuttavat opiskelijoiden kokemukseen opetuksen laadusta, kuinka opetuksen laatua tulisi yliopistoissa mitata ja mihin tarkoitukseen opiskelijoiden antamaa opintojaksopalautetta on suotavaa käyttää.
Aiempaa kirjallisuutta opintojaksopalautteeseen vaikuttavista tekijöistä
Opintojaksopalautetta ja siihen vaikuttavia tekijöitä on tutkittu paljon. Muun muassa Beran ja Violato (2005), Remedios ja Lieberman (2008) sekä Spooren (2010) toteavat, että opetuksen laatu on tärkein opiskelijoiden antamaan opintojaksopalautteeseen vaikuttava tekijä. Useiden tutkimusten (esim., Braga ym., 2014; Crumbley, Henry & Kratchman, 2001; Shevlin, Banyard, Davies & Griffiths, 2000) mukaan monet opiskelijaan, opettajaan ja opintojaksoon liittyvät tekijät, joiden ei pitäisi vaikuttaa oppimiseen, näyttävät kuitenkin vaikuttavan myös annettuun opintojaksopalautteeseen.
Opiskelijaan liittyvät tekijät
Marshin (1987), Pounderin (2007), Spoorenin ja kollegoiden (2013) sekä Wachtelin (1998) kirjallisuuskatsauksien mukaan lukuisat opiskelijaan liittyvät tekijät vaikuttavat hänen arvioonsa opetuksen laadusta. Näistä opiskelijan motivaatio ja kiinnostus aiheeseen näyttävät olevan erityisen tärkeitä opintojaksopalautetta parantavia tekijöitä (Griffin, 2004; Wachtel, 1998).
Myös opiskelijan opintojaksolta odottama arvosana näyttää vaikuttavan hänen antamaansa palautteeseen positiivisesti (Ewing, 2012; Olds & Crumbley, 2003). Tämä tekijä on opetuksen laadun arvioimisen kannalta erityisen ongelmallinen: opintojaksopalautetta voi tuskin käyttää opetuksen laadun mittarina, jos hyvät arviot voi ostaa opiskelijoilta helposti saatavilla hyvillä loppuarvosanoilla (Clayson, 2009).
Lisäksi on näyttöä siitä, että demografiset tekijät saattavat vaikuttaa opintojaksopalautteeseen. Joidenkin tutkimusten mukaan esimerkiksi opiskelijan sukupuoli saattaa vaikuttaa hänen arvioihinsa siten, että naisopiskelijat näyttävät antavan positiivisempaa opintojaksopalautetta kuin miesopiskelijat varsinkin miesopettajille (Kohn & Hatfield, 2006). Myös opiskelijan ikä saattaa vaikuttaa, sillä Spoorenin (2010) mukaan vanhemmat opiskelijat antavat usein parempaa opintojaksopalautetta kuin nuoremmat opiskelijat.
Opettajaan liittyvät tekijät
Myös opettajan ominaisuudet näyttävät vaikuttavan hänen saamaansa opintojaksopalautteeseen (esim. Pounder, 2007; Spooren ym., 2013; Ting, 2000; Wachtel, 1998). Näistä osan, kuten opettajan tutkimusaktiivisuuden ja opetuskokemuksen, voi olettaa olevan relevantteja myös opiskelijan oppimisen kannalta. Esimerkiksi tutkimusaktiivisuus auttaa opettajaa pysymään ajan tasalla alan kehityksessä ja on myös usein positiivisesti korreloitunut opettajan älykkyyden, tavoitteellisuuden ja organisointikykyjen kanssa, mutta vie toisaalta aikaa opetukseen valmistautumiselta (Ting, 2000).
Demografisista tekijöistä muun muassa opettajan iän ja sukupuolen on joissakin tutkimuksissa todettu olevan yhteydessä opintojaksopalautteeseen, mutta tulokset ovat ristiriitaisia (kirjallisuuskatsauksia tähän liittyen ovat laatineet esim. Pounder, 2007; Spooren ym., 2013; Wachtel, 1998). Myös opettajan karisman (Shevlin ym., 2000), ulkonäön (esim. Gurung & Vespia, 2007; Hamermesh & Parker, 2005; Riniolo, Johnson, Sherman & Misso, 2006) ja viihdyttävyyden (Wachtel, 1998) on todettu vaikuttavan opintojaksopalautteeseen.
Opintojaksoon liittyvät tekijät
Opintojakson ominaisuuksista tärkeimpiä opintojaksopalautteen taustatekijöitä vaikuttaa olevan koettu vaativuus, joka Claysonin (2009) mukaan yleensä vaikuttaa opintojaksopalautteeseen negatiivisesti. On kuitenkin myös näyttöä siitä, että opiskelijat saattavat palkita opettajan sopivana pitämästään vaativuustasosta, mikä ilmenee ylösalaisin olevan u-kirjaimen muotoisena suhteena koetun vaativuuden ja opintojaksopalautteen välillä (Centra, 2003). Opintojakson vaativuutta on aiemmassa empiirisessä kirjallisuudessa mitattu muun muassa sillä, millaiseksi opiskelijat ovat kokeneet opintojakson vaikeustason (Centra, 2003; Marsh & Roche, 2000; Remedios & Lieberman, 2008; Ting, 2000), työmäärän ja etenemisvauhdin (Centra, 2003; Marsh & Roche, 2000). Vaikka ei liene toivottavaa, että opintojakson vaativuus automaattisesti heikentää opintojaksopalautetta, opettajan tulisi osata sopeuttaa vaativuus opiskelijoiden osaamistaustaan ja heidän oppimiskykyynsä, mitä kautta myös vaativuuden pitäisi perustellusti näkyä opintojaksopalautteessa (Marsh & Roche, 2000).
Aiemmassa kirjallisuudessa on käsitelty lukuisia muitakin opintojaksoon liittyviä tekijöitä, jotka näyttävät olevan yhteydessä opintojaksopalautteeseen. Näistä osallistujamäärän ja opintojaksopalautteen suhde vaikuttaisi olevan negatiivinen (Bedard & Kuhn, 2008; Mandel & Süssmuth, 2011; McPherson, 2006; Ting, 2000; Wachtel, 1998) tai epälineaarinen siten, että osallistujamäärältään hyvin pienet ja hyvin suuret opintojaksot saavat parempaa opintojaksopalautetta kuin osallistujamäärältään keskikokoiset (tällaista epälineaarista suhdetta perustelee kirjallisuuden pohjalta mm. Wachtel, 1998; ks. myös McPherson, 2006). Opiskelijamäärältään suurilla opintojaksoilla opiskelijat ovat usein hyvin heterogeeninen joukko, mikä heikentää opettajan mahdollisuuksia räätälöidä opetus kaikkia opiskelijoita tyydyttävällä tavalla (Ting, 2000). Myös opintojakson opinala (Beran & Violato, 2005; Centra, 2003; Clayson, 2009; Santhanam ja Hicks, 2002), suoritusvuosi opintojen aikana (McPherson, 2006; Santhanam & Hicks, 2002) ja luentojen ja harjoitusten ajankohta (De Witte & Rogge, 2011; Wachtel, 1998) saattavat vaikuttaa opintojaksopalautteeseen, mutta aiemman kirjallisuuden tulokset ovat osin ristiriitaisia. Vaikuttaa kuitenkin siltä, että valinnaiset ja syventävät opintojaksot saavat positiivisempaa palautetta kuin kaikille pakolliset perusopintojaksot (Wachtel, 1998).
Tutkimuskysymykset
Tämän tutkimuksen tavoitteena on selvittää, miten opiskelijaan ja opintojaksoon liittyvät tekijät vaikuttavat opiskelijoiden antamaan opintojaksopalautteeseen suomalaisessa yliopistossa. Opettajan henkilökohtaisia ominaisuuksia ei pystytä tässä tutkimuksessa huomioimaan, koska LUT:n opintojaksoilla on usein vähintään kaksi opettajaa eikä opintojaksopalautetta yleensä kerätä opettajakohtaisesti. Lisäksi toteutustavat vaihtelevat perinteisestä luento-opetuksesta verkko-opetukseen, joten on jopa mahdollista, ettei opiskelija palautetta antaessaan edes tiedä opettajan nimeä, saati sukupuolta.
Tutkimuksen päätutkimuskysymys on:
- Mitä opiskelijapalaute kertoo yliopisto-opetuksen laadusta?
Päätutkimuskysymys jaetaan edelleen kahteen alatutkimuskysymykseen:
- Mitkä tekijät vaikuttavat opiskelijoiden antamaan opintojaksopalautteeseen?
- Kuinka opiskelijan käsitys omasta oppimisestaan opintojakson aikana ja hänen antamansa kokonaisarvio opintojaksosta eroavat opetuksen laadun mittareina?
Tutkimusaineisto ja -menetelmät
Aineistonkeruu ja osallistujat
Tutkimusaineistona käytetään LUT:ssa lukuvuonna 2016–2017 kerättyä opintojaksopalautetta. Opintojaksopalaute kerättiin tätä tutkimusta varten suunnitellulla kyselylomakkeella Webropol-kyselytyökalulla. Kyselylomakkeen kysymykset suunniteltiin aiemman opintojaksopalautetta käsittelevän kirjallisuuden avulla ja se pilotoitiin kevätlukukaudella 2016 LUT School of Business and Managementin opintojaksoilla. Pilottiaineisto analysoitiin loppukeväästä 2016 ja analyysien perusteella kyselylomakkeessa muutettiin opintojakson työmäärää koskevan kysymyksen sanamuoto selkeämmäksi. Lisäksi lopulliseen kyselylomakkeeseen päätettiin lisätä kysymys opiskelijan odottamasta loppuarvosanasta. Lopullinen kyselylomake ja kysymysten mittaamat tekijät on esitetty taulukossa 1.
Taulukko 1. LUT:n opintojaksopalautelomake lukuvuonna 2016–2017
Kyselylomakkeella kerätyt muuttujat ovat tässä tutkimuksessa niin sanottuja opiskelijatason muuttujia. Opiskelijataso viittaa siihen, että muuttujien arvot vaihtelevat opiskelijoittain. Opiskelijatason muuttujia ovat siis esimerkiksi opiskelijan ikä ja kokemus opetuksen laadusta. Toinen muuttujatyyppi tutkimuksessamme ovat niin sanotut opintojaksotason muuttujat. Ne ovat nimensä mukaisesti opintojaksojen ominaisuuksia (esimerkiksi opetuskieli ja ilmoittautuneiden määrä). Opintojaksotason muuttujat vaihtelevat opintojaksojen välillä, mutta saavat saman arvon kaikilla yhden opintojakson opiskelijoilla.
Kyselylomakkeessa oli kaksi koko opintojakson opetuksen laatua mittaavaa väittämää tilanteisiin, joissa koettu laatu halutaan tiivistää yhdeksi lukuarvoksi. Kyseiset väittämät on lihavoitu taulukon 1 opintojaksopalautelomakkeessa ja ne koskevat: (1) opiskelijan kokonaisarviota opintojaksosta (arvosana asteikolla 1–5, väittämä 8 lomakkeessa) sekä (2) opiskelijan arviota siitä, miten opintojakso kokonaisuudessaan edisti hänen oppimistaan (1 = erittäin vähän; 5 = erittäin paljon, väittämä 2 lomakkeessa). Jälkimmäiseen väittämään viitataan tässä tutkimuksessa jatkossa termillä (opiskelijan) oppimiskokemus. Tässä tutkimuksessa näitä väittämiä käsitellään vaihtoehtoisina koko opintojakson opetuksen laadun mittareina ja yhtenä tavoitteena on selvittää, kumpi mittari soveltuu paremmin opetuksen laadun mittaamiseen.
Opetuksen laatua mittaavien väittämien lisäksi kyselylomakkeessa oli kuusi asteikolla 1–5 mitattua Likert-tyyppistä väittämää (motivaatio, panostus, opettajan asiantuntevuus, opettajan opetustaidot, käytetyt opetusmenetelmät, opintojakson vaatima työmäärä) sekä odotettu loppuarvosana asteikolla 0–5. Lisäksi opiskelijoilta kysyttiin demografiset tiedot, kuten ikä, sukupuoli, tyyppi (tutkinto-opiskelija vai muu), koulutusohjelma ja opintojen aloitusvuosi. Opintojakson asema opiskelijan opintosuunnitelmassa selvitettiin kysymällä, kuuluuko opintojakso opiskelijalla kandidaatin vai maisterin tai diplomi-insinöörin tutkintoon, ja onko opintojakso opiskelijalle pakollinen vai ei.
Linkki kyselylomakkeeseen lähetettiin sähköpostitse kaikille opintojaksolle ilmoittautuneille sen opetusperiodin lopussa, jossa opintojakson opetus loppui. LUT:ssa opintojaksopalautteen keräämisestä huolehtivat opiskelijakillat, joten kiltojen opintojaksopalautteesta vastaavat henkilöt lähettivät kyselylinkin sähköpostilla opiskelijoille. Sähköposteihin lisättiin lyhyt saatekirje, jossa kerrottiin opintojaksopalautetutkimuksesta ja muistutettiin siitä, että kysely on anonyymi ja aineisto tulee vain tutkijoiden käyttöön. Yksittäisten opintojaksojen palautteet poimittiin Webropolista tammikuussa 2018 ja yhdistettiin yhdeksi aineistoksi (N = 8922). Tutkimusaineistoon lisättiin kolme opintojaksotason muuttujaa, jotta analyyseissa saataisiin kontrolloitua niiden vaikutus opintojaksopalautteeseen. Muuttujat olivat ilmoittautuneiden määrä, joka mittaa opintojakson kokoa, opintojaksopalautteen vastausprosentti sekä opetuskieli.
Mahdollisimman luotettavan ja homogeenisen otoksen saamiseksi aineistoa rajattiin ennen sen tilastollista analyysiä. Aineistosta muun muassa jätettiin pois opintojaksot, joiden palautekyselyyn oli vastannut vähemmän kuin viisi opiskelijaa. Lisäksi tutkimus rajattiin koskemaan pelkkiä LUT:n tutkinto-opiskelijoita. Kaikki ennen vuotta 2012 aloittaneet tai yli 30 vuotta vanhat opiskelijat jätettiin pois. Myös kaikki ne havainnot, joissa oli vastattu opiskelijan koulutusohjelmaa tai opintojakson asemaa opintosuunnitelmassa koskeviin kysymyksiin ”en tiedä” tai ”en osaa sanoa”, jätettiin pois. Lopulliseksi otoskooksi saatiin N = 4524. Taulukossa 2 on esitetty tilastolliset tunnusluvut kaikkien kyselylomakkeen muuttujien osalta.
Taulukko 2. Aineiston kuvaus – opiskelijatason muuttujat
Kuten taulukon 2 luvuista nähdään, keskimäärin vastaajat ovat 22,5-vuotiaita ja lähes kaksi kolmasosaa heistä (62,84 %) on miehiä. Koulutusohjelmista kauppatieteiden ohjelma on selvästi suurin (33,09 % vastaajista) ja tekniikan koulutusohjelmien vastaajien osuudet vaihtelevat 4,65 prosentin ja 15,71 prosentin välillä. Sekä sukupuolen että koulutusohjelman jakaumat vastaavat varsin hyvin todellista tilannetta LUT:ssa. Hieman yli puolet vastaajista (56,98 %) ilmoitti opintojakson kuuluvan heillä kandidaatin tutkintoon ja yli neljässä viidesosassa tapauksista (83,18 %) opintojakso oli opiskelijalle pakollinen.
Taulukon 2 perusteella voidaan päätellä, että opintojaksopalautekyselyihin vastanneet opiskelijat ovat keskimäärin varsin tyytyväisiä opetuksen laatuun. Myös motivaatio ja muut mitatut tekijät vaikuttavat olevan keskimäärin hyvällä tasolla. Käytetyistä opetuksen laadun mittareista sekä kokonaisarvion (3,53) että oppimiskokemuksen (3,59) keskiarvot ovat skaalan keskikohdan yläpuolella. Myös muuttujien motivaatio, panostaminen opintojaksoon, opettajan asiantuntevuus, opettajan opetustaidot ja käytetyt opetusmenetelmät keskiarvot ovat yli skaalojensa keskikohdan. Opiskelijat odottavat saavansa loppuarvosanaksi keskimäärin 3,46 eli yli LUT:ssa käytössä olevan arvosteluasteikon (0–5) keskikohdan. Varsin mielenkiintoista on se, että yksikään reilusta neljästätuhannesta opiskelijasta ei odota arvosanansa olevan hylätty eli nolla. Tämä voi kieliä siitä, että opintojaksopalautekyselyihin eivät vastaa kaikista heikoimmin menestyvät opiskelijat.
Opintojaksotason muuttujien tilastolliset tunnusluvut on esitetty taulukossa 3. Kuten taulukosta huomataan, aineistoon kuuluu 303 opintojaksoa, joille on ilmoittautunut keskimäärin 72,82 opiskelijaa. Ilmoittautuneiden määrä vaihtelee viiden ja 452:n välillä. Ilmoittautuneiden määrän jakauma on vino oikealle ja varsin huipukas, joten kovin montaa todella isoa opintojaksoa otokseen ei kuitenkaan kuulu. Keskimääräinen vastausprosentti on 31,13 ja myös siinä on runsaasti vaihtelua. Pienimmillään vastausprosentti on hieman yli 7 ja suurimmillaan 100. Opetuskieleltään opintojaksot jakaantuvat lähes tasan suomen (49,17 %) ja englannin (50,83 %) kesken.
Taulukko 3. Aineiston kuvaus – opintojaksotason muuttujat
Muuttujien väliset korrelaatiomatriisit on esitetty liitteessä 1. Korrelaatiomatriisista huomataan, että käyttämämme opetuksen laadun mittarit, kokonaisarvio opintojaksosta ja oppimiskokemus, korreloivat varsin voimakkaasti keskenään (r = 0,7437), mutta eivät kuitenkaan aivan yksi yhteen.
Analyysimenetelmät
Opintojaksopalaute on aineistona tyypillinen esimerkki hierarkkista aineistosta. Havainnot eli palautetta antaneet opiskelijat ovat aineistossa ryhmittyneet opintojaksoittain ja opintojaksot puolestaan koulutusohjelmittain. Yksi lineaarisen regressioanalyysin oletuksista on, että havainnot ovat toisistaan riippumattomia keskenään (esim. Hill, Griffiths & Lim, 2008). Hierarkkisessa aineistossa tämä havaintojen keskinäinen riippumattomuus ei toteudu (esim. Snijders & Bosker, 1999). Esimerkiksi tämän tutkimuksen tapauksessa kaksi samalta opintojaksolta satunnaisesti poimittua opintojaksopalautetta ovat todennäköisesti keskenään enemmän samanlaisia kuin kaksi eri opintojaksoilta poimittua. Tästä syystä opiskelijaan ja opintojaksoon liittyvien tekijöiden vaikutuksia opintojaksopalautteeseen analysoitiin aineiston hierarkkisen rakenteen huomioivan monitasomallinnuksen avulla. Monitasomallien avulla voi mallintaa eksplisiittisesti sekä yksilötason (tässä tutkimuksessa opiskelijataso) että ryhmätason (tässä tutkimuksessa opintojaksotaso) vaihtelun, ja analysoida ylemmän tason selittävien muuttujien vaikutusta alemman tason selitettävään muuttujaan (Hofmann, 1997). Tarkemmin sanottuna estimoitava malli on satunnaisvakiomalli (random intercept model), jossa selittävien tekijöiden oletetaan vaikuttavan samalla tavalla kaikilla opintojaksoilla ja opintojaksojen väliset erot otetaan huomioon opintojaksotason virhetermissä. Estimointimenetelmänä käytetään suurimman uskottavuuden (maximum likelihood) menetelmää.
Opintojaksopalautteen mallinnus toteutetaan molempien palautemittareiden (kokonaisarvio ja oppimiskokemus) osalta kolmessa vaiheessa. Ensimmäinen malli sisältää pelkän vakiotermin ja opiskelijatason sekä opintojaksotason virhetermit:
Tästä niin sanotusta nollamallista estimoitavien varianssikomponenttien (opintojaksojen välinen varianssi) ja (opintojakson sisäinen opiskelijoiden välinen varianssi) avulla voidaan laskea sisäkorrelaatio ICC. Sisäkorrelaatio lasketaan jakamalla opintojaksojen välinen varianssi kokonaisvarianssilla:
Sisäkorrelaatio siis kertoo, kuinka suuri osuus opintojaksopalautteen kokonaisvaihtelusta johtuu opintojaksojen välisistä eroista.
Toisessa vaiheessa malliin (1) lisätään kaikki 18 opiskelijatason muuttujaa:
Kolmannessa vaiheessa malliin (3) lisätään vielä kolme opintojaksotason muuttujaa (ilmoittautuneiden määrä, vastausprosentti ja opetuskieli):
Tulokset
Monitasoanalyysin tulokset opintojaksopalautteelle on esitetty taulukossa 4. Molemmille opetuksen laadun mittareille (kokonaisarvio ja oppimiskokemus) on tehty kolme mallia. Malli 0 on nollamalli. Mallissa 1 on selittävinä muuttujina käytetty opiskelijatason muuttujia ja mallissa 2 on niiden lisäksi myös opintojaksotason selittäviä muuttujia.
Taulukosta 4 nähdään, että kokonaisarvion nollamallin varianssikomponenteista laskettu sisäkorrelaatio ICC on 0,269, mikä tarkoittaa sitä, että kokonaisarvion vaihtelusta 26,9 prosenttia johtuu opintojaksojen välisistä eroista. Oppimiskokemukselle vastaava sisäkorrelaation arvo on 0,214 eli myös sen vaihtelusta yli 20 prosenttia tulee opintojaksojen välisistä eroista. Sisäkorrelaatioiden perusteella aineiston hierarkkisuuden huomioivan monitasomallinnuksen käyttö analyysimenetelmänä vaikuttaa siis perustellulta. Seuraavaksi tulokset käydään läpi jokaisen selittävän muuttujan osalta aloittaen pelkkiä opiskelijatason muuttujia sisältävistä malleista (mallit 1).
Taulukon 4 tulosten perusteella (mallit 1) vaikuttaa siltä, että opiskelijan motivaatio, panostus, sekä kokemukset opettajasta ja opetusmenetelmistä ovat voimakkaasti yhteydessä opiskelijan kokemukseen opetuksen laadusta. Mitä korkeampia ovat opiskelijan motivaatio ja panostus opintojaksoon, ja mitä paremmiksi hän kokee opettajan opetustaidot ja asiantuntevuuden sekä opetusmenetelmät, sitä parempana hän pitää opetuksen laatua. Näiden muuttujien osalta tulokset ovat samat molemmille opetuksen laadun mittareille (kokonaisarvio opintojaksosta ja oppimiskokemus). Myös opiskelijan odottama loppuarvosana näyttäisi olevan yhteydessä molempiin opetuksen laadun mittareihin. Mitä parempaa loppuarvosanaa opiskelija kurssista odottaa, sitä parempana hän pitää opetuksen laatua. Sen sijaan opiskelijan kokemus opintojakson vaatimasta työmäärästä näyttäisi olevan yhteydessä vain kokonaisarvioon, ei oppimiskokemukseen. Mitä työläämmäksi opiskelija opintojakson kokee, sitä alhaisempi on kokonaisarvio.
Osa demografisista tekijöistä vaikuttaa olevan yhteydessä vain jompaankumpaan opetuksen laadun mittareista (taulukko 4, mallit 1). Opintojen aloitusvuosi näyttäisi olevan yhteydessä kokonaisarvioon, mutta ei oppimiskokemukseen. Mitä alempaa vuosikurssia opiskelija on, sitä paremman kokonaisarvion hän antaa. Oppimiskokemukseen puolestaan näyttäisi vaikuttavan opiskelijan sukupuoli. Tulostemme perusteella naisopiskelijat ovat miehiä kriittisempiä oppimiskokemuksen suhteen. Muut malleissamme olleet demografiset tekijät, ikä ja koulutusohjelma, eivät näyttäisi olevan yhteydessä opetuksen koettuun laatuun. Myöskään opintojakson taso opiskelijan opetussuunnitelmassa (maisteri / DI-taso vs. kandidaatin taso) ja pakollisuus eivät näyttäisi olevan yhteydessä käyttämiimme opetuksen laadun mittareihin (taulukko 4, mallit 1).
Taulukko 4. Monitasoanalyysin tulokset opetuksen laadulle (kokonaisarvio ja oppimiskokemus)
Seuraavaksi tarkastellaan malleja, joissa on mukana kolme opintojaksotason muuttujaa (taulukko 4, mallit 2). Opintojaksotason muuttujista ainoastaan opetuskielellä näyttäisi olevan jonkinlainen yhteys koettuun opetuksen laatuun, sillä englanninkielellä opetetuista opintojaksoista annetaan matalampia kokonaisarvioita kuin suomeksi opetetuista. Oppimiskokemukseen opetuskielellä ei sen sijaan näyttäisi olevan vaikutusta. Opintojakson koko (ilmoittautuneiden määrä) ja opintojaksopalautetta antaneiden osuus sen sijaan eivät vaikuta olevan yhteydessä kumpaankaan käyttämäämme opetuksen laadun mittariin. Opintojaksotason muuttujien lisääminen malleihin antaa myös joitain viitteitä siitä, että opintojakson sijoittuminen maisterivaiheeseen (verrattuna kandivaiheeseen) olisi yhteydessä toiseen käyttämistämme opetuksen laadun mittareista. Vaikuttaa siltä, että maisteritason tai diplomi-insinööritason kursseille annetaan korkeampia kokonaisarvioita kuin kandidaattitason kursseille.
Yhteenvetona tuloksista voidaan sanoa, että vaikka tilastollisissa malleissa käyttämämme selittävät muuttujat vaikuttavat olevan yhteydessä molempiin opetuksen laadun mittareihin pääosin samalla tavalla, kokonaisarviolla ja oppimiskokemuksella on kuitenkin joitain selviä eroja niihin vaikuttavissa tekijöissä. Opiskelijat antavat heikompia kokonaisarvioita runsaaksi koetusta työmäärästä ja saattavat antaa parempia arvioita maisteritason kursseille kuin kandidaattitason kursseille. Oppimiskokemukseen puolestaan näyttäisi vaikuttavan opiskelijan sukupuoli. Lisäksi molempien opetuksen laadun mittareiden tapauksessa opiskelijat näkevät laadukkaampina opintojaksot, joista he odottavat saavansa hyvän arvosanan. Tulosten perusteella oppimiskokemuksella ja kokonaisarviolla voidaan siis todeta olevan selkeä ero opetuksen laadun mittareina, mutta kumpaakaan niistä ei voi pitää erityisen hyvänä. Molemmat mittarit näyttäisivät olevan yhteydessä tekijöihin, joihin opettajalla ei ole vaikutusmahdollisuuksia ollenkaan tai vain hyvin vähän, kuten opiskelijan opintojen aloitusvuosi tai opintojakson sijoittuminen opiskelijan opinnoissa. Lisäksi mikäli opintojaksopalautetta käytetään muuhun kuin opetuksen laadun kehittämiseen, tekijät, kuten odotettu arvosana ja kokonaisarvion tapauksessa myös kokemus työmäärästä, mahdollistavat sen, että opettaja voi pyrkiä saamaan mahdollisimman hyvää opintojaksopalautetta sen sijaan, että yrittäisi tukea opiskelijoiden oppimista parhaalla mahdollisella tavalla.
Johtopäätökset
Tässä tutkimuksessa käytettiin LUT:ssa lukuvuonna 2016–2017 opiskelijoilta kerättyä opintojaksopalautetta ja analysoitiin monitasomallinnuksen avulla siihen vaikuttavia tekijöitä. Tutkimuksessa vertailtiin lisäksi käytetyn opintojaksopalautelomakkeen kahta kysymystä, kokonaisarviota ja oppimiskokemusta, joiden avulla yksittäisellä opintojaksolla havaittu opetuksen laatu on yritetty tiivistää yhdeksi lukuarvoksi.
Tulosten mukaan opettaja pystyy omalla toiminnallaan hieman paremmin vaikuttamaan niihin tekijöihin, jotka vaikuttavat oppimiskokemukseen (eli opiskelijan arvioon omasta oppimisestaan) kuin kokonaisarvioon opintojaksosta. Tästä syystä opiskelijoiden kokema oppiminen vaikuttaa olevan vähemmän ongelmallinen, ja siten suositeltavampi, opetuksen laadun mittari kuin kokonaisarvio (ks. myös Uttl ym., 2017) etenkin tilanteissa, joissa opiskelijoiden antama opintojaksopalaute vaikuttaa opettajien palkkoihin tai urakehitykseen. Lisäksi analyysin tulokset tukevat myös Bragan ja kollegoiden (2014) sekä Pennyn (2003) havaintoja siitä, että tämänkaltaisen opintojaksopalautteen hallinnollinen käyttö esimerkiksi tulospalkkauksessa voi johtaa osaoptimointiin opettajien taholta varsinkin, jos opetuksen laadun mittarina käytetään kokonaisarviota opintojaksosta. Opettajalle saattaa esimerkiksi tulla houkutus tehdä kurssistaan helpompi vain paremman opintojaksopalautteen, ja siten paremman palkan, toivossa (ks. esim. Clayson, 2009). Tämän vuoksi opiskelijapalautteen käyttämisessä muuhun kuin opetuksen kehittämiseen tulee noudattaa erityistä varovaisuutta. Vastauksena päätutkimuskysymykseemme ”Mitä opiskelijapalaute kertoo yliopisto-opetuksen laadusta?” toteamme, että jotta opiskelijoiden antamaa opintojaksopalautetta voitaisiin käyttää opetuksen laadun mittarina edes jossain määrin, tulisi sen mitata opetuksen laatua oppimiskokemuksen kautta. Tulos on siis linjassa Marksin (2000) kanssa: mikäli opetuksen laatua halutaan mitata vain yhdellä lukuarvolla, mittarin valinnassa tulee olla erittäin varovainen.
Tämän tutkimuksen rajoitteita ovat erityisesti seuraavat tekijät: LUT:n opintojaksopalaute kerätään anonyymisti, joten palautetta ei voida yhdistää toteutuneisiin arvosanoihin, kuten joissakin tutkimuksissa (esim. Braga ym., 2014) on tehty. Anonyymiyden takia myös taustatiedot oli pyydettävä erikseen jokaisen opintojaksopalautteen yhteydessä, mikä saattoi turhauttaa vastaajia ja alentaa vastausprosenttia. Lisäksi koska LUT:n opintojaksoilla on usein monta opettajaa, mutta opintojaksopalautetta ei kerätä opettajakohtaisesti, palautteeseen vaikuttavia opettajan ominaisuuksia ei ollut mahdollista kontrolloida.
Tässä tutkimuksessa ei hyödynnetty opiskelijoiden avointa sanallista palautetta. Avoimen palautteen tekstianalyysi olisi kuitenkin mielenkiintoinen jatkotutkimuskohde. Lisäksi mikäli samaa palautelomaketta käytettäisiin useampana lukuvuotena, olisi mahdollista seurata opintojaksopalautteen kehittymistä yli ajan sekä hyödyntää paneelidataestimointimenetelmiä aineiston analysoimisessa.
[1] Tässä tutkimuksessa opiskelijoiden arvioon opetuksen laadusta yksittäisellä opintojaksolla viitataan jatkossa termillä opintojaksopalaute. Opiskelijapalaute on laajempi käsite, joka viittaa kaikkeen opiskelijoiden antamaan palautteeseen.
Liite 1. Korrelaatiomatriisit
Lähteet
Bedard, K. & Kuhn, P. (2008). Where class size really matters: Class size and student ratings of instructor effectiveness. Economics of Education Review, 27(3), 253–265. Saatavilla https://doi.org/10.1016/j.econedurev.2006.08.007
Beran, T. & Violato, C. (2005). Ratings of university teacher instruction: How much do student and course characteristics really matter? Assessment & Evaluation in Higher Education, 30(6), 593–601. Saatavilla https://doi.org/10.1080/02602930500260688
Braga, M., Paccagnella, M. & Pellizzari, M. (2014). Evaluating students’ evaluations of professors. Economics of Education Review, 41, 71–88. Saatavilla https://doi.org/10.1016/j.econedurev.2014.04.002
Centra, J. A. (2003). Will teachers receive higher student evaluations by giving higher grades and less course work? Research in Higher Education, 44(5), 495–518. Saatavilla https://doi.org/10.1023/A:1025492407752
Centra, J. A. (2005). The Development of the Student Instructional Report II (raportti). Princeton, NJ: Educational Testing Service. Saatavilla https://www.ets.org/Media/Products/283840.pdf
Christiaens, W., Spooren, P., Mortelmans, D. & Van Loon, F. (2014). Students’ perceptions of learning, course grades, and students’ evaluations of teaching (SET): An empirical analysis. The International Journal of Assessment and Evaluation, 20(3), 13–21. Saatavilla https://www.researchgate.net/publication/287251890_Students’_perceptions_of_learning_course_grades_and_student_evaluation_of_teaching_An_empirical_analysis
Clayson, D. E. (2009). Student evaluations of teaching: Are they related to what students learn? A meta-analysis and review of the literature. Journal of Marketing Education, 31(1), 16–30. Saatavilla https://doi.org/10.1177/0273475308324086
Cohen, P. A. (1981). Student ratings of instruction and student achievement: A meta-analysis of multisection validity studies. Review of Educational Research, 51(3), 281–309. Saatavilla https://www.jstor.org/stable/1170209
Crumbley, L., Henry, B. K. & Kratchman, S. H. (2001). Students’ perceptions of the evaluation of college teaching. Quality Assurance in Education, 9(4), 197–207. Saatavilla https://doi.org/10.1108/EUM0000000006158
De Witte, K. & Rogge, N. (2011). Accounting for exogenous influences in performance evaluations of teachers. Economics of Education Review, 30(4), 641–653. Saatavilla https://doi.org/10.1016/j.econedurev.2011.02.002
Ewing, A. M. (2012). Estimating the impact of relative expected grade on student evaluations of teachers. Economics of Education Review, 31(1), 141–154. Saatavilla https://doi.org/10.1016/j.econedurev.2011.10.002
Griffin, B. W. (2004). Grading leniency, grade discrepancy, and student ratings of instruction. Contemporary Educational Psychology, 29(4), 410–425. Saatavilla https://doi.org/10.1016/j.cedpsych.2003.11.001
Gurung, R. A. & Vespia, K. (2007). Looking good, teaching well? Linking liking, looks, and learning. Teaching of Psychology, 34(1), 5–10. Saatavilla https://doi.org/10.1080/00986280709336641
Hamermesh, D. S. & Parker, A. (2005). Beauty in the classroom: Instructors’ pulchritude and putative pedagogical productivity. Economics of Education Review, 24(4), 369–376. Saatavilla https://doi.org/10.1016/j.econedurev.2004.07.013
Hill, R. C., Griffiths, W. E. & Lim, G. C. (2008). Principles of Econometrics (5. painos). Hoboken, NJ: Wiley.
Hofmann, D. A. (1997). An overview of the logic and rationale of hierarchical linear models. Journal of Management, 23(6), 723–744. Saatavilla https://doi.org/10.1016/S0149-2063(97)90026-X
Kohn, J. & Hatfield, L. (2006). The role of gender in teaching effectiveness ratings of faculty. Academy of Educational Leadership Journal, 10(3), 121–137. Saatavilla https://www.abacademies.org/articles/aeljvol10no32006.pdf#page=127
Mandel, P. & Süssmuth, B. (2011). Size matters. The relevance and Hicksian surplus of preferred college class size. Economics of Education Review, 30(5), 1073–1084. Saatavilla https://doi.org/10.1016/j.econedurev.2011.05.011
Marks, R. B. (2000). Determinants of student evaluations of global measures of instructor and course value. Journal of Marketing Education, 22(2), 108–119. Saatavilla https://doi.org/10.1177/0273475300222005
Marsh, H. W. (1982). SEEQ: A reliable, valid, and useful instrument for collecting students’ evaluations of university teaching. British Journal of Educational Psychology, 52(1), 77–95. Saatavilla https://doi.org/10.1111/j.2044-8279.1982.tb02505.x
Marsh, H. W. (1987). Students’ evaluations of university teaching: Research findings, methodological issues, and directions for future research. International Journal of Educational Research, 11(3), 253–388. Saatavilla https://doi.org/10.1016/0883-0355(87)90001-2
Marsh, H. W. & Roche, L. A. (2000). Effects of grading leniency and low workload on students’ evaluations of teaching: Popular myth, bias, validity, or innocent bystanders? Journal of Educational Psychology, 92(1), 202–228. Saatavilla https://psycnet.apa.org/doi/10.1037/0022-0663.92.1.202
McPherson, M. A. (2006). Determinants of how students evaluate teachers. The Journal of Economic Education, 37(1), 3–20. Saatavilla https://www.jstor.org/stable/30042683
Moisio, O.-P. & Heinämaa, S. (28.3.2015). Opiskelijat eivät osaa arvioida opetuksen laatua. Helsingin sanomat. Saatavilla https://www.hs.fi/paakirjoitukset/art-2000002812220.html
Olds, P. R. & Crumbley, D. L. (2003). Higher grades = higher evaluations: Impression management of students. Quality Assurance in Education, 11(3), 172–177. Saatavilla https://doi.org/10.1108/09684880310495924
Penny, A. R. (2003). Changing the agenda for research into students’ views about university teaching: Four shortcomings of SRT research. Teaching in Higher Education, 8(3), 399–411. Saatavilla https://doi.org/10.1080/13562510309396
Pounder, J. S. (2007). Is student evaluation of teaching worthwhile? An analytical framework for answering the question. Quality Assurance in Education, 15(2), 178–191. Saatavilla https://doi.org/10.1108/09684880710748938
Remedios, R. & Lieberman, D. A. (2008). I liked your course because you taught me well: The influence of grades, workload, expectations and goals on students’ evaluations of teaching. British Educational Research Journal, 34(1), 91–115. Saatavilla https://doi.org/10.1080/01411920701492043
Riniolo, T. C., Johnson, K. C., Sherman, T. R. & Misso, J. A. (2006). Hot or not: Do professors perceived as physically attractive receive higher student evaluations? The Journal of General Psychology, 133(1), 19–35. Saatavilla https://doi.org/10.3200/GENP.133.1.19-35
Santhanam, E. & Hicks, O. (2002). Disciplinary, gender and course year influences on student perceptions of teaching: Explorations and implications. Teaching in Higher Education, 7(1), 17–31. Saatavilla https://doi.org/10.1080/13562510120100364
Shevlin, M., Banyard, P., Davies, M. & Griffiths, M. (2000). The validity of student evaluation of teaching in higher education: Love me, love my lectures? Assessment & Evaluation in Higher Education, 25(4), 397–405. Saatavilla https://doi.org/10.1080/713611436
Snijders, T. A. B. & Bosker, R. J. (1999). Multilevel analysis: an introduction to basic and advanced multilevel modeling. London: Sage.
Spooren, P. (2010). On the credibility of the judge: A cross-classified multilevel analysis on students’ evaluation of teaching. Studies in Educational Evaluation, 36(4), 121–131. Saatavilla https://doi.org/10.1016/j.stueduc.2011.02.001
Spooren, P., Brockx, B. & Mortelmans, D. (2013). On the validity of student evaluation of teaching: The state of the art. Review of Educational Research, 83(4), 598–642. Saatavilla https://doi.org/10.3102/0034654313496870
Ting, K. F. (2000). A multilevel perspective on student ratings of instruction: Lessons from the Chinese experience. Research in Higher Education, 41(5), 637-661. Saatavilla https://doi.org/10.1023/A:1007075516271
Uttl, B., White, C. A. & Gonzalez, D. W. (2017). Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Studies in Educational Evaluation, 54, 22–42. Saatavilla https://doi.org/10.1016/j.stueduc.2016.08.007
Wachtel, H. K. (1998). Student evaluation of college teaching effectiveness: A brief review. Assessment & Evaluation in Higher Education, 23(2), 191-212. Saatavilla https://doi.org/10.1080/0260293980230207