Amanda M. Sjöblom, asiantuntija, Aalto-yliopisto
amanda.sjoblom@aalto.fi
Jiri Lallimo, asiantuntija, Aalto-yliopisto
jiri.lallimo@aalto.fi
Anni Silvola, tohtorikoulutettava, Oulun yliopisto
anni.silvola@oulu.fi
Data-avusteinen johtaminen on tuonut yliopistoille paljon uusia mahdollisuuksia ja haasteita (Larrabee Sønderlund, Hughes & Smith, 2019). Tiedolla johtamisella ja oppimisanalytiikalla pyritään tukemaan yliopistotason päätöksentekoa, opiskelua, opetusta, tukipalveluita ja johdon toimia. Tietoperustainen johtaminen sekä analytiikkatietoa hyödyntävä päätöksenteko ovat monimutkaisia kokonaisuuksia, joiden ymmärtäminen vaatii niihin kuuluvien elementtien avaamista aina prosessikohtaisesti. Jo pelkästään analytiikkatietoa hyödyntävät johtamisen sovellukset ovat osoittautuneet monisärmäisiksi palapeleiksi, joiden tulisi tukea käyttäjien paikallisia tarpeita ja samalla huomioida tiedon hallinnan, käsittelyn ja esittämisen tapoja. Määrittelyä vaativat myös juridiset ja eettiset näkökulmat ja data-avusteisen päätöksenteon käytännöt, jotka yhdistyvät myös datan lopullisen muodon oikeellisuuteen ja hyödynnettävyyteen (Sclater, 2016). Jokainen tiedon käyttötarkoitus koulutusinstituutiossa vaatii oman määrittely- ja kehittämisprosessinsa, jonka lähtökohtina ovat pedagogiset prosessit ja tavoitteet ja jossa huomioidaan lisäksi prosesseihin liittyvän datan erityispiirteet ja laatu (Greller & Drachsler, 2012; Tsai ym., 2018). Oppimisanalytiikan kehittämistyössä yhdeksi tärkeimmistä käyttötarkoituksista opiskelija- ja opettajasidosryhmätyössä nousi opiskelijahyvinvoinnin tukeminen, jota käytämme artikkelin esimerkkitapauksena.
Datalla avustettuun johtamiseen yhdistyy yhä useammin tarvetta hyödyntää oppimisanalytiikkaa (Ferguson, 2012; Nouri ym., 2019). Oppimisanalytiikalla tarkoitetaan oppimiseen, opettamiseen tai niiden tukemiseen liittyvän datan käsittelyä, analysointia ja raportointia, joiden tarkoituksena on hyödyllisen tiedon tuottaminen yliopiston eri toimijoille. Tavoitteena ovat selkeät, tarkoitukseensa sopivat indikaattorit, ehdotukset tai ennusteet, joita koulutusinstituution eri käyttäjäryhmät voivat hyödyntää oman toimintansa suunnitteluun, seurantaan ja toteuttamiseen (Viberg, Hatakka, Bälter & Mavroudi, 2018). Ajatus oppijoita koskevan tiedon hyödyntämisestä voidaan helposti nähdä ”isoveli valvoo” -tyyppisenä kontrollointina tai läpinäkymättömänä profilointina, joten on tärkeää, että oppimisanalytiikkaa otetaan käyttöön avoimesti, jolloin käyttäjät ovat siitä tietoisia. Kehittämistä ja käyttöönottoa tulisi edeltää hyvä ymmärrys käsiteltävän prosessin keskeisistä elementeistä ja vaiheista, ja niiden tulisi sisältää kartoitus tarvittavasta datasta ja sen erityispiirteistä ja puutteista. Datan ja analyysien läpinäkyvyys on keskeistä tulosten ymmärtämiselle ja tulkinnalle, esimerkiksi selkeys siitä, mistä indikaattorit tai suositukset juontuvat ja mikä niihin vaikuttaa (Ferguson, 2012; Slade & Prinsloo, 2013).
Käyttäjäkeskeiset menetelmät tarpeiden ja mahdollisuuksien analysoinnissa sekä ratkaisujen kehittämisessä: Fokuksena opintojen sujuvuus ja opiskelijahyvinvointi
Oppimisanalytiikan näkökulmasta käyttäjäkeskeisyyden tulisi kattaa kaikki yliopiston toimijat. Käyttäjäkeskeisyys tarkoittaa yksittäisen oppimisanalytiikkaratkaisun kohdeprosessin ja sen toimijoiden näkökulmien varmistamista. Jotta analytiikkaratkaisut olisivat osuvia, olemme nojautuneet vahvasti käyttäjien osallisuuteen kehittämistyössä (Lallimo & Sjöblom, 2020; Silvola, Näykki, Kaveri & Muukkonen, 2021; Torkkeli & Lallimo, 2019). Myös AnalytiikkaÄly-hankkeessa hyödynnettiin käyttäjäkeskeistä lähestymistapaa oppimisanalytiikkatarpeiden ja -kyvykkyyksien selvittämiseksi. Ensimmäisessä vaiheessa selvitettiin sidosryhmien tarpeita ja näkemyksiä hyödyntämällä työpajoja, haastatteluja ja kyselyitä. Näissä työstettiin kokonaiskuvaa käyttäjätarpeista kulloinkin valitun teeman mukaisesti, esimerkiksi ihanteellisen opintopolun kriittisiä vaiheita sekä tärkeitä tuen elementtejä. Näiden perusteella kehitettiin valitun teeman konseptia yhteistyössä käyttäjäryhmien kanssa, esimerkiksi opintojen suunnitteluprosessin tukemista analytiikalla opintopolun sujuvoittamiseksi. Hankkeen käyttäjätarveselvityksiä ja kehittämistä on kuvattu kirjallisuudessa (ks. Hooli, 2020; Okkonen, Helle & Lindsten, 2020; Torkkeli & Lallimo, 2019; Vaara, 2020).
Esittelemme tapausesimerkkinä opiskelijahyvinvointiin liittyvän oppimisanalytiikan kehittämistä, jonka tarkoituksena on auttaa koulutusohjelmajohtoa ymmärtämään opintopolkujen aikaisia muuttujia, jotka kohorttitasolla näyttävät vaikuttavan opintouupumuksen kokemuksiin (ks. Asikainen, Salmela-Aro, Parpala & Katajavuori, 2020). Opiskelijahyvinvoinnin tukeminen oli yksi toistuvista ja keskeisistä tarpeista, jotka nousivat esiin kaikissa sidosryhmissä ja konteksteissa opintojen ohjauksesta koulutusohjelmien ja yksilöllisten opintopolkujen suunnitteluun. Tavoitteena oli löytää sekä varhaisia indikaattoreita uupumukseen mahdollisesti johtavista tekijöistä että tunnistaa väyliä hyvinvoinnin parantamiseen. Tällainen analyysi voisi paljastaa esimerkiksi kohonneen uupumusriskin yhteyttä tiettyihin opintorakenteisiin. Kehitysprosessin vaiheita on kuvattu kaaviossa 1.
Kaavio 1. Oppimisanalytiikan ja sitä hyödyntävien ratkaisujen kehittämisen prosesseja ja vaiheita yliopistossa (Lallimo & Sjöblom, 2020)
Kokeilussa datan saatavuus
Opintopolun aikana opiskelijasta kertyy paljon tietoa useista eri lähteistä. Esimerkiksi kursseista, opinto-ohjelmista, palautteista ja tukipalveluista saadaan tietoa, jota voidaan hyödyntää oppimisanalytiikan kehittämisessä. Opiskelijoiden, ohjaajien ja ohjelmajohdon kanssa käydyn yhteistyön pohjalta olimme tietoisia opiskelijahyvinvointiin liittyvistä kysymyksistä. Seuraavaksi selvitimme, mitkä tarvittavista datoista ja tiedoista olivat saatavilla ja miten ne soveltuvat oppimisanalytiikan käyttöön pedagogisesta, tilastotieteellisestä, eettisestä ja lakiteknisestä näkökulmasta. Osoittautui, että kattava malli vaatisi monimutkaisen datakokonaisuuden: rekisteritietoja opinto-ohjelmista, -suunnitelmista, ja -suorituksista, tietoja kurssien ja ohjelmien vaatimuksista, tavoitteista, osasuorituksista, työmääristä, ajoituksista, palautteista ja suhteista toisiinsa sekä kyselytietoa opiskelijahyvinvoinnista ja -uupumuksesta. Havaitsimme, että tarvitaan paljon työtä tiedon saatavuuden, saavutettavuuden ja yhdisteltävyyden eteen, jotta voidaan siirtyä tyypillisten tunnuslukujen raportoinnista kohti analytiikkaa. Tavoitteiden ja kontekstin huomioiminen on myös tärkeää: datassa on puutteita ja vääristymiä, jotka eivät ole välittömästi pelkästä datasta huomattavissa, vaan valitun näkökulman ja prosessien tuntemus on välttämätöntä. On myös tärkeää ymmärtää, mitä analyysit ja tulokset korostavat, vähättelevät tai jättävät huomiotta (Knight & Buckingham Shum, 2017). Kun saatavilla olevia tietoja käydään läpi sidosryhmien tietotarpeiden näkökulmasta, saadaan uutta tietoa nykyisten käytäntöjen kehittämiseen erityisesti tiedon keräämisen ja hallinnan näkökulmasta. Tämä helpottaa analytiikan kehittämistä myös tulevaisuudessa.
Kokeilussa datan hyödyntäminen
Avainkysymys datan analyysissä ja mallintamisessa on tulosten käyttötarkoitus, jonka tulisi määritellä mallintamisen menetelmät datan muodon ja laadun rajoitteiden perusteella. Sidosryhmien ja opiskelijahyvinvoinnin asiantuntijoiden konsultoiminen auttavat suuntaamaan kohdistusta ja lähestymistapaa. Kriittistä on tulosten käyttöarvo eli se, miten tieto vaikuttaa eri käytäntöihin ja miten sitä opitaan hyödyntämään. Tämän vuoksi pelkkä opinto-ohjelman ”opiskelijauupumusennuste” ei riitä, vaan on kyettävä osoittamaan muuttujia, joita voidaan hyödyntää hyvinvoinnin tukemisessa.
Tyypillisesti data ja analytiikkatieto ovat hyödynnettävissä monen sidosryhmän tarpeisiin: muuttujien vaikutukset opiskelijahyvinvointiin ohjelmajohtamisen näkökulmasta ovat myös esimerkiksi akateemisen ohjaajan hyödynnettävissä esittämismuodon sopivalla kohdentamisella. On kuitenkin tärkeää tarkistaa eettiset kysymykset kontekstin ja esittämismuodon vaihtuessa. On myös huomioitava mahdolliset muut vaikutukset: jos tehdään toimia valmistumisen nopeuttamiseksi, vaikutetaanko muuttujiin, jotka lisäävät opiskelijoiden uupumusta? Kompleksisten yhteyksien ja vaikutusten löytäminen, tulkinta ja esittäminen vaativat sidosryhmien osallisuutta ja käytännön tietoa ohjelmista ja kursseista, jotka näkyvät vain välillisesti datassa. Tulosten oikeanlainen kommunikointi ja käytettävyys sekä sidosryhmien valmiudet hyödyntää ja lukea tarjolla olevaa tietoa ovat ratkaisevia tekijöitä. Oleellista on myös analytiikan sijoittaminen oikeaan kontekstiin ja metodien läpinäkyvyys. Hankkeessamme tärkeäksi muodostui myös kommunikointi analytiikan roolista ja tarkoituksesta toiminnan tukena eikä ensisijaisena tai korvaavana palveluna. Analytiikan avulla voimme tarjota lisätietoa opiskelijoiden hyvinvoinnin tukemiseen interventioiden suunnittelun, kohdentamisen ja toteutuksen tukena sekä niiden vaikutusten seuraamiseen. Ensisijaisia toimia ovat pedagoginen suunnittelu, akateeminen ohjaus sekä opintopsykologien ja muiden opiskelijoiden tukipalveluiden toiminta, joita analytiikka voi onnistuessaan tukea.
Käyttäjälähtöinen oppimisanalytiikka: mahdollisuuksia, tarpeita ja haasteita
Oppimisanalytiikan kehittämistyössä AnalytiikkaÄly-hankkeessa on selvinnyt, että oppimisanalytiikalle on runsaasti tarvetta yliopiston eri käyttäjätasoilla. Samalla on painottunut teema- ja sidosryhmäkohtaisen nykytilan analyysin, tarvekartoituksen ja yhteiskehittämisen tärkeys. Jotta analytiikalla on arvoa, sen tulee sopia kohdeprosessiin ja olla hyväksyttävää käyttäjille (Silvola ym., 2021; Sjöblom, Silvola & Lallimo, 2021). Käyttäjäkeskeisessä kehittämistyössä sidosryhmät tulevat kuulluiksi, mikä vaikuttaa motivaatioon uusien ratkaisujen kokeiluun. Oppimisanalytiikan mahdollisuuksia ja kokemuksia on tarpeen vertailla myös kansainvälisessä kontekstissa, mutta viime kädessä ratkaisut on räätälöitävä jokaiselle organisaatiolle erikseen. Esimerkiksi amerikkalaisissa yliopistoissa korostuva opiskelijoiden menestymisen vertailu toisiinsa ja näiden vertailujen näyttäminen opiskelijoille itselleen on ollut yksi eniten käytetyistä oppimisanalytiikan muodoista (Jivet, Scheffel, Drachsler & Specht, 2017). Tällaista oppimisanalytiikan käyttökohdetta, jossa korostetaan opiskelijoiden vertailua ja tuotetaan myös mahdollista kilpailua, ei ole koettu sopivaksi suomalaiseen korkeakoulukontekstiin, vaan on korostettu lokaalien arvioiden ja tarpeiden kartoituksen tärkeyttä ennen muiden ratkaisujen adoptointia (Hooli, 2020; Vaara, 2020).
Oppimisanalytiikka on lupaava menetelmä koulutuksen yksittäisten kohteiden, kuten opiskelijahyvinvoinnin sekä laajojen prosessien kehittämiseen. AnalytiikkaÄly-hankkeessa on erityisesti korostunut käyttäjäkeskeisyyden tärkeys ja hyödyllisyys: jotta analytiikka ei jäisi irralliseksi menetelmäksi tai tekniseksi välineeksi, tärkeää on oppimisen ja opettamisen prosessituntemuksen sisällyttäminen analytiikan kehittämiseen ja tulosten pohjalta nouseviin jatkotoimiin. Käyttäjiltä tuleva konteksti- ja prosessitietous on välttämätöntä, jotta analytiikan tulosten vahvuuksia, puutteita ja mahdollisia virhepäätelmiä voidaan arvioida osana kehittämistä ja päätöksentekoa ja jotta käyttäjät kokevat analytiikan toimivaksi ja hyväksyttäväksi. Monialainen, käyttäjäkeskeinen yhteistyö ja eri alojen osaamisen yhdistäminen on keskeistä toimivien työkalujen ja prosessien kehittämisen kannalta.
Lähteet
Asikainen, H., Salmela-Aro, K., Parpala, A. & Katajavuori, N. (2020). Learning profiles and their relation to study-related burnout and academic achievement among university students. Learning and Individual Differences, 78, 101781. Saatavilla https://doi.org/10.1016/j.lindif.2019.101781
Ferguson, R. (2012). Learning analytics: Drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5/6), 304–317. Saatavilla https://doi.org/10.1504/IJTEL.2012.051816
Greller, W. & Drachsler, H. (2012). Translating learning into numbers: A generic framework for learning analytics. Educational Technology & Society, 15(3), 42–57. Saatavilla https://www.jstor.org/stable/jeductechsoci.15.3.42
Hooli, H. (2020). Students’ experiences of learning analytics in academic advising for supporting self-regulated learning (pro gradu). Oulu: Oulun yliopisto.
Jivet, I., Scheffel, M., Drachsler, H. & Specht, M. (2017). Awareness is not enough: Pitfalls of learning analytics dashboards in the educational practice. Teoksessa É. Lavoué, H. Drachsler, K. Verbet, J. Broisin & M. Pérez-Sanagustin (toim.), Data driven approaches in digital education. EC-TEL 2017 (s. 82–96). Lecture Notes in Computer Science 10474. Cham: Springer. Saatavilla https://doi.org/10.1007/978-3-319-66610-5_7
Knight, S. & Buckingham Shum, S (2017). Theory and learning analytics. Teoksessa C. Lang, G. Siemens, A. Wise & D. Gašević (toim.), Handbook of Learning Analytics (s. 17–22). Society for Learning Analytics Research. Saatavilla https://doi.org/10.18608/hla17
Lallimo, J. & Sjöblom, A. (2020). Student-centered development of learning analytics at an higher education institution. Teoksessa V. Kovanović, M. Scheffel, N. Pinkwart & K. Verbert (toim.), Companion Proceedings of the 10th International Conference on Learning Analytics & Knowledge (LAK20) (s. 176–177). Society for Learning Analytics Research (SoLAR).
Larrabee Sønderlund, A., Hughes, E. & Smith, J. (2019). The efficacy of learning analytics interventions in higher education: A systematic review. British Journal of Educational Technology, 50(5), 2594–2618. Saatavilla https://doi.org/10.1111/bjet.12720
Nouri, J., Ebner, M., Ifenthaler, D., Sqr, M., Malmberg, J., Khalil, M. … & Berthelsen, U. D. (2019). Efforts in Europe for data-driven improvement of education – A review of learning analytics research in six countries. International Journal of Learning Analytics and Artificial Intelligence for Education (iJAI), 1(1), 8–27. Saatavilla https://doi.org/10.3991/ijai.v1i1.11053
Okkonen, J., Helle, T. & Lindsten, H. (2020). Expectation differences between students and staff of using learning analytics in Finnish universities. Teoksessa Á. Rocha, C. Ferrás, C. Montenegro Marin & V. Medina Carcía (toim.), Information Technology and Systems. ICITS 2020 (s. 383–393). Advances in Intelligent Systems and Computing 1137. Cham: Springer. Saatavilla https://doi.org/10.1007/978-3-030-40690-5_38
Sclater, N. (2016). Developing a code of practice for learning analytics. Journal of Learning Analytics, 3(1), 16–42. Saatavilla https://doi.org/10.18608/jla.2016.31.3
Silvola, A., Näykki, P., Kaveri, A. & Muukkonen, H. (2021). Expectations for supporting student engagement with learning analytics: An academic path perspective. Computers & Education, 168, 104192. Saatavilla https://doi.org/10.1016/j.compedu.2021.104192
Sjöblom, A., Silvola, A., & Lallimo, J. (2021). How deployment processes affect the adoption of learning analytics in Higher education institutions: Improving potential for impact with better deployment practices. Teoksessa O. Viberg, R Glassey, D. Spikol, & O. Bälter (toim.), Nordic Learning Analytics (Summer) Institute 2021. NORDIC LASI 2021. Saatavilla http://ceur-ws.org/Vol-2985/paper6.pdf
Slade, S. & Prinsloo, P. (2013). Learning analytics: Ethical issues and dilemmas. American Behavioral Scientist, 57(10), 1510–1529. https://doi.org/10.1177/0002764213479366
Torkkeli, M. & Lallimo, J. (2019). Using service design in teaching and learning support services development: Case teaching service point and student analytics dashboard. Teoksessa L. Gómez Cova, A. López Martínez & I. Candel Torres (toim.), EDULEARN19 conference proceedings. 11th International Conference on Education and New Learning Technologies July 1st-3rd, 2019 – Palma, Mallorca, Spain (s. 10209–10214). IATED Academy. Saatavilla https://doi.org/10.21125/edulearn.2019.2562
Tsai, Y.S., Moreno-Marcos, P. M., Jivet, I., Scheffel, M., Tammets, K., Kollom, K. & Gašević, D. (2018). The SHEILA framework: Informing institutional strategies and policy processes of learning analytics. Journal of Learning Analytics, 5(3), 5–20. Saatavilla https://doi.org/10.18608/jla.2018.53.2
Vaara, J. (2020). Omaopettajien kokemus ohjauksen roolista ja oppimisanalytiikan työpöydän käytöstä opiskelijoiden ohjauksessa (pro gradu). Oulu: Oulun yliopisto. Saatavilla
http://urn.fi/URN:NBN:fi:oulu-202006172430
Viberg, O., Hatakka, M., Bälter, O. & Mavroudi, A. (2018). The current landscape of learning analytics in higher education. Computers in Human Behavior, 89, 98–110. Saatavilla https://doi.org/10.1016/j.chb.2018.07.027