Älykkään ohjauksen digitaalisilla jalanjäljillä -artikkelisarjan aiemmissa osissa olemme esitelleet, kuinka oppimisanalytiikkaa voidaan sisällyttää myös sellaisen opintojakson toteutuksen suunnitteluun, jossa työskennellään muualla kuin perinteisessä oppimisympäristössä. Artikkelisarjan osassa 1 ja osassa 2 kuvasimme, mitä muutoksia tämä uusi tilanne tuo toteutuksen suunnitteluun opettajan näkökulmasta. Artikkelisarjan kolmannessa osassa ”Mitä tapahtuu projektinhallintaympäristössä?”, ja osassa 4 ”Ohjaajamuistioista XAPI-lauseiksi” puolestaan toimme esille niitä teknisiä muutoksia, joita tämä uusi tilanne aiheuttaa käyttämällemme oppimisanalytiikkadatan keruujärjestelmälle. Tässä osassa esittelemme pilottikurssiksi valitsemamme ICT-toimeksiantoprojektin aikana syntyneitä visualisointeja ja tuomme esille pilottikurssin toteutuksen aikana huomaamiamme haasteita sekä niiden pohjalta syntyneitä kehitysehdotuksia.
Ohjaustapaamisten visualisointi
Tähän näkymään (kuva 1) halusimme koostaa saman tarkastelun alle kolmesta eri näkökulmasta syntyviä sellaisia digitaalisia jalanjälkiä, jotka kertovat kuinka kokonaisvaltaisesti ja aktiivisesti projektiryhmän yksittäiset jäsenet osallistuvat ryhmänsä toimintaan SCRUM-kehitysmenetelmän mukaisesta roolistaan riippumatta. Koostimme näkymään tiedot osallistumisista yksittäisiin ohjaustapaamisiin, niissä keskustelujen kautta ohjaajille välittyneet vaikutelmat yksittäisten opiskelijoiden sitoutumisesta yhteistyöskentelyyn, sekä kunkin opiskelijan aktiivisuuden oman kehitysbloginsa säännöllisessä päivittämisessä. Näkymä antaa nopean yleiskuvan kunkin ryhmän aktiivisuudesta eri ajanjaksoilla projektikurssin kuluessa. Samoin se antaa mahdollisuuden tarkastella kunkin ryhmän yksittäisen jäsenen henkilökohtaista aktiivisuutta ja sitoutumista suhteessa ryhmän muihin jäseniin.
Visualisoinnit on toteutettu Microsoft Power BI:n avulla. Suurin osa näkymän visualisoinneista esitetään pinotulla pylväsdiagrammilla, jonka pystyakselin yksiköt ovat joidenkin tapahtumien lukumääriä, ja vaaka-akselin arvot ohjaustapaamisen päivämääriä sijoitettuna jatkuvalle aikavälille.
Osallistuminen tapaamisiin jaotellaan läsnäolevien XAPI-verbin (attended, skipped) sekä severity-määreiden avulla (known, unknown). Laskennassa hyödynnetään runsaasti DAX-kielen CALCULATE-funktiota, joka mahdollistaa suodattimien käytön.
Projektityöskentelyvisualisoinnissa lasketaan muistioista löytyvien avainsanojen lukumäärää (projektitoimija, mukana toiminnassa, ei tiedossa). Aktiivisuutta esitetään viivadiagrammin avulla palkkien yhteydessä, ja aktiivisuuden yksiköt päätettiin laskea painottamalla aktiivisuuteen liittyvien avainsanojen lukumäärää (olematonta x 1, vähäistä x 2, aktiivista x 4), ja muuntamalla lopputuloksen suhteelliselle arvovälille.
Dev Blogien palautustilanne puolestaan ilmaisee blogipalautusten lukumäärät ohjaustapaamisen mennessä. Ohjaajamuistioiden merkinnöistä pääteltävissä palautus ja palauttamatta jättäminen. Tyhjän merkkijonon ja kysymysmerkin merkitessä puuttuvaa palautusta, mikä tahansa muu arvo tulkitaan palautukseksi.
Tuotteenomistajan toiminnan visualisointi
Kuvan 2 näkymässä halusimme porautua tuotteenomistajan työskentelyn kannalta keskeisiin aktiviteetteihin Azure DevOps-projektinhallintaympäristössä. Tuotteenomistajan työskentely SCRUM-kehitystiimissä keskittyy pitkälti tuotteen kehitysjonosta huolehtimiseen ja yksittäisten sprinttien suunnitteluun sprinttien kehitysjonojen työstämisen kautta. Azure DevOps -ympäristössä työskenneltäessä tällaista toimintaa kuvaavat digitaaliset jalanjäljet syntyvät pitkälti erilaisiin SCRUMin Workitemeihin liittyvien muokkaustoimenpiteiden kautta. Koostimme muokkaustoimenpiteisiin liittyvän tiedon visuaalisiksi määrää, laatua ja tapahtuman luonnetta kuvaaviksi palkeiksi. Näin voidaan nopealla silmäilyllä tarkastella, kuinka paljon tuotteenomistaja tai joku muu projektiryhmän jäsen työskentelee kulloinkin kehitysjonojen Workitemien parissa.
Tuotteenomistaja-näkymässä lasketaankin Workitemeihin kohdistuvien toimintojen lukumäärää. Kaaviossa vaaka-askelilla on projektin aikajana, ja pystyakselilla tapahtumien lukumäärä. Tapahtumat on jaoteltu niiden luonteen mukaan, joten lisäämis-, hyväksymis-, valmistumis-, luomis-, aloittamis- ja päivittämistapahtumien määrät ovat tarkasteltavissa erikseen.
Scrum masterin ja kehittäjien toiminnan visualisointi
Scrum Master -rooli osoittautui yksittäisen opiskelijan työskentelyn seuraaminen kannalta ehkä haastavimmaksi arvioijan kannalta. Roolin mukainen toiminta on paljolti projektiryhmän työskentelyn seuraamista, tarkastelua, kehittämisehdotusten tekemistä ja ratkaisuehdotusten esittämistä SCRUM-viitekehyksen mukaisesti. Seuraamisesta tai tarkastelusta syntyy vain niukalti digitaalisia jalanjälkiä käytettäviin työkaluihin. Kehittämis- ja ratkaisuehdotukset nousevat puolestaan esille projektiryhmän keskinäisten tapaamisten yhteydessä, eikä niistä välttämättä tallennu ainakaan helposti automaattisesti poimittavia digitaalisia jalanjälkiä. Päädyimme keräämään Scrum Master-näkymään (kuva 3) Azure DevOps-wikiin tehtävistä merkinnöistä syntyviä jalanjälkiä, sillä Wikin ylläpitäminen on tyypillisesti Scrum Masterin tehtävä. Se antaa myös Scrum Masterille mahdollisuuden tehdä työskentelyään yhdellä tapaa näkyväksi.
Kehittäjät-näkymään (kuva 4) kerättiin digitaalisia jalanjälkiä siitä, kuinka usein opiskelijat tekevät kommitteja versionhallinnan repoon. Versionhallinta kuuluu väistämättä ammattimaisen tapaan tehdä ohjelmistokehitystyötä ja sen aktiivista hyödyntämistä edellytetään etenkin loppuvaiheen opiskelijoilta. Siksi nämä yksittäiset digitaaliset jalanjäljet antavat yksityiskohtaista kuvaa siitä, kuinka ryhmien, ja yksittäisten ryhmän jäsenten kehitystyö on edennyt eri ajanjaksoina. Mikäli Kehittäjät-näkymä ei visualisoi yksittäiseltä kehitystiimin jäseneltä digitaalisia jalanjälkiä tasaisin väliajoin, viittaa se opiskelijan kehitystyön olevan pysähdyksissä tai ainakin sivuraiteilla suhteessa koko ryhmän kehitystyöhön.
Scrum Master – ja Kehittäjät-näkymissä lasketaan myös XAPI-tapahtumien lukumäärää. Kaaviossa vaaka-askelilla on projektin aikajana, ja pystyakselilla tapahtumien lukumäärä. XAPI-tapahtumassa on erotettu tapahtuman kohde aktiviteetin nimen avulla, joten laskeminen on yksinkertaista toteuttaa visualisoinnissa suodattimen avulla. Wikejä ei tarvitse erotella keskenään, joten XAPI-tapahtumissakin kaikkien wikiaktiviteettien nimi on sama. Vastaavasti versionhallintarepoon tehtyjen päivitysten luonnetta ei tarvitse erotella, joten kaikkien kommittien nimi on sama.
Tietosuojakäsittely vaatii tarkkuutta
EU:n tietosuoja-asetuksen myötä Karelia-ammattikorkeakoulussa on linjattu, että opiskelijatietoja sisältävät rekisterit on säilytettävä paikallisilla palvelimilla, jolloin voidaan olla varma tietojen tallennuspaikasta ja siten taata tietosuoja-asetuksen ehtojen täyttyminen. Tästä johtuen myös ohjaajamuistiot säilytetään paikallisella Sharepoint-palvelimella pilvipalvelun sijaan.
Paikallisen Sharepoint-palvelimen käyttö tuottaa toisaalta myös hankaluuksia. Dokumentteja ei voi editoida yhtäaikaisesti, eivätkä muutokset päivity kaikille suoraan. Myös vahingossa tapahtuva tiedoston ylikirjoittaminen voi olla mahdollista. Nämä ongelmat ovat kierrettävissä sopimalla työnjaosta etukäteen.
Potentiaalia ja ponnistelua pikaviestinten parissa
Yksittäiset visualisoinnit antavat vain yksittäisiä, tietystä suunnasta kohdistettuja tiivistettyjä näkymiä projektiryhmien toimintaan. Arvioinnin tulisi kuitenkin olla mahdollisimman holistista ja opiskelijoiden erilaisista työskentelytavoista eri tavoin ja eri paikkoihin syntyvät digitaaliset jalanjäljet mahdollisimman kattavasti huomioivaa. Mitä paremmin visualisoinnit pureutuvat kiinni kaikkiin projektiryhmien käytössä oleviin työkaluihin ja niissä syntyviin erilaisiin digitaalisiin jalanjälkiin, sitä tasapainoisempaa ja tasapuolisempaa havainnointia on arviointia varten mahdollista tehdä. Yksi selkeä kehityskohde käyttämässämme toteutustavassa on projektiryhmän pikaviestinten kautta tapahtuvan kehitystyöhön liittyvän keskinäisen kommunikaation sisällyttäminen visualisointien piiriin. Tämä auttaisi etenkin Scrum Master -roolissa toimivien opiskelijoiden digitaalisten jalanjälkien visualisoinnissa.
Ryhmän käyttämän pikaviestintävälineen datan hyödyntäminen jatkossa vaatisi lisää kehitystyötä ja osallistaisi opiskelijoita mukaan oppimisanalytiikan käyttöönottoon. Kunkin ryhmän olisi määriteltävä käyttämälleen Discord-palvelimelle sovellustiedot oppimisanalytiikkaa varten. Tämän jälkeen sovelluksen autentikoinnille olisi määritettävä autentikaatioavain, ja hyväksyttävä se käyttöön. Itse viestien lukeminen olisi suhteellisen yksinkertaista, ja viestien sisältö sallisi selvittää esimerkiksi aikaleimat, ja keille käyttäjille erityisesti se on kohdistettu. Oman hankaluutensa tilanteeseen toisi Discord-palvelimen käyttäjätunnusten kartoitus suhteessa opiskelijoihin, joka olisi kirjattava jonnekin koneen luettavaan muotoon. Opiskelijat käyttävät Discordia myös epäviralliseen viestintään, joten lukemisen salliminen oppimisanalytiikkaa varten voisi osoittautua kynnyskysymykseksi.
Kirjoittajat:
Anssi Gröhn, lehtori, Älykäs ohjaus -hanke, Karelia-ammattikorkeakoulu
Seppo Nevalainen, lehtori, Älykäs ohjaus -hanke, Karelia-ammattikorkeakoulu