Viisi vinkkiä arviointitiedon tulkintaan

1. Mittaa oikeita asioita oikeilla välineillä 

Esimerkiksi jos haluat tietää, mikä nuorten harrastusryhmissä toimii ja mikä vaatii kehittämistä, tarvitset tietoa siitä, mitä tiettyjen menetelmien käytöstä seuraa. Tätä tietoa et yleensä saa pelkästään numeerisia kysymyksiä sisältävillä kyselyillä. Tarvitset siis myös laadullista tietoa. Keskity mittaamaan ja arvioimaan muutamaa asiaa kerrallaan. Ennen kuin lähdet pohtimaan omia työkaluja, tutustu standardoituihin mittareihin – niiden on pitkän kehittämistyön tuloksena todettu mittaavan sitä, mihin ne on kehitetty. 

2. Helpota työtäsi työkaluilla

Jos sinulla on käytössäsi kyselytyökalu, joka laskee esimerkiksi vastausten keskiarvot ja muita tunnuslukuja, hyödynnä sitä. Ota huomioon, että joissain kyselyissä myös en osaa sanoa -vastaus saa numeerisen arvon ja se voi vääristää tuloksia. Laadullisten aineistojen kohdalla kannattaa hyödyntää esimerkiksi erilaisia sanapilviohjelmia silloin, kun alat jäsentää vastauksia. Niiden avulla näet jo alustavasti, mitä teemoja nousee esiin. 

3. Entä, jos vastaajia on vähän? 

Vastaajaryhmän ollessa pieni tulee kiinnittää huomiota sekä vastaajien nimettömyyteen että vastausten esittämistapaan. Esimerkiksi Kuntoutussäätiön Artsi-toiminnan oppaassa suositellaan, että jos vastaajia on alle 30, vastausten jakauma kannattaa ilmoittaa lukumäärinä eikä prosenttisuuksina (esimerkiksi toiminnassa olleista nuorista 18 kahdestakymmenestä oli tyytyväinen). Silloin, kun vastaajia on vähän, keskiarvotkin voivat vääristyä, kun yhdenkin vastaajan näkemys vaikuttaa siihen merkittävästi. Pienen joukon vastauksista ei myöskään kannata tehdä suuria yleistyksiä. 

4. Varaa aikaa laadullisen aineiston analysoimiselle 

Jos olet kerännyt arviointitietoa esimerkiksi haastattelujen avulla, sinulla voi olla monta sivua litteroitua tekstiä ja muistiinpanoja edessäsi. Niiden analysoiminen vie aikaa ja vaatii osaamista. Voit hyödyntää tiedonlouhinnan ohjelmistoja tai esimerkiksi sanapilviä, mutta arvioinnissa tärkeää on tulkinta:

• Miksi jokin teema toistuu vastauksissa?
• Miksi osa käyttäjistä ei ole pitänyt palvelusta?

Perinteisesti arvioinnissa laadullista aineistoa teemoitellaan ja sitten tarkastellaan kunkin teeman yleisyyttä ja sisältöjä. 

5. Kanna vastuusi aineistosta ja vastaajista 

Arvioinnissa kerätty tieto on ensisijaista. Arvioijalla voi olla ennakkokäsityksiä toiminnan laadusta, mutta ne eivät saa vaikuttaa analyysiin tai tiedon esittämiseen. Arvioinnin luotettavuutta voi lisätä dokumentoimalla hyvin ja avoimesti, miten tietoa on analysoitu. Lisäksi se, että mukana on useampi ihminen, jotka voivat analysoida aineistoa ja jakaa näkemyksiään, auttaa erityisesti laadullisen aineiston luotettavassa tulkitsemisessa.

Kun analysoit yksilöiltä kerättyä palautetta tai muuta arviointitietoa, muista että vastauksen on antanut toinen ihminen. Arvioinnista ei saisi olla haittaa kenellekään. Mieti siis, miten saat suojeltua vastaajien nimettömyyttä esimerkiksi silloin, kun haluat nostaa arviointiraporttiin heidän kommenttejaan. Tämä on erityisen tärkeää pienissä organisaatioissa, joissa kaikki tuntevat toisensa.