Miten nuorisojärjestöt mittaavat toimintaansa?
Vaikuttavuuden arviointia pidetään tärkeänä, mutta mittareissa on eroja.
Tanja Malk toteutti Kentaurissa työharjoittelunsa aikana tutkimuksen nuorisojärjestökentälle. Mitä kentällä mitataan ja millä tavalla?
Osaamiskeskus Kentaurin yhtenä tehtävänä on kehittää nuorisojärjestökentän vaikuttavuusosaamista. Nuorisojärjestöjen vaikuttavuusarvioinnista on kerätty havaintoja kyselyllä sekä työpajatyöskentelyllä. Näiden lisäksi haluttiin tehdä pieni laadullinen tutkimus, jossa selvitetään nuorisojärjestöjen vaikutusten arvioinnin työkaluja ja mittareita.
Toteutin tutkimuksen sähköpostikyselynä avovastauksin ja kävin läpi vastanneiden järjestöjen kotisivuja ja toimintakertomuksia. Valitsin 15 eri nuorisojärjestöä, jotka edustivat erilaisia järjestöjä, ja vastauksia sain kuudelta eri järjestöltä. Puolet vastaajista halusi pysyä anonyyminä.
Kysely antoi kuvan siitä, miten vaikutusten ja vaikuttavuuden arviointi, työkalut ja mittarit ymmärretään järjestökentällä. Vastausten analysoinnissa peilasin tuloksia Allianssin tekemään Selvitys nuorisotyöstä Suomessa -kyselyyn sekä Hyvän mitta.fi-sivustolla esitettyyn vaikuttavuusketjuun.
Löytyykö yhteisiä mittareita?
Mitä mittarointityökaluja on käytössä? Kahdella järjestöllä kuudesta on käytössä vaikuttavuuden arviointiin tarkoitettu työkalupakki. Toisella näistä järjestöistä on käytössä Pokka-arviointityökalu ja toisella järjestölle opinnäytetyönä räätälöity vaikutusten arvioinnin työkalupakki. Viisi järjestöä kuudesta ilmoitti arvioivansa systemaattisesti toimintansa vaikutuksia kyselyjen avulla. Kaksi järjestöä ilmoitti käyttävänsä jäsenrekisteriä, toimintasuunnitelmaa ja talouden seurantaa työkaluina. Kyselyn tuloksesta voi vetää johtopäätöksen, että vaikuttavuuden mittaamista ei aina nähdä laajana kokonaisuutena, vaikuttavuuden ketjuna.
Millaisia mittareita käytetään? Kaikki kuusi järjestöä ilmoittivat keräävänsä osallistujapalautetta, joten se on yleisimmin käytetty vaikutusten mittari. Myös tapahtumien määrää ja osallistujamäärää ilmoitti seuraavansa viisi järjestöä. Strategian toteutumista ilmoitti seuraavansa neljä järjestöä. Muita mittareita – kuten toiminnan ja talouden seurantaa, muuta vaikuttamistyötä sekä vertaisarviointia – ilmoitti käyttävänsä vain kaksi järjestöä. Hyvin todennäköisesti toimintaa seurataan, mutta sitä ei mielletä vaikuttavuuden mittariksi.
”Ilman kentän yhteisiä mittareita on mahdotonta arvioida yhdessä aikaansaatuja tuloksia ja vaikuttavuutta.”
Mitä mitataan? Kaikki kyselyyn vastanneet pitivät toimintaan osallistujien tyytyväisyyttä tärkeänä mitattavana asiana. Myös toiminnan määrää ja laajuutta mittasi viisi järjestöä. Osallistuneiden määrää seuraa myös viisi järjestöä. Nuorten toimijuuden vahvistumista seuraa kolme järjestöä. Näistä tärkeimpinä seurattavina asioina mainittiin opiskelu- ja työpaikan löytyminen.
Mitä halutaan saada aikaan? Viisi järjestöä ilmoitti tärkeimmäksi tavoitteeksi nuorten osallisuuden ja toimijuuden vahvistumisen, kaksi järjestöä nuorten kasvun ja kehityksen tukemisen. Viisi järjestöä oli sitä mieltä, että nuorisojärjestöjen kentällä on yhteisiä tavoitteita. Näistä tärkein on nuorten osallisuuden ja toimijuuden vahvistaminen ja nuorten harrastus- ja toimintamahdollisuuksien tukeminen. Näitä tavoitteita ei kuitenkaan vastaajien mukaan mitata yhdessä, mikä tarkoittaa sitä, että kentän vaikuttavuutta ei saada hyvin esiin.
Miten tuoda vaikuttavuutta näkyviin?
Vain yksi järjestö kuudesta näytti mieltävän vaikuttavuuden mittaamisen koko toiminnan ketjuksi ja tuo toimintansa vaikutukset selkeästi esiin. Useat järjestöt kertoivat tavoitteista ja tehdystä vaikuttamistyöstä, mutta eivät niiden tuloksista. Normaalia toiminnan seuraamista ei nähty vaikutusten arvioinnin työkaluna. Tärkeänä pidetyn osallisuuden vahvistumisen mittaamista pidettiin vaikeana mitata. Kyselyyn vastanneet aktivismin ja harrastustoiminnan järjestöjen toiminnan tavoite on joko harrastustoiminnan edistämisessä tai järjestön harjoittamassa aktivismissa.
Nuoret ovat mukana toiminnassa, mutta toiminnan vaikutuksia nuoriin ei arvioitu. Allianssin aikaisemmassa kyselyssä 32 järjestöä 35:stä ilmoitti mittaavansa vaikutuksia. Tämä kyselyn tulos tukee sitä. Se mitä työkaluja ja mittareita käytetään, vaihtelee kuitenkin paljon. Ilman kentän yhteisiä mittareita on mahdotonta arvioida yhdessä aikaansaatuja tuloksia ja vaikuttavuutta.
Tanja Malk
Blogin kirjoittaja on töissä Opintokeskus Siviksessä, opiskelijana Humakissa ja työharjoittelussa Kentaurissa.
tanja.malk@ok-sivis.fi