Arviointi
Hankkeen tulosten ja vaikutusten arvioimiseksi sekä palveluiden jatkokehittämisen helpottamiseksi hankkeeseen on integroitu kattavasti seurannan ja arvioinnin keinoja. Nämä mahdollistavat järjestelmällisen ja luotettavan tiedon keruun ja analysoinnin hankkeen toiminnoista. Hankkeen seuranta- ja arviointityö koostuu kolmesta toisiaan tukevasta osa-alueesta:
- Vaikuttavuusarviointi, jonka tekevät hanketoimijat Elinkeinoelämän tutkimuslaitos (Etla) ja Työn ja talouden tutkimus Labore. Etla ja Labore arvioivat hankkeen tuloksellisuutta ja vaikutuksia satunnaistetun vertailukokeen menetelmin.
- Itsearviointi, jota on toteutettu sisäisesti hankkeessa monipuolisesti muun muassa erilaisten palautekyselyiden ja -haastatteluiden, artikkeleiden ja kirjoitusten muodossa. Tässä hankkeen sisäisessä seurannassa ja arvioinnissa (M&E) on tarkasteltu palveluiden tuloksellisuutta ja vaikutuksia koeryhmään.
- Ulkoinen loppuarviointi, joka keskittyy tiettyihin näkökulmiin ennalta määriteltyjen arviointikriteerien mukaisesti täydentäen vaikuttavuusarviointia ja itsearviointia.
Vaikuttavuusarviointi
Urbaania kasvua Vantaa -hankkeessa on kiinnitetty erityistä huomiota tulosten mittaamiseen ja arviointiin. Sisäisen ja ulkoisen arvioinnin lisäksi hankkeessa toteutettiin vaikuttavuusarviointi, josta olivat vastuussa tutkimuslaitokset Etla ja Labore. Vaikuttavuusarviointi keskittyi hankkeessa luotujen palvelu- ja kannustinmallien vaikuttavuuteen ja se toteutettiin satunnaistettuna kontrolloituna tutkimuksena.
Vaikuttavuusarviointia suunnitellessa on pohdittava, miten hankkeen tulokset voidaan erottaa normaalin alueellisen kehityksen vaikutuksista ja miten varmistetaan, ettei kohderyhmän valikoituminen vaikuta tuloksiin. On esimerkiksi mahdollista, että kaikkein motivoituneimmat ja parhaiten menestyvät yritykset ja yksilöt osallistuvat palveluihin, ja hyvät tulokset voivat johtua tästä lähtöasetelmasta. Urbaania kasvua Vantaa -hankkeessa näihin haasteisiin pyrittiin vastaamaan vertailemalla hankkeen osallistujia satunnaisesti valikoituun kontrolliryhmään.
Kohderyhmään kuuluvat vantaalaiset yritykset jaettiin koe- ja kontrolliryhmään. Vain koeryhmään kuuluville yrityksille tarjottiin hankkeen palveluita. Ryhmät olivat keskimäärin samankaltaisia, ja näin saatiin luotettavaa tietoa hankkeen palveluiden vaikutuksista. Arvioinnissa käytettiin sekä tilastollista että kyselyaineistoa.
Urbaania kasvua Vantaa -hankkeessa vaikuttavuusarvioinnista vastaavat tutkijat Hannu Karhunen (KTT) Laboresta ja Hanna Virtanen (KTT) Elinkeinoelämän tutkimuslaitoksesta.
Itsearviointi
Hankkeen sisäisessä arvioinnissa tarkastellaan palveluiden onnistumista, tuloksellisuutta ja vaikutuksia koeryhmään, eli hankkeen palveluihin osallistuneisiin yrityksiin ja yksilöihin. Tarkoituksena on tuottaa tietoa siitä, miten hankkeen palvelujen muotoilu on onnistunut, mitä hyötyä palveluista on ollut yrityksille ja yksilöille sekä mitä myönteisiä muutoksia palveluilla on saatu aikaan. Arviointia varten on toteutettu palautekyselyjä ja -haastatteluja hankkeen kohderyhmälle. Lisäksi on toteutettu hankkeen sisäisiä haastatteluja ja työpajoja itsearvioinnin syventämiseksi.
Kasvudiili 1:
Kasvudiili 2:
Kasvudiili 3:
Ulkoinen arviointi
Ulkoisen loppuarvioinnin tarkoituksena oli tuottaa riippumatonta tietoa hankkeen tarkoituksenmukaisuudesta, tuloksellisuudesta, tehokkuudesta, jatkuvuudesta ja vaikutuksista. Ulkoiselle arviointiprosessille oli asetettu kaksi tavoitetta:
- Tuottaa riippumatonta arviointia käyttämällä ennalta määriteltyjä kriteereitä (tarkoituksenmukaisuus, tuloksellisuus, tehokkuus ja vaikutukset).
- Tuottaa aineistoon pohjautuvia ehdotuksia ja suosituksia lähtökohdaksi toiminnan jatkuvuudelle, toistettavuudelle ja skaalaukselle.
Arvioinnin toteutti keväällä 2022 MDI. Tutustu: