Eesti Teadusagentuur võõrustas EL eesistujana Euroopa TAI hindamiseksperte

10.-11. oktoobril korraldas Eesti Teadusagentuur Eesti EL eesistumise üritusena Euroopa Liidu teaduse ja tehnoloogia alase hindamise võrgustiku (EU RTD Evaluation Network =EUevalnet) koosoleku Tallinnas Park Inn by Radisson Central hotellis. EUevalnet on platvorm info ja heade tavade vahetamiseks hindamismetoodikaga seotud küsimustes, uurimisnäitajate kasutamisel ja teadusuuringute mõju mõõtmisel. Võrgustik on Euroopa Liidu raamprogrammi hindamise ja hindamise alaste teadusuuringute arutelu ja analüüsimise kontaktpunktiks. Võrgustik koosneb EL liikmesriikide, kandidaatriikide ja raamprogrammiga assotsieerunud riikide esindajatest.

Tallinnas arutati hetkel väga aktuaalset Horisont 2020 vahehindamise tulemuste temaatikat, samuti erinevate mõõdikute kasutamist TAI hindamisel. Traditsiooniliselt andsid osalejad ülevaate ka oma riigis toimuvast TAI hindamise alasest tegevusest.

Lähemalt paarist ettekandest.

Euroopa Komisjoni  esindaja Nelly Bruno  ettekanne H2020 vahehindamisest andis ülevaate esialgsetest tulemustest.

Hindamise üldine eesmärk oli jälgida raamprogrammi mõju. Võttes arvesse praeguseid Euroopa majanduslikke ja sotsiaalseid probleeme, on oluline maksimeerida liidu eelarve tõhusust, anda koha peal käegakatsutavaid tulemusi ja teavet.
Siiski tekitab teadusuuringute ja innovatsiooni (eelkõige raamprogrammide) mõju seire ja aruandlus üldiselt  mitmeid probleeme, näiteks:
a) projektide  riskitasemete muutumine; b) ajavahemik rahastamise ja mõju vahel; c) projektide positiivsed ja negatiivsed välismõjud; d) EL rahastamise mõju mainimine; e) sekkumise erinevad kontekstid jne.
Aluseks olid Horisont 2020 raames loodud peamised tulemusnäitajad (KPI), lisaks jälgiti horisontaalseid valdkondade vahelisi küsimusi nagu sooline võrdõiguslikkus, VKEde osalus jne.

Peamised kitsaskohad:

–          Kolm aastat on veel liiga lühike aeg tulemuste ja mõju mõõtmisel. Hindamise ajal on lõpule viidud väga vähesed projektid, mis moodustavad 0,6% seni eraldatud eelarvest
–          Andmete kättesaadavus ja tulemuste mõõdetavus. Enamus KPId keskenduvad sisenditele/väljunditele mitte tulemustele ja mõjudele, eriti sotsiaalse mõju jälgimise näitajate puudumisele; andmete kogumine toimub pärast projekti lõppu
–          Töökindlus. Tekkis andmete kvaliteedi küsimus (nt publikatsioonid ja patendid, mille kohta projektis osalejad annavad ise teavet erinevates programmi osades)
–          Andmete koondamine. Andmed pole alati kogu programmi ulatuses saadaval
–          Tulemuste võrdlemiseks puuduvad võrdlusalused ja eelnevalt määratletud eesmärgid

Mõju hindamiseks on välja pakutud järgmised printsiibid:

–          SMART: spetsiifiline, mõõdetav, saavutatav, asjakohane, ajastatud (Specific, Measurable, Achievable, Relevant, Time-Bound) ja RACER: asjakohane, aktsepteeritud, usaldusväärne, lihtne, vastupidav (Relevant, Accepted, Credible, Easy, Robust)
–          Kasutada ainult piiratud arv KPIsid (kõik näitajad ei ole KPId, seal on ka seireindikaatorid)
–          Laiemale  üldsusele  arusaadavad
–          Reaalajas saab jälgida lühiajalisi tulemusi, samuti pikaajalist mõju majandusele ja ühiskonnale
–          Projekti läbiviija koormust tuleks minimeerida; maksimaalselt tuleb kasutada väliseid infoallikaid
–          Tulemused ja mõjud peaksid olema jälgitavad ka peale projekti eluiga.

Vahehindamise tulemused on kättesaadavad: ec.europa.eu/research/evaluations/index_en.cfm?pg=h2020evaluation

Jack Spaapen Hollandi Kuninglikust kunstide ja teaduse akadeemiast (De Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) andis ülevaate ka raamprogrammis väga aktuaalsest teemast – kuidas hinnata humanitaarteaduste  kvaliteeti ja mõju.

Aluseks on Hollandi riiklik hindamisprotokoll SEP aastateks 2015-2021. Välja on töötatud mõõdikute skeem, kus distsiplinaarsed variatsioonid on võimalikud:

Hollandi humanitaarteaduste projektis keskenduti humanitaarteadustele sobivatele kvantitatiivsetele ja kvalitatiivsetele näitajatele. Teadusliku kvaliteedi osas olid selleks  ajakirjad, raamatud, kirjastajad, andmekogud (Google, Bing, Google Scholar, erialased andmebaasid (nt Nexis Lexis). Ühiskondlikku mõju puhul publik, tooted/väljundid, kommunikatsiooni mudelid; kvalitatiivsete mõõtmiste arendused (narratiivid, juhtumiuuringud). Juhised on kättesaadavad: https://www.qrih.nl/en/

Andrew Moloney, Enterprise Ireland andis ülevaate Iirimaal kasutatavast majandusliku hindamise mudelist, mis on kasutusel olnud juba alates 1970st.

Majandusliku hindamise mudelit (EAM) kasutatakse toetust andvate asutuste abistamiseks rahastusotsuste tegemisel. Taotlusi hinnatakse hindamismeetodite süsteemi abil. Selleks, et taotlus saaks rahastuse, peab kasu ja kulu suhe olema suurem kui 1:1. Mudel peab tuvastama, kas asutuste konkreetsed toetused saavad tõenäoliselt majanduslikku kasu, mis ületab kulusid  ja tagab, et riik saab kasu. Mudelis on järgmised parameetrid: a) toetuse kandevõime–  näitab, millises ulatuses oleks toetust saav  ettevõte Iirimaal niikuinii välja arenenud; b) avaliku sektori rahastuse varjatud kahju – täiendav maksustamine toetuste rahastamiseks mõjutab majandustegevust moonutavalt; c) varitasud – võimalus kontod piirkonniti ümber paigutada; e) diskontomäär ja –risk – kahandab jooksevkulude eeliseid  võrreldes maksumusega  jooksevhindades; f) sotsiaalmaksud süsinikule – kulutused ühiskonnale süsinikdioksiidi heitkoguste suurendamiseks; g) palga maksumäär – palgakulude protsent riigi majanduslikust kasust (35%).

Koosoleku lõpus toimus grupitöö, kus püüti lahata teadusliku, sotsiaalse ning majandusliku mõju hindamise aspekte. Alusmaterjaliks oli  ERAC Ad-hoc töögrupi (kus ka allakirjutanul oli au osaleda) raport  „Measuring the Impacts at National Level of the participation in EU FPs“

Ülle Must
Eesti Teadusagentuur, EU Evalnet liige