Quo vadis, tõendus?

---

Termin „tõendus“ on nüüdseks ligikaudu 30 aasta vana. Kui Sackett ja kolleegid (vt nt Sackett jt 1996) „tõenduspõhise meditsiini“ termini kasutusele võtsid, siis vaevalt oskasid nad ette kujutada, milline pöördeline valdkondadeülene areng sellest algab. Nende aastatega on muutunud nii mõndagi.

• Tõenduse ja selle kaudu ka tõenduspõhise praktika ja poliitika mõiste on muutunud ühest küljest rangemaks (nt on arendatud tõenduse standardeid) ja teisest küljest laialivalguvamaks: mis tahes uurimistulemusi on hakatud nimetama tõenduseks.
• Tõenduse pakkumine ja nõudlus on märkimisväärselt suurenenud, kuid mitte ilmtingimata käsikäes: tõenduse pakkumise osas on toimunud hüppeline kasv, nõudlus aga on oluliselt tagasihoidlikum.
• Tõendust on järjepidevalt institutsionaliseeritud ehk on juurutatud formaliseeritud käitumismudeleid, mis on seotud tõenduse loomise ja kasutamisega poliitiliste ja praktiliste otsuste langetamisel.

Tõenduse ja tõenduspõhise praktika võidukäik pole lõppenud. Vastupidi, muutused jätkuvad ja on suisa vajalikud, sest tõenduse arengu iga etapp on lisaks edusammudele esile toonud ka uusi probleeme. Need tuleb lahendada.

Selle artikli eesmärk on heita tagasivaatav pilk tõenduse revolutsiooni neljale lainele ja peatuda veidi pikemalt probleemidel, mis tõenduse praegust olukorda ilmestavad ning on tõenduse tuleviku suunanäitajad.

Tõenduse võidukäik

Tõendust ja tõenduspõhist praktikat ning poliitikat käsitlevas kirjanduses räägitakse sageli mitmest tõenduse revolutsiooni lainest (vt White 2019 ja 2022).

Tõenduse esimeseks laineks peetakse 1990. aastatel inglise keelt kõnelevates riikides ja Skandinaavias alanud avaliku halduse nn tulemuste kava (ingl results agenda), mille raames hakati valitsusasutusi vastutustele võtma nende tegevuse laiaulatuslike tagajärgede eest, nagu näiteks töötuse ja vaesuse suurenemine. Märkimisväärne pööre oli üleminek sisendipõhiselt (nt kui palju raha kulutati) väljundipõhisele tulemuslikkuse hindamisele. Sisendile ja väljundile keskendumine oli 1990. aastate lõpus ja 2000. aastate alguses ka Eestis tulemuslikkuse hindamise levinud viis. Ka paljud rahastajad nõudsid erisuguste projektide elluviimiseks rahalist toetust saanud organisatsioonidelt aruandmist, mis tugines sellele põhimõttele.

Töötasin 2000. aastatel ühes mittetulundusühingus, mis täidab omas valdkonnas olulist rolli. Mäletan, kuidas rahastajatele mõeldud rahastuse kasutuse ning elluviidud projektide tulemuslikkuse näitajatena kasutati näiteks teatava summa eest korraldatud koolituste arvu, koolitusel osalenud spetsialistide arvu ja sekka koolitusele saadud tagasisidet ning see vastas igati tolle aja nii-öelda standarditele.

Tõenduse esimene laine

Tõenduse esimese lainega käsikäes töötati välja erinevaid tulemuslikkust väljendavaid näitajaid (nt Carvalho ja White 1994). Paremate tulemusnäitajate väljatöötamine tõi kaasa aga selle, et asutuste tegevuse tulemuslikkust sai võrrelda. Nagu ülaltoodust aimata oli, osutus peamiseks kitsaskohaks aga asjaolu, et saadud tulemusi ei olnud tegelikult võimalik siduda erinevate asutuste toimimise tulemuslikkusega. Kitsaskoha leevendamiseks kerkisid esiplaanile loogikamudelid ja muutuste teooria, aga ka sekkumiste mõju hindamine (ingl impact evaluation).

Paremate tulemusnäitajate väljatöötamine võimaldas asutuste tegevuse tulemuslikkust võrrelda.

Tõenduse teine laine

Tõenduse teise laine keskmeks sai ülaltoodust lähtuvalt mõju hindamiste märkimisväärne kasv. Juhuslikustatud kontrolluuringud (JuKU, ingl randomised controlled trials) polnud iseenesest midagi uut, kuid 2000. aastate algusest on avaldatud JuKU-de ja teiste võrdlusgrupiga mõju-uuringute arv järsult suurenenud. Näiteks avaldati varastel 2000. aastatel haridusvaldkonnas umbes kümme JuKU-t aastas, kuid aastaks 2012 juba üle saja JuKU aastas (Connolly jt 2018). Sotsiaaltöö valdkonnas oli avaldatud mõju-uuringute arv 2000. aastate alguses sarnane haridusvaldkonnaga, kuid kasvas vähemalt 50 mõju-uuringuni aastas 2012. aastaks (Thyer 2015). Oli valdkondi, kus mõju-uuringute arvu kasv oli veelgi suurem. Näiteks rahvusvahelise arenguabi valdkonnas liikus aastas avaldatavate mõju-uuringute arv vähem kui 50 avaldatud uuringult 2003. aastal 500 uuringuni aastas 2012. aastal (White 2019). See mõju-uuringute võidukäigu laine viis valdkondadeülese tõdemuseni, et umbes 80% sekkumistest „ei tööta“, mis omakorda viitab mõju-uuringute kulutõhususele. Nimelt, kui ei teata, milline on sekkumiste mõju, on oht, et niigi piiratud vahendid kulutatakse laiaulatuslikult algatustele, millel pole mõju.

Tõenduse teine laine tõi kaasa mõju hindamiste märkimisväärne kasvu.

Eestis leidis tõenduspõhine sotsiaaltöö ja üldisem praktika üha enam kõlapinda ning JuKU-de üha suurenev arv tõi mõju-uuringud ja nende uuringute tulemused nii praktikute kui ka avalike teenistujate huviorbiiti (vt nt Edovald 2006). Tagasiside tõenduspõhise praktika termini kohta oli vastandlik. Minu isiklik kogemus selle tutvustajana näitas, et suurim huvi mõju-uuringute ja tõenduse vastu oli ennekõike üksikutel riigiametnikel. Kõige kättesaamatum näis aga tõenduspõhise praktika termin ennekõike nendele, kes abivajajatega päevast päeva – ja sealjuures suure südamega – rohujuuretasandil tööd tegid. Vastakaid vaateid kogesin ka akadeemilises ringkonnas, kus mõju-uuringud ja tõendus näisid inspireerivat mõningaid haridus- ja poliitikateadlasi ning neid, kes viljelesid uurimistööd psühholoogia ja kriminoloogia vallas. Sotsiaaltöö valdkonna teadlaste seas võis aga kohati tunda vastuseisu. Otse loomulikult polnud selles midagi isiklikku, pigem illustreerisid vastandlikud arusaamad tüüpilisi maailmavaatelisi erinevusi ja seda, milline oli valdkondade paradigmaatiline alus ning domineerivad teoreetilised mudelid. Olgu siinkohal mainitud, et tõenduse ja sotsiaaltöövaldkonna suhe on alati olnud pisut konarlik (vt nt Bellamy jt 2006; Adams jt 2009) ning vaatamata sellele, et suhtumine on märkimisväärselt muutunud, on tõenduspõhise praktika õpe sotsiaalvaldkonnas jätkuvalt oodatust tagasihoidlikum (nt Spensberger jt 2020).

Tõenduse kolmas laine

Rahvusvaheliselt tähendas mõju-uuringute õitseng varasemast märksa rikkalikumat tõenduse genereerimist, kuid mida rohkem tehakse üksikuid mõju-uuringuid, seda raskem on saada neist ülevaadet. Nendel, kes otsuseid teevad, ei ole aega ega tihti võimalust akadeemilisi artikleid lugeda. Sageli võib juhtuda, et tõenduse sõelale jäävad pigem mis tahes põhjusel kõrgelt hinnatud mõju-uuringute tulemused. Need võivad aga ekslikuks osutuda, mistõttu on üksikutele uuringutele riskantne tugineda. Vajadus tugineda tõenduse kogumile ja sünteesida olemasolevat tõendust, osutuski tõenduse kolmanda laine võidukäigu jõuallikaks – see on süsteemsete ülevaadete tõus, mis on viimasel enam kui aastakümnel jõuliselt domineerinud. Jällegi, 2008. aasta paiku alanud laine levis valdkondadeüleselt. Näiteks White’i (2019) andmete kohaselt avaldati 1990. aastatel sotsiaalpoliitika valdkonnas keskmiselt 25 süsteemset ülevaadet aastas, see arv kasvas 2016. aastaks 230 avaldatud ülevaateni aastas; rahvusvahelise arengu valdkonnas liiguti 2008. aastal paarilt süsteemselt ülevaatelt aastas enam kui 100 avaldatud ülevaateni aastas 2016. aastaks; haridusvaldkonnas liiguti 2000. aastate lõpus umbes 20 ülevaatelt aastas enam kui 200 ülevaateni aastaks 2018.

Süsteemsed ülevaated jäävad sageli lõppkasutaja (nt poliitikakujundaja) jaoks nn maksuseina taha.

Olgugi et süsteemsete ülevaadete produktsioon Eestis 2010. aastal nii-öelda tuld ei võtnud, kujunes tõendus eri valdkondades üsna tavapäraseks terminiks ja tõenduspõhisuse printsiibid leidsid tee strateegilistesse dokumentidesse, nagu näiteks „Laste ja perede arengukava 2012–2020“ (vt ka Edovald 2011). See küll ei tähendanud ilmtingimata kannapööret praktikas, kuid kindlasti seadis ootused muutustele rahastusotsuste tegemisel ja ka igapäevases töös. Samuti käivitati psühhosotsiaalsete sekkumiste vallas esimesed JuKU-d, nagu näiteks 2013. aastal alustatud kiusamisvastase programmi (KiVa) kohandamise ja katsetamise projekt Eestis, mille raames korraldati tagasihoidliku valimiga klaster-JuKU (Treial 2016).

Aastatel 2016–2018 tehti Eesti koolides kaks aastat kestnud uuring, mille raames rakendati JuKU põhimõtteid VEPA (lühend väljendist „veel paremaks“) käitumisoskuste mängu metoodika mõju hindamiseks (vt VEPA uuringute ülevaade). Nimetatud uuringute korraldamine näitas, et JuKU-de tegemine võib küll olla keeruline, kuid on siiski võimalik[1]. Samal ajal võis täheldada ikka mõtteviisi, mille kohaselt seostati tõendust ja mõju-uuringuid võõrsil välja töötatud ja testitud sekkumisprogrammidega. Tõenduspõhiste sekkumiste arendamise printsiibid ja tõenduse kvaliteedi parandamiseks vajalik uurimistöö näisid kodumaiste sekkumiste arendajatele kauged ning kättesaamatud.

Süsteemsete rahvusvaheliste ülevaadete võidukäik viis tõenduse usaldusväärsuse uuele tasemele ja suurenes ka teadlaste tehniline võimekus selliseid ülevaateid koostada. Ühtlasi arendati ja lihviti süsteemsete ülevaadete metodoloogiat. Ilmnes aga ka uus probleem. Nimelt jäävad süsteemsed ülevaated lõppkasutaja (nt poliitikakujundaja) jaoks nn maksuseina taha, sest valdavalt on ligipääs akadeemilistele artiklitele tasu eest saadava liikmelisuse või ühekordse ligipääsu alusel. Veelgi enam, süsteemsed ülevaated on sageli mahukad tehnilised dokumendid ja seetõttu jäävad need lõppkasutajale sageli ka tehniliselt ligipääsmatuks ning vahel ka poliitikakujunduse, praktika ja (investeerimis)otsuste tegemise seisukohalt raskesti interpreteeritavaks.

Tõenduse neljas laine

See probleem andis tõuke tõenduse neljanda laine tulemiseks, mille keskmeks kujunes teadmiste vahendamine (ingl knowledge brokering). Seda neljandat ja praegu kestvat lainet nimetatakse ka tõendus 2.0 ajastuks. Tõendus 1.0 keskendus peaasjalikult tõenduse produtseerimisele, kuid neljanda laine ja tõenduse 2.0 eesmärk on sisuliselt juurutada tõenduse kasutamist poliitikas ja praktikas. Selleks on erinevaid võimalusi. Näiteks Põhjamaadele iseloomulik käsitlus kätkeb riiklikult rahastatud teadmiste vahendamise keskusi, mis töötavad koos riigiasutustega. Inglise keelt kõnelevates riikides aga on aluseks võetud mis-töötab liikumine, mille raames on tähelepanu keskmes teadmisi kätkevate toodete produtseerimine. Mõlemal käsitlusel on oma eelised olenevalt sihtgruppidest ja rahastusmudelitest.

Tõendus 2.0 kätkeb esilekerkivat tõenduse viiendat lainet, mis sisaldab tehnoloogia rolli tõenduse genereerimisel.

Ka Eesti surfab otsapidi tõenduse revolutsiooni neljandal lainel. Üks illustreeriv näide tõenduse määratlemise maastikul on 2021. aastal moodustatud ennetuse teadusnõukogu, mis eksperdikoguna analüüsib ennetustegevuse mõju tõendatust ja seisab tulemusliku ennetuse eest. Ennetustegevuse tõendatuse taset hakati hindama 2022. aastal, kui töötati välja Eestile sobiv tõendussüsteem, tuginedes välismaal välja töötatud ja rakendatud süsteemidele. See on üles ehitatud tõenduse arengujoone põhimõttel, mille kohasel jääb madalamatele tasemetele arendusjärgus ennetustegevus ja kõrgematele rangema tõendusega tegevus (vt lisaks Joamets ja Streimann 2023). Sedalaadi süsteemi tutvustamine on normaliseerinud ka idee, et rangelt hinnatud mõju tasemeni jõudmiseks tuleb arenguliselt mitu verstaposti läbida, sest innovaatilisest ideest järjepidevalt sarnast mõju genereeriva sekkumiseni jõuab harva paari kiire sammu ja lineaarse teekonnaga. Selleks aga, et mõju saavutada, on vaja asjatundlike rahastajate, sekkumiste pädevate arendajate ja võimekate hindamisuuringute tegijate sihtpärast koostööd.

Üldiselt on tõenduse neljas laine pakkunud uusi õppetunde. Esiteks, ainuüksi tõenduse esitlemine ei taga, et sellega arvestatakse otsustamisel või et see rakendub praktikas. Teisisõnu, ainult pakkumisest ei piisa, vaja on ka suuremat nõudlust. See omakorda on toonud investeeringuid, et tasakaalustada pakkumine ja nõudlus ning toetada tõenduse kasutamist (White 2019). Teiseks, tõenduse vahendamine ja tõenduse tõlkimine (ingl knowledge translation) on pisut erineva tähendusega. Vahendamine on sageli tõenduse esitamine, näiteks võimalikult informatiivse, kuid kergesti arusaadava infograafikaga, kuid tõenduse tõlkimist seostatakse interneti interaktiivsete andmebaasidega, nt Suurbritannias tegutseva Education Endowment Foundationi (EEF) teaching and learning toolkit ehk hariduse sihtkapitali õppimise ja õpetamise tööriistakomplekt. Kolmandaks, pakkumise ja nõudluse tasakaalustamiseks ning tõenduse efektiivseks rakendamiseks on vaja tõenduse pakkumise ja nõudluse erinevaid aspekte edasi arendada ja teha investeeringuid kõigis valdkondades.

Mis suunas edasi?

Nagu ülaltoodust nähtub, on vaja tõendus 2.0-i edasi arendada. Tõendust on meil üksjagu, kuid saavutamata on eesmärk tõendus standardida, koondada, tuletada, rakendada ja prognoosivate otsuste tegemiseks kasutada. Praegu pole meil tõenduse ja andmete ühtlustatud terminoloogiat. Andmed ei ole sageli kodeeritud standardkujul ja puudub ühtne mõju taksonoomia. Sotsiaalteaduslikule uurimistööle kuluks ära mõjuindeks. Siinkohal saab inspiratsioonina kasutada Google’i veebi- ja alamlehtede indekseerimist. See on protsess, mille abil Google’i otsingumootor kogub, analüüsib ja salvestab veebilehtede teavet.

Abiks oleks ka see, kui suureneks andmete (sh finantsandmete) läbipaistvus. Valitsustele avab see ühtlasi võimaluse suurendada usaldust valitsusasutuste, andmete ja tõenduse vastu ning olemasolevaid vahendeid kasutades üldsusega paremini suhelda. Selline andmete nn demokratiseerimine võiks toimuda valdkonnaüleselt. Paljudes riikides on selle alustalad omal moel juba loodud (nt Ameerika Ühendriikides The Foundations of Evidence-Based Policy Making Act 2018 ja The Financial Data Transparency Act 2022). Tõenduse ja andmete läbipaistvuse suurendamisega tasub kiirustada, sest tehisintellekti (ingl artifical intelligence või AI) kiire areng võib viia olukorrani, et AI hangib vähegi võimalikke andmeid ning toodab väärinfot ja segadust, mida oleks hea kõigi huvides vältida.

Tõendus 2.0 kätkeb esilekerkivat tõenduse viiendat lainet, mis sisaldab tehnoloogia rolli tõenduse genereerimisel. AI, masinõpe (ingl machine learning) ja suurandmed (ingl big data) on juba praegu tõenduse loomisel väga olulised: andmekogumisel (nt satelliidi- või terviseandmed, mis kogutakse nutiseadmete abil, nagu Apple iWatch), süsteemsete ülevaadete genereerimisel (nt EPPI Reviewer’i tarkvara tugineb masinõppele).

Algoritmide kasutamine uuringute skriiningul ja andmete uuendamisel ei ole nüüdseks uus praktika. Tehnoloogia toob kaasa võimaluse parandada tõenduse sünteesimise kiirust ja täpsust. See aga on medali vaid üks külg. Riskianalüüse pole mõtet vaiba alla lükata, sest masinad on ainult nii targad nagu inimesed, kellelt need õpivad. Tuleb olla ettevaatlik järelduste tegemisel, kui põhjuslike ja vastastikuste seoste piirid muutuvad näiteks suurandmete analüüsimisel häguseks. Masinõppe ja tehisintellekti kasutamine toob samuti kaasa suure hulga andmete kogumise inimeste ja nende käitumise kohta. Andmete töötlemine, kaitse ja privaatsusnõuete järgimine on väga tähtis, nende lekkimine on vaja välistada. Kindlasti kerkivad ka eetilisusega seotud küsimused. Seega, tehnoloogia kasutusega kaasnevad ohud ja nende ennetamine ning maandamine kujuneb tõenduse viienda laine üheks probleemiks.

Teadmiste vahendamine peaks muutuma tõhusamaks, selleks tuleks tõendus paremini siduda rahastamisega. Aastatega on suudetud toota üksjagu tõendust erinevate sekkumiste efektiivsuse kohta, kuid ikka on keeruline võrrelda sekkumisi kulu ja tulu alusel ehk mida saab vastu sekkumisse investeeritud iga euro eest, kui tulemused nii-öelda ühikuteks jagada. Mõju parem sidumine rahaliste stiimulitega (nt sotsiaalse või ühiskondliku mõju võlakirjad[2], ingl social impact bonds) aitaks kaasa ratsionaalsemate investeerimisotsuste tegemisele.

Lõppsõna

Tõendus on tulutoov investeering. Kasu saavad sellest rahastajad, riigitegelased, praktikud ja ennekõike muidugi inimesed, kellele sekkumised ning programmid on suunatud. Kui suurem osa sekkumisi ei toimi ja enamiku sekkumiste mõju ei hinnata, siis võib nende elluviimiseks kulutatud raha kergesti osutuda raha tuulde lennutamiseks. Piiratud vahendite ja valeinfo laialdase leviku olukorras saab tõendusest ja selle kasutamisest ainult võita.

Artikkel ilmus ajakirjas Sotsiaaltöö 1/2024.

---

[1] JuKU-sid ei saa kõigi sekkumiste korral ega kõigis olukordades rakendada. See arutelu aga jääb artikli põhiteemast väljapoole.

[2] Sotsiaalse või ühiskondliku mõju võlakirjadest on kirjutanud oma blogis Heateo Sihtasutus.

Viidatud allikad

Adams, K. B., Matto, H. C., Lecroy, C. W. (2009). Limitations of Evidence-Based Practice for Social Work Education: Unpacking the Complexity. Journal of Social Work Education, 45(2), 165–183. doi:10.5175/JSWE.2009.200700105

Bellamy, J. L., Bledsoe, S. E., Traube, D. E. (2006). The Current State of Evidence-Based Practice in Social Work: A Review of the Literature and Qualitative Analysis of Expert Interviews. Journal of Evidence-based Social Work, 3(1), 23–48. doi:10.1300/J394v03n01_02

Carvalho S., White, H. (1994). Indicators for poverty reduction. World Bank Discussion Paper, 254. World Bank, Washington D. C.

Connolly, P., Keenan, C., Urbanska, K. (2018). The trials of evidence-based practice in education: A systematic review of randomised controlled trials in education research 1980–2016. Educational Research, 60(3), 276–291. doi:10.1080/00131881.2018.1493353

Edovald, T. (2006). Kuriteoennetus töös erikooli suunatud alaealiste õigusrikkujatega. Sotsiaaltöö, 4, 52–57.

Edovald, T. (2011). Ennetusöö ja tõenduspõhised sekkumised laste ja perede arengukava kontekstis. Sotsiaaltöö, 4, 8–11.

Joamets, R., Streimann, K. (2023). Kellele ja milleks on vaja ennetuse teadusnõukogu? Sotsiaaltöö, 3, 82–87.

Sackett, D. L., Rosenberg, W. M., Gray, J. A., Haynes, R. B., Richardson, W. S. (1996). Evidence-based medicine: What it is and what it isn't. British Medical Journal, 312(7023), 71–72. doi:10.1136/bmj.312.7023.71

Spensberger, F., Kollar, I., Gambrill, E., Ghanem, C., Pankofer, S. (2029). How to Teach Evidence-Based Practice in Social Work: A Systematic Review. Journal of Social Work Education, 30(1), 19–39. doi:10.1177/1049731519852150

Thyer, B. (2015). A Bibliography of randomized controlled experiments in social work (1949–2013). Research on Social Work Practice, 25(7), 753–793. doi:10.1177/1049731515599174

Treial, K. (2016). KiVa kiusamisvastase programmi prooviuuring Eestis: kaheaastase klasterrandomiseeritud kontrollkatse tulemused. Eesti Haridusteaduste Ajakiri, 4(2), 191–222. doi:10.12697/eha.2016.4.2.08

White, H. (2019). The twenty-first century experimenting society: the four waves of the evidence revolution. Palgrave Communications: Humanities and Social Sciences Communications, 5(47). doi:10.1057/s41599-019-0253-6

White, H. (2022). The unfinished evidence revolution: riding the five waves. CEDIL Methods Working Paper 8. London/Oxford: Centre of Excellence for Development Impact and Learning (CEDIL). doi:10.51744/CMWP8