HulpgeldenOnderzoek

Er valt nog veel te leren over ontwikkelingswerk

Hulpproject in Burundi van Red een Kind. Beeld Red een Kind
Hulpproject in Burundi van Red een Kind.Beeld Red een Kind

De overheid moet veel beter onderzoeken of projecten voor ontwikkelingshulp effectief zijn, stellen zestien wetenschappers. Nu blijft het bij gissen en schatten, en daar is niemand bij gebaat.

Hoe zou het gaan met die 1,3 miljoen familiebedrijven in Ethiopië die in 2019 hebben geprofiteerd van Nederlandse programma’s voor landbouwontwikkeling? Geprofiteerd – ze hebben er dus baat bij gehad. Zo staat het op de overheidswebsite osresultaten.nl, met de resultaten van ontwikkelingswerk per land. Hoe het met de Ethiopische boeren gaat is een lastige vraag, nog los van de corona en het gewapende conflict dat vorig jaar uitbrak in het land.

Hebben ze een grotere oogst en maken ze meer winst? Of verdient de tussenhandel aan wat zij extra verbouwen? En hoe zit het met de boeren die níet hebben meegedaan aan de Nederlandse hulpprogramma’s, zit er verschil tussen beide groepen? Om te weten of de ontwikkelingsprojecten hebben geholpen, zou je nog eens terug moeten gaan naar de boerenfamilies, maar zoiets gebeurt eigenlijk nooit. Het aantal van 1,3 miljoen dient vooral ter verantwoording van de uitgaven. Het is een boekhoudkundig resultaat, niet de uitkomst van onderzoek.

Om de effectiviteit van een ontwikkelingsproject te meten, hebben wetenschappers een beginmeting en een eindmeting nodig. Ook moet er een controlegroep zijn van mensen die geen hulp krijgen. Want anders kunnen er andere redenen zijn waardoor boeren beter presteren, zoals hogere marktprijzen of beter weer. Toeval of externe factoren sluit je het liefste uit, zodat je zeker weet dat een hulpproject werkt. Of niet werkt, maar dan kun je de methode verbeteren en opnieuw testen. Zo wordt het beleid steeds effectiever.

Er wordt nauwelijks van geleerd

“Eigenlijk weten we nog maar nauwelijks welke ontwikkelingshulp werkt”, zegt Mark Treurniet, ontwikkelingseconoom aan Wageningen Universiteit. Met vijftien collega’s van negen universiteiten en het Tropeninstituut publiceert hij donderdag een artikel over het Nederlandse ontwikkelingsbeleid in het economische vaktijdschrift ESB. De boodschap is dat ontwikkelingsprojecten niet goed worden geëvalueerd. Er wordt nauwelijks van geleerd en dat moet veranderen.

Regelmatig zijn projecten al begonnen voordat wetenschappers een beginmeting hebben kunnen doen, zegt Treurniet. Maar als je niet weet wat het inkomen of de oogst is aan het begin van het programma, kun je aan het eind de vooruitgang niet meten. Verder worden projecten niet verlengd als er een andere politieke wind gaat waaien. Een nieuwe minister kiest voor andere ontwikkelingslanden dan haar voorganger, bijvoorbeeld omdat migratie een belangrijk thema is geworden in Europa. Treurniet: “Of omdat projecten opeens moeten aansluiten bij het Nederlandse bedrijfsleven. Zonder te weten of dat werkt voor ontwikkelingslanden.”

Spaargroepen zijn een bewezen hulpmethode. Beeld Qroost Beeldmakers
Spaargroepen zijn een bewezen hulpmethode.Beeld Qroost Beeldmakers

“Het ontwikkelingsbeleid is al door allerlei zaken bepaald. Niet altijd in eerste instantie door de vraag: wat werkt er nou het best? We lopen allerlei trends achterna. Dan focussen we hierop, dan weer daarop. Zonder eigenlijk te weten of dat nou wel effectief is”, zegt Robert Lensink, hoogleraar financiering en ontwikkeling aan de Rijksuniversiteit Groningen. Het ontbreekt aan een leercultuur bij het ministerie van buitenlandse zaken, vinden Treurniet en Lensink. Evaluaties moeten te snel worden afgerond om de Tweede Kamer te kunnen vertellen hoe het geld is besteed.

Jaarlijks gaat het om 2 miljard euro aan ontwikkelingsprogramma’s. De wetenschappers hebben het niet over noodhulp, bij hongersnood of overstromingen, maar over ontwikkelingsprojecten die zwakke landen helpen opkrabbelen. Die armoede moeten verlichten, jongeren aan werk helpen, boeren helpen hun familie te onderhouden, de sociale samenhang versterken en migratie naar Europa voorkomen.

Onderzoeksterrein vol gaten

Dat het onderzoeksterrein van het ontwikkelingswerk vol gaten zit, blijkt ook uit het werk van de internationale onderzoeksorganisatie 3ie, oftewel International Initiative for Impact Evaluation. Die houdt alle onderzoeken streng tegen het licht. Volgens 3ie is er bijvoorbeeld geen deugdelijk onderzoek naar de vraag of boeren na een ontwikkelingsproject meer winst maken.

Al eerder trok de onafhankelijke evaluatiedienst van het Nederlandse ministerie van buitenlandse zaken, IOB, vergelijkbare conclusies. Bij de evaluatie van het ontwikkelingsbeleid gericht op voedselzekerheid merkte IOB in 2017 op dat kwalitatief goede evaluatiestudies schaars waren. Dat maakte het moeilijk om te beoordelen of het geld tussen 2012 en 2016 goed besteed was.

In de evaluatie Minder Pretentie, Meer Realisme (2019) schreef IOB verder dat de hulporganisaties hun resultaten te rooskleurig voorstelden. “De druk om resultaten te rapporteren stimuleerde het aandikken van behaalde resultaten.” De uiteindelijke optelsom – bijvoorbeeld dat 1,3 miljoen mensen hebben geprofiteerd van een landbouwproject – zegt weinig over de praktijk en hoe het beter kan.

Zorg voor een leercultuur, schreef IOB, waarbij tegenvallende resultaten niet meteen politieke gevolgen hebben. Het ministerie doet te weinig met dit advies, vinden de Nederlandse wetenschappers.

‘Blijf altijd meten’

‘Lerend evalueren’ krijgt ook meer aandacht dankzij de Franse Nobelprijswinnares Esther Duflo. Zij vertelde in haar dankrede in 2019 in Stockholm hoe lastig het was geweest om te bewijzen of microkredieten (leningen aan arme mensen) effect hebben, en bij welke groep dan precies. Ook bij ontwikkelingsprojecten gericht op het onderwijs in India waren uitgebreide testen nodig. De aanpassingen in het onderwijssysteem werkten eerst niet, bijvoorbeeld doordat leraren niet deden wat de hulpverleners verwachtten. Zo’n proces kan vele jaren duren, ook omdat een succesvol proefproject geen garantie is voor succes op grotere schaal. Blijf daarom altijd meten, benadrukte Duflo, en gebruik een controlegroep.

“Denk erom dat daar wel ethische vragen bij komen kijken”, zegt Petra Kuipers, programmacoördinator bij hulporganisatie Red een Kind. “Je zult maar in Zuid-Soedan wonen en bij een ontwikkelingsproject in zo’n controlegroep belanden. Iemand komt je scores meten en hij gaat weer. Wat is je verhaal aan deze mensen, die wel bij het onderzoek worden betrokken, maar niet meteen hulp krijgen?”

Jongeren in Burundi leren hun eigen geld te verdienen, bijvoorbeeld met het repareren van motoren. Beeld Erwin Alejo
Jongeren in Burundi leren hun eigen geld te verdienen, bijvoorbeeld met het repareren van motoren.Beeld Erwin Alejo

Volgens Kuipers is het belangrijk om wetenschappelijk te onderzoeken of een ontwikkelingsproject werkt. “Maar voor hulporganisaties kan dat in de praktijk erg ingewikkeld zijn.” In Afghanistan was ze betrokken bij een project gericht op gezondheid en gemeenschapsopbouw. “Je moet niet als buitenlandse organisatie een gemeenschap binnengaan en mensen niets bieden. Door de etnische spanningen ontstaan conflicten als mensen zich achtergesteld voelen. Wij moeten juist vertrouwen opbouwen.”

Vanuit Zwolle leidt Kuipers een project in Burundi. Met andere christelijke organisaties en lokale partners doet Red een Kind mee aan het Nederlandse ontwikkelingsprogramma Addressing Root Causes. In twaalf fragiele staten moet dit bijdragen aan veiligheid, de rechtsstaat, vrede en sociaal-economische opbouw. Het programma begon in 2016 en eindigt dit jaar. Het is tijd voor de evaluatie en de afsluiting.

Spaargroepen

In Burundi organiseert Red een Kind bijna 900 zelfhulpgroepen met ruim 17.000 leden, zegt Geert de Jonge, manager expertise en ontwikkeling. “Daarin ontplooien jongeren samen economische activiteiten. Ze vormen gezamenlijk een spaargroep: iedereen legt geld in, en je kunt tegen rente uit de pot lenen. Sommigen gebruiken dat geld om mais of kool te verbouwen en op de lokale markt te verkopen. Anderen houden varkens, of ze worden imker en verkopen honing. Het is een economisch programma met een sociaal belang. De spanningen tussen etnische groepen kunnen in Burundi hoog oplopen. In de zelfhulpgroepen ontmoeten mensen met verschillende achtergronden elkaar.”

Red een Kind verzamelt veel gegevens over die leengroepen. Een externe onderzoeker heeft een beginmeting en een tussenmeting gedaan, en hoopt dit jaar naar Burundi te kunnen reizen voor een eindmeting. “Spaargroepen zijn een bewezen methode die veel gebruikt wordt in de ontwikkelingssector”, zegt Kuipers.

IOB plaatste er eerder kanttekeningen bij: hoewel spaargroepen positief kunnen uitvallen voor individuele deelnemers, hebben ze waarschijnlijk geen substantieel effect op armoedevermindering of economische vooruitgang in een dorp, regio of land.

Kuipers: “In onze programma’s zien wij wel degelijk vooruitgang. Wel zouden we graag na het sluiten van het programma nog eens terugkomen om te zien of het effect blijvend is. Nu moeten we de eindevaluatie doen terwijl we nog in de uitvoeringsfase zitten. Maar een externe donor zoals het ministerie financiert niet twee jaar later nog eens een evaluatie.”

Red een Kind doet proefprojecten als het een nieuwe methode wil gebruiken, in samenwerking met universiteiten. Geert de Jonge: “Maar als een bepaalde aanpak in de basis bewezen is, blijf je dan investeren in onderzoek? En wie betaalt dat? In Zuid-Soedan hebben we een onderwijsproject gedaan met UK Aid, de Britse overheid. Daar ging 25 procent van het budget naar monitoren en evalueren, inclusief controlegroep. Als je zeker wilt weten dat het werkt, dan blijft er minder geld over voor steun.”

Buitenlandse Zaken: Er is nu meer aandacht voor leren

“Het is een uitdaging om het effect van ontwikkelingswerk inzichtelijk te maken”, zegt een woordvoerder van het ministerie van buitenlandse zaken. “We monitoren hoe onze projecten bijdragen aan duurzame ontwikkeling en armoedebestrijding, maar een directe causale relatie tussen het geld van het ministerie en een uiteindelijke maatschappelijke verandering is dikwijls lastig om te bewijzen. Daarvoor is ontwikkelingssamenwerking een te complex samenspel van factoren en onzekerheden.”

De eisen voor evaluaties van ontwikkelingsprojecten verschillen per project, zegt de woordvoerder. Bij projecten met een budget van meer dan 5 miljoen is een onafhankelijke externe evaluatie verplicht. IOB, de onafhankelijke evaluatie-dienst van het ministerie, voert zelf ook evaluaties uit en probeert de lange-termijneffecten van bepaalde programma’s in kaart te brengen.

De laatste jaren is er op het ministerie meer aandacht gekomen voor leren. Er zijn deskundigen aangetrokken en er zijn opleidingen en leeragenda’s ontwikkeld. Hierdoor hebben hulporganisaties binnen het Addressing Root Causes-programma de mogelijkheid gekregen om het project tussentijds bij te sturen op basis van geleerde lessen. Om zo de kwaliteit te verbeteren.

“Ons voorstel is niet om in elk project een kwart van het budget te besteden aan monitoring en evaluatie”, zegt wetenschapper Mark Treurniet. “Ook niet om alle, of willekeurig geselecteerde projecten te evalueren. Zet beleidsexperimenten en evaluaties specifiek in waar het meeste te leren valt. We moeten investeren in onderzoek als de ontwikkelingsmethode nog weinig onderzocht is en er dus weinig bekend is over de effectiviteit van het programma.” Het is niet de bedoeling dat het onderzoeksgeld ten koste gaat van de hulpverlening.

Ongezonde prikkels

Het liefst zouden de wetenschappers zien dat de overheid in langdurige ontwikkelingsprogramma’s investeert, waarbij continu leren de essentie is. Onderzoekers moeten tijdig meedenken over de onderzoeksopzet. Verder is het onverstandig dat hulporganisaties zelf mogen bepalen welke consultant de verplichte evaluatie doet, vinden zij. Het risico bestaat dat die te veel meedenkt met de organisatie, in de hoop de volgende opdracht binnen te halen. “Als je serieus werk wilt maken van leren, dan moet je zoveel mogelijk voorkomen dat er ongezonde prikkels zijn”, zegt Lensink.

De komende maanden moet Red een Kind aan de gang met de eindrapportage, net als de andere organisaties in die fragiele staten van het Addressing Root Causes-programma. De Jonge: “Buitenlandse Zaken wil graag concreet zeggen: dit is er gebeurd. Maar zo’n programma in meerdere landen behelst tal van organisaties, die andere programma’s draaien en andere instrumenten gebruiken. Uiteindelijk moeten zij allemaal eenzelfde lijst met indicatoren invullen. Iedereen doet dat netjes en daar komt een totaalcijfer uit: er zijn zoveel miljoen mensen geholpen. Maar het is inderdaad de vraag wat je aan dat cijfer hebt. De werkelijkheid is zoveel complexer.”

Lees ook:

Ontwikkelingshulp? Alleen als we er zelf ook van profiteren

Heeft corona de blik naar binnen gericht? Ontwikkelingshulp is het ondergeschoven kindje van de verkiezingen. Partijen besteden er in hun campagne niet veel aandacht aan.

Wilt u iets delen met Trouw?

Tip hier onze journalisten

Op alle verhalen van Trouw rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@trouw.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden