Méthodologie de Givewell

🚀 Le blog a déménagé ! 🚀
Cliquez ici pour lire cet article sur le site d’Altruisme Efficace France :
Méthodologie de Givewell

Merci de nous suivre et au plaisir de vous retrouver sur le nouveau blog !

Article par Eve-Léana Angot

A l’heure actuelle, il existe un nombre considérable d’organismes dont l’activité consiste à évaluer des organisations à but non lucratif et non gouvernementales. Ces « charity evaluators » ou « charity watchdogs » se sont essentiellement développés dans le monde anglo-saxon[1]. A l’origine, lorsque les premiers charity evaluators ont été créés dans les années 2000, Charity Navigator en tête, ils ont eu tendance à se concentrer sur la question suivante : quel pourcentage des fonds dont dispose une ONG est directement consacré à mener à bien sa mission plutôt qu’à couvrir ses frais de fonctionnement ? GiveWell adopte cependant une approche différente dans son évaluation de la performance des ONG. Créée aux Etats-Unis en 2007 par deux anciens employés d’un fond spéculatif, Holden Karnofsky et Elie Hassenfeld[2], elle tient sa particularité de sa méthodologie, de sa transparence et de ses critères d’évaluation sur lesquels je vais m’efforcer de revenir dans ce billet.

Tentons, tout d’abord, de préciser un peu la mission que s’est attribuée GiveWell. Son activité principale consiste à évaluer l’action de différentes ONG pour déterminer celles qui font le plus de bien, ce par quoi elle entend celles qui sauvent ou améliorent le plus de vies humaines par euro dépensé[3]. Ses enquêtes, analyses approfondies et revues de littérature tentent donc d’identifier les opportunités de dons les plus efficaces selon leurs critères et de guider les donateurs et donatrices pour que leur geste ait le plus d’impact possible. Si GiveWell ne se revendique pas comme une organisation membre à part entière du mouvement de l’altruisme efficace, on retrouve tout de même une proximité avec la philosophie de ce mouvement puisqu’elle choisit d’appliquer une méthode scientifique pour évaluer l’efficacité de différents programmes humanitaires dans l’objectif de mettre en avant ceux faisant le plus de bien possible. Elle fait, par ailleurs, preuve d’une transparence remarquable quant à la méthode qu’elle utilise pour évaluer les différentes ONG. Elle n’hésite pas non plus à faire part de ses erreurs passées.

On peut distinguer trois grandes étapes dans le processus d’évaluation suivi par GiveWell : après avoir identifié plusieurs ONG éligibles, elle mène un examen approfondi de leurs programmes d’aide et des résultats de ceux-ci. Une fois les meilleures ONG sélectionnées (comprendre : celles ayant le plus grand impact par euro dépensé), elle procède à leur suivi puis met à jour ses évaluations et son classement en fonction des évolutions qu’elle perçoit.

I. Identification des organisations éligibles

GiveWell examine l’action d’un nombre conséquent d’ONG parmi lesquelles elle distingue et recommande les “top charities” en priorité mais aussi des organisations à l’action remarquable (“standout charities”). Cependant, elle ne peut mener une évaluation aussi complète et précise pour toutes les ONG du monde. Elle a donc établi une liste de critères d’éligibilité que les organisations doivent remplir avant d’entamer la procédure d’évaluation.

Si GiveWell s’est aussi intéressée à des associations luttant contre la pauvreté aux Etats-Unis, elle se concentre en priorité sur la lutte contre la pauvreté globale et l’extrême pauvreté. Elle considère que c’est en s’attaquant à ce problème qu’un donateur individuel peut accomplir le plus de bien pour chaque dollar donné.

Elle justifie ce choix ainsi : la plupart des gens considérés comme pauvres dans un pays développé comme les Etats-Unis sont en réalité plutôt riches selon les standards en vigueur dans les pays en développement. En effet, les personnes à faible revenu dans les pays en développement ont un niveau de vie et de richesse matérielle nettement inférieur à celui des personnes à faible revenu dans les pays développés[4]. Par exemple, dans les régions les moins développées du monde en 2009, entre 51% et 73% des individus manquaient d’un accès à des latrines ou à des toilettes, là où ce pourcentage ne s’élevait qu’à 1% aux Etats-Unis, et ce uniquement pour les zones rurales. En revanche, 98% des ménages américains possédaient une télévision contre seulement 16,5% des foyers dans les pays les moins développés[5]. L’impact du don sera donc plus significatif pour une personne vivant dans l’un de ces pays, comme le Tchad ou le Bangladesh[6], car celle-ci est relativement plus démunie.

Comparaison des conditions de vie entre pays développés et en développement[7]

De surcroît, cette même somme d’argent aura une valeur supérieure et pourra donc procurer des avantages plus significatifs aux individus démunis dans des pays en développement. Pour mieux comprendre ce deuxième point, nous pouvons prendre l’exemple du programme de transferts directs d’argent mis en place par Give Directly. Ces transferts uniques s’élèvent à environ 1000 dollars par famille. Cette somme permet, selon l’ONG, de couvrir l’ensemble des dépenses d’un foyer moyen pour un an[8]. Donner un montant identique à un ménage américain à faible revenu ne leur permettrait, cependant, de couvrir qu’1,6% de leurs dépenses annuelles (environ 60.000 dollars en 2017[9]).

A partir de ce premier raisonnement, GiveWell a établi des critères d’éligibilité pour savoir quelles ONG évaluer. Une ONG éligible doit tout d’abord cibler son action sur l’un de ses programmes prioritaires. Ces derniers doivent avoir prouvé qu’ils améliorent substantiellement la vie des personnes auxquelles ils viennent en aide. Afin d’identifier des programmes prometteurs, GiveWell s’appuie sur leur palmarès ou sur les résultats d’études à petite et grande échelle publiés par des organismes comme J-Pal dans le domaine de la lutte contre la pauvreté ou Millions Saved pour la santé dans les pays pauvres. Au début, elle utilisait aussi beaucoup les recommandations d’expert.e.s indépendant.e.s qui cherchent explicitement à comparer et à trouver les programmes d’aide les plus efficaces. Sa source principale était notamment les publications du Consensus de Copenhague sur lesquelles elle affirme moins s’appuyer cependant, considérant que le critère du rapport coût-efficacité y est trop prépondérant[10].

Parmi les programmes prioritaires aujourd’hui, on trouve les transferts directs d’argent comme ceux effectués par GiveDirectly ou la distribution de moustiquaires traitées pour protéger de la malaria, un programme mené par Against Malaria Foundation entres autres. Les organisations doivent aussi mener une auto-évaluation rigoureuse de leur propre programme.

II. Évaluation des ONG

Les ONG qui remplissent les critères d’éligibilité précédents sont ensuite évaluées sur la base de quatre critères que je vais à présent détailler.

1) Preuve de l’efficacité de leur action

GiveWell s’intéresse avant tout à l’efficacité des programmes mis en place ou financés par l’ONG et cherche donc des données fiables à leur propos. L’examen mené par GiveWell s’appuie donc en premier lieu sur les rapports fournis par l’ONG elle-même. Ces documents, leurs résultats et la méthode utilisée sont analysés avec une grande précaution. GiveWell mène ensuite un certain nombre d’entretiens avec les représentant.e.s et les bailleur.esse.s de fonds actuels ou potentiels de l’ONG en question, puis prévoit au moins une visite sur le terrain pour voir les résultats concrets du programme examiné. Dans la mesure où GiveWell produit rarement ses propres données sur les actions des ONG, elle a établi une procédure rigoureuse d’évaluation des rapports internes ou des enquêtes scientifiques sur lesquels elle s’appuie. Celle-ci lui permet de décider quelle confiance accorder à ces études qui composent ses sources principales pour établir un classement des ONG les plus efficaces.

Pour accorder du crédit aux résultats avancés dans les rapports internes des ONG sur l’efficacité de leur action, GiveWell doit d’abord déterminer à quel point il est possible de généraliser les résultats à des programmes de plus grande ampleur que les ONG pourraient mener (il s’agit d’un aspect de ce qu’on appelle la validité externe des résultats). Elle précise que ce critère est devenu de plus en plus important dans leur processus d’évaluation au fur et à mesure des années.

GiveWell s’intéresse aussi particulièrement à la question de l’attribution causale. Elle souligne le fait que certaines ONG avancent des résultats positifs dans leur champ d’action (un taux de présence à l’école plus élevé chez les enfants traités avec des vermifuges par exemple) sans pour autant être capable de démontrer que leur programme est responsable de cette amélioration ou sans prendre en compte d’autres causes pouvant expliquer ces résultats. Pour GiveWell, les essais contrôlés randomisés (ou randomized controlled trials) sont alors utiles pour contrer ce biais bien qu’ils n’offrent pas une réponse parfaite. Un essai randomisé contrôlé consiste à séparer aléatoirement un groupe de potentiels participant.e.s au programme de l’ONG en deux : les membres du premier groupe participent effectivement au programme tandis que le second sert de groupe de contrôle. La répartition dans les différents groupes se faisant de manière aléatoire, on estime ainsi que les deux groupes partagent les mêmes caractéristiques avant la mise en place du programme. Les RCTs ont ainsi pour vertu d’éviter un certain nombre de biais, notamment le biais de sélection.

Finalement, dans l’examen des études qui lui sont présentées, GiveWell est attentive aux problèmes classiques liés par exemple à la taille des échantillons, à l’attrition, mais aussi aux biais de publication. Ces derniers pousseraient les chercheurs et chercheuses à insister sur les résultats qui prouvent leur hypothèse ou qui leur semblent les plus intéressants.

2) Rapport coût-efficacité

Connaître l’impact d’un programme est évidemment nécessaire mais ne suffit pas à déterminer s’il s’agit d’un programme efficace. Pour cela il est plus pertinent de calculer le rapport coût-efficacité. En effet, un programme peut avoir un impact considérable mais avec un coût si important qu’il serait préférable de mettre en place des programmes à l’impact un peu moindre, mais bien moins onéreux. Il s’agit, en somme, d’une estimation du ratio entre le coût et l’impact d’une intervention. GiveWell peut le mesurer en “euro par vie sauvée” ou, pour les transferts directs d’argent notamment, en “avantage financier pour les bénéficiaires par euro dépensé par les donateurs et donatrices”. Les interventions avec le ratio “euro par vie sauvée” le plus faible sont donc généralement préférables.

Le modèle établi par GiveWell pour déterminer le rapport coût-efficacité est assez spécifique dans la mesure où il tente de prendre en compte l’ensemble des coûts, comme ceux du management par exemple, puis d’estimer ensuite l’impact sur la vie des participant.e.s au programme.

Cette tentative de modélisation repose sur un calcul d’espérance mathématique à la margemais prend aussi en compte ce que GiveWell nomme les “poids moraux”, à savoir la valeur accordée à certaines mesures comme le nombre de vies sauvées.

Aussi précise et mesurée cette estimation soit-elle, elle ne reste qu’une estimation, sans doute grossière, comme le reconnaît volontiers GiveWell. Dans la mesure où il reste difficile de prendre en compte tous les impacts d’un programme, GiveWell tente de mesurer a minima les impacts les plus directs. Elle reste utile pour identifier des différences suffisamment significatives pour influencer le classement ou pour soulever des questionnements critiques sur certaines actions dont le ratio “euro par vie sauvée” serait particulièrement élevé par exemple.

3) Capacité à utiliser des dons supplémentaires

Ce critère du “room for more funding” est celui privilégié par GiveWell et témoigne de l’importance qu’elle accorde au caractère négligé ou non d’un programme ou d’une action menée par une ONG. En effet, dans la mesure où son but est d’inciter les potentiel.le.s donateur.trice.s à donner en priorité aux organisations qu’elle recommande plutôt qu’à d’autres, il est nécessaire de savoir si l’ONG pourra utiliser de manière productive cet argent supplémentaire. Elle ne s’appuie pas seulement sur les preuves de son efficacité passée, qui peut largement diminuer d’année en année en raison de rendements marginaux décroissants. Par ailleurs, une organisation ne manque pas toujours de fonds mais parfois de “talents”. On peut citer l’exemple de l’association Smile Train. Elle effectue des interventions chirurgicales correctives sur des enfants né.e.s avec des fentes labiales et des fentes palatines dans les pays en développement. Cette organisation, même si son action est efficace, ne manquait pas nécessairement de dons mais plutôt de chirurgien.ne.s spécialisé.e.s pour réaliser les opérations.

En somme, GiveWell tente de mesurer l’impact marginal d’un don supplémentaire. Depuis sa création en 2009, elle utilise la méthode de projection appelée scenario analysis pour essayer de déterminer ou prédire cette utilité marginale.

4) Transparence

Pour terminer, le dernier critère important pour GiveWell dans sa procédure d’évaluation est la transparence. Cet article même est fondé sur un ensemble de textes et de documents produits par GiveWell et directement accessibles sur son site internet. Givewell exige un même niveau de transparence de la part des ONG qu’elle évalue.

Elle tient en fait à rendre public le détail de toute son analyse aux potentiel.le.s donateur.trice.s qui visite son site. Ainsi, il est nécessaire que les ONG évaluées acceptent de partager leurs données, leurs documents et leurs rapports.

III. Suivi des meilleures organisations

La dernière étape dans ce processus d’évaluation consiste en un suivi régulier mené par GiveWell auprès des ONG qu’elle recommande. Son but est d’avoir un classement le plus à jour possible, et ce d’autant plus qu’elle prend en compte le besoin en fonds des ONG recommandées qui peut largement varier d’une année à l’autre. Faisant toujours preuve de la même transparence, elle partage les évolutions aussi bien positives que négatives découvertes pour chaque ONG.

Par exemple, beaucoup de textes ont été rédigés et publiés sur les difficultés d’une organisation comme VillageReach. Cette ONG, classée parmi les meilleures selon GiveWell entre juillet 2009 et novembre 2011, se concentre sur la logistique des systèmes de santé dans les pays en développement. Elle a reçu plus de 2 millions de dollars de la part des donateur.rice.s de GiveWell, une somme qui a été utilisée pour élargir son approche en matière d’approvisionnement des produits de santé au Mozambique. De nombreux obstacles non anticipés par GiveWell ont, cependant, ralenti la mise en place du projet, notamment une sous-estimation des coûts. VillageReach a aussi eu des difficultés pour accéder aux fonds et donc à payer les professionnels de la santé travaillant pour le programme. Ces derniers ont finalement décidé d’arrêter de contribuer à sa mise en place[11].

Eve-Léana ANGOT

La méthode et la transparence de GiveWell sont sans doute les critères qui font sa spécificité dans le paysage des charity evaluators. Elle est assez fortement liée au mouvement de l’altruisme efficace qui prend en compte des critères similaires comme le rapport coût-efficacité d’un programme humanitaire ou le besoin en fonds d’une organisation avant de la recommander. C’est pourquoi de nombreuses autres associations qui se revendiquent clairement de l’altruisme efficace, comme Giving What We Can, s’appuient sur le classement de GiveWell ou renvoient leurs membres vers cette plateforme réputée fiable pour celles et ceux qui souhaiteraient donner efficacement à des ONG[12].

Notes de bas de page :

[1] Pour plus d’informations : https://en.wikipedia.org/wiki/Charity_assessment

[2] “Our Story” [En ligne], GiveWell, Février 2018, Consulté le 16 août 2019, https://www.givewell.org/about/story

[3] “GiveWell is a nonprofit dedicated to finding outstanding giving opportunities […] we conduct in-depth research aiming to determine how much good a given program accomplishes (in terms of lives saved, lives improved, etc.) per dollar spent”, voir : “About GiveWell” [En ligne], GiveWell, Consulté le 16 août 2019. https://www.givewell.org/about

[4] “Process for Identifying Top Charities” [En ligne], GiveWell, consulté le 16 août 2019. https://www.givewell.org/how-we-work/process#GlobalPoor

[5] “Standards of living : a comparison” [En ligne], GiveWell, 2009, Consulté le 16 août 2019. https://www.givewell.org/giving101/Your-dollar-goes-further-overseas/standards-of-living-comparison

[6] “UN list of Least Developed Countries” [En ligne], UNCTAD, Consulté le 16 août 2019. https://unctad.org/en/Pages/ALDC/Least%20Developed%20Countries/UN-list-of-Least-Developed-Countries.aspx

[7] “Standards of living”, The GiveWell Blog, op. cit.

[8] “GiveDirectly FAQ” [En ligne], GiveDirectly, Consulté le 16 août 2019. https://www.givedirectly.org/faq/

[9] Estimation établie par le Bureau of Labor Statistics du United States Department of Labor (2017), disponible ici : https://www.bls.gov/news.release/cesan.nr0.htm

[10] “Criteria for Evaluating Programs — 2009–2011” [En ligne], GiveWell, Novembre 2010, Consulté le 16 août 2019. https://www.givewell.org/international/technical/criteria/program-evaluation#CopenhagenConsensus

[11] Elie. “VillageReach update” [En ligne], The GiveWell Blog, 26 mars 2012 (mis à jour le 26 mars 2012), Consulté le 16 août 2019. https://blog.givewell.org/2012/03/26/villagereach-update/

[12] Par exemple : “For those who wish to donate to specific, individual charities, we suggest looking at the current recommendations of charity evaluators GiveWell and Animal Charity Evaluators.”, voir : “Giving Recommendations”, Giving What We Can. https://www.givingwhatwecan.org/giving-recommendations/

Liens les plus utilisés :

Site de GiveWell : https://www.givewell.org

• GiveWell. “About GiveWell” [en ligne]. GiveWell, Consulté le 16 août 2019. https://www.givewell.org/about
• GiveWell. “Evaluations of GiveWell” [en ligne]. GiveWell, Consulté le 16 août 2019. https://www.givewell.org/how-we-work/self-evaluation
• GiveWell. “Frequently Asked Questions About Our Charity Research and Recommendations” [en ligne]. GiveWell, Consulté le 16 août 2019. https://www.givewell.org/how-we-work/research-faq
• GiveWell. “GiveWell’s Cost-Effectiveness Analyses” [en ligne]. GiveWell, Mis à jour en Août 2019, Consulté le 16 août 2019. https://www.givewell.org/how-we-work/our-criteria/cost-effectiveness/cost-effectiveness-models
• GiveWell. “Intervention Reports” [en ligne]. GiveWell, Mis à jour en Juillet 2019, Consulté le 16 août 2019. https://www.givewell.org/research/intervention-reports
• GiveWell. “Our Criteria for Top Charities” [en ligne]. GiveWell, Février 2016 (Mis à jour en Août 2017), Consulté le 16 août 2019. https://www.givewell.org/how-we-work/criteria
• GiveWell. “Process for Identifying Top Charities” [en ligne]. GiveWell, Mars 2016 (Mis à jour en Novembre 2016), Consulté le 16 août 2019. https://www.givewell.org/how-we-work/process

Blog de GiveWell : https://blog.givewell.org/

• Holden. “How we evaluate a study”. The GiveWell Blog, 23 Août 2012 (Mis à jour le 2 Septembre 2016), Consulté le 16 août 2019. https://blog.givewell.org/2012/08/23/how-we-evaluate-a-study/
• Holden. “Our principles for assessing evidence”. The GiveWell Blog, 17 Août 2012 (Mis à jour le 25 Juillet 2016), Consulté le 16 août 2019. https://blog.givewell.org/2012/08/17/our-principles-for-assessing-evidence/