“Je me souviens encore de notre tout premier projet en tant que petite association. Pour la première fois nous recevions des fonds d’un “bailleur”, et c’est plein d'enthousiasme que nous avons travaillé sans relâche pour agrandir l’école, constituer la cantine et apporter des vivres pour qu’elle puisse tourner. À la fin du projet, nous avons vu les sourires des enfants et de leurs parents, et nous étions convaincus que notre mission était accomplie.
Mais quelques années plus tard, nous avons réalisé que, sans retourner sur le terrain, il nous était impossible de savoir réellement si notre action sur 1 ou 2 ans avait eu des conséquences sur le long terme.
Nous sommes donc retourné sur place, avons constaté que les écoles fonctionnaient toujours, que leur agrandissement avait encouragé les parents à mettre leurs enfants à l’école, mais qu’il y avait une forte disparité entre les garçons et les filles, que la cantine ne fonctionnait plus car il n’y avait plus de vivres, mais que l’infrastructure et les outils étaient encore là, etc.
Outre les résultats du projet en lui-même, celui-ci a donc eu des impacts positifs et négatifs, puisqu’il y avait davantage d’enfants qui allaient à l’école, mais cela a creusé les inégalités entre les garçons et les filles. La cantine existait et il ne manquait pas grand chose pour qu’elle fonctionne à nouveau grâce éventuellement à un potager ou à des apports des familles.
Mais au-delà, faire un projet dans ce village a donné aux habitants la sensation que quelqu’un s’intéresse à leurs difficultés, à eux, qu’ils et elles sont important.e.s, et aussi qu’ils peuvent se mobiliser pour améliorer leurs conditions. Les garçons ont été proportionnellement plus nombreux à poursuivre leur scolarité dans la ville voisine, et même certains parents se sont intéressés aux leçons et ont crée un groupe d'alphabétisation, ce qui a permis à Fatou de mieux gérer ses ventes au marché. Y a-t-il un lien avec le projet ? Nous ne le saurons jamais.
Ces constats nous avons pu les faire en allant sur place, sans pour autant pouvoir faire un lien avec l'action. Mais alors : comment transmettre ces informations à nos bénévoles, aux bailleurs et à nos donateurs ? Comment valoriser ce qui a été fait malgré tout ?
C'est à ce moment-là que nous avons pris conscience de l'importance de la mesure de l'impact. Pour véritablement faire une différence, nous devons non seulement mettre en œuvre nos projets avec dévouement, les suivre, les évaluer, mais aussi faire ce pas de plus et regarder un peu plus loin.
C'est ainsi que nous avons commencé à définir quelques critères d’impact que nous pouvons mesurer non seulement pendant le projet, mais surtout après, voire longtemps après. Aujourd’hui ces quelques critères sont des piliers pour notre action et nous aident à orienter nos futurs projets et à valoriser nos actions passées. “
Très concrètement, l’impact ce sont les effets tangibles et mesurables qu'un projet a sur les bénéficiaires et sur la société dans son ensemble. Autrement dit, toutes les conséquences et les changements qui ont lieu pendant ou après le projet.
"Les changements significatifs, positifs ou négatifs, intentionnels ou non, durables ou temporaires, directs ou indirects, qu'un projet provoque dans la vie des individus, des groupes ou des communautés, ou dans leur environnement."
OCDE, dans ses directives sur l'évaluation de l'impact des projets de développement
Comme vous le constatez aisément, c'est une définition très large : en gros, tout ce que le projet provoque peut être considéré comme un impact.
Chaque structure s'approprie donc cette notion à sa manière, en allant plus ou moins "loin" dans l'observation, en mettant l'accent sur tel ou tel aspect (certains plutôt sur du long terme, d'autre sur les aspects financiers, d'autres encore sur des sujets comme l'inclusion ou la cohésion sociale ou du "soft", etc.)
En résumé, la mesure d’impact est quelque chose de très large, qui vise à “voir plus loin” que le résultat, pour questionner les changements sur les personnes, sur les structures ou sur la société.
La difficulté dans la mesure d'impact d'un projet est de prouver le lien de causalité entre les résultats du projet et les impacts observés.
En quoi est-ce CE projet en particulier qui a permis le changement observé ?
Est-ce l'agrandissement des écoles qui a aidé Fatou à mieux commercialiser ses produits ? Ou d'autres changements qui ont eu lieu en même temps ? Ou un peu tout cela en même temps ?
Il y a plusieurs moyens de prouver le lien de causalité.
La plus rigoureuse, et la plus fiable, est la méthode dite "scientifique" qui consiste à faire des groupes témoins (non bénéficiaires du projet) et à comparer les deux. Cela demande non seulement des ressources importantes en temps et en argent (que la plupart n'ont pas), mais peut également poser des questions éthiques.
Mais d'autres éléments permettent également de prouver un lien de causalité (souvent en croisant plusieurs de ces techniques) :
Projet : Construction de deux puits et installation de systèmes de purification de l’eau
Résultats : les puits sont existants et l’eau est présente et de qualité conforme.
Effets : le nombre de jours de sécheresse du puit à l’année ont baissés, les maladies hydriques ont diminués, etc.
Impact : les enfants vont plus régulièrement à l’école, la réussite aux examens s’est améliorée, l’accès à l’eau n’est plus la préoccupation principale laissant l’espace pour un nouveau projet d’amélioration de l’assainissement, etc.
Projet : Formation de femmes en confection d'artisanat et commercialisation
Résultats : 15 femmes ont pu bénéficier de la formation, elles ont amélioré leurs compétences et 3 petites entreprises ont pu être crées.
Effets : les revenus des femmes ont augmenté, elles sont devenues plus autonomes financièrement, mais leurs journées sont plus chargées, certaines ont donc abandonnées, amélioration de la confiance en soi de certaines femmes et des compétences en gestion de projet.
Impact : amélioration du niveau de vie des familles et conséquences sur les enfants, modification dans la société locale de la vision de la capacité entrepreneuriale des femmes, qui ont pu s'impliquer davantage dans les processus de décision collectives de la municipalité, création de groupes de soutien de femmes, etc.
Projet : Reboisement d'une zone avec des arbres indigènes pour restaurer l'écosystème local et préserver la biodiversité et actions de sensibilisation.
Résultats : plantation de 800 arbres, 4 cycles de sensibilisation effectués, 3 personnes recrutées pour le maintien et la gestion.
Effets : amélioration de la qualité de sol et réduction de l'érosion des sols, augmentation de la biodiversité et retours d'espèces indigènes, amélioration de revenu des personnes salariées, changements de comportements des personnes sensibilisées.
Impacts : amélioration des moyens de subsistance locaux grâce à la régénération des ressources naturelles, amélioration de la qualité de l'eau à proximité de la zone, émergence d'autres projets pour le passage en agriculture biologique des maraîchers alentours, etc.
Ces quelques exemples peuvent mettre en lumière les différences entre le résultat du projet et l'impact.
Cependant, la limite n'est pas stricte entre résultat, effets et impacts, et là encore, chaque structure utilisera son propre vocabulaire et ses propres définitions. Il est avant tout question d'échelle : où est-ce que je place le regard et le curseur et surtout pourquoi ?
Par ailleurs, plus on regarde "de loin", plus le regard peut s'éparpiller dans de nombreuses directions. Le choix des indicateurs d'impact est donc essentiel en fonction de ce que je peux mesurer (faisabilité) et de ce que je veux mesurer (orientation stratégique).
On entends souvent que l’impact est quelque chose de difficile, de coûteux, qui nécessite beaucoup d’investissement, de temps humain, et qui serait donc presque un luxe de pouvoir mesurer l’impact de ses projets.
Et pourtant ce n’est qu’un étage supplémentaire dans le suivi d’un projet, qui le complète et valorise le projet.
Une bonne mesure d’impact régulière et adossée au suivi facilite largement le suivi/évaluation. Quelques résultats sont suffisants pour prouver que l’activité a été faite. Mais quelques impacts suffisent pour montrer que l’action a été bien faite et surtout qu'elle a porté ses fruits.
Donc au choix, faites un peu moins de suivi des activités et un peu plus de mesure d’impact !
Et surtout PRI-O-RI-SEZ : qu'est-ce je veux savoir et pourquoi ? Bien souvent, 3 ou 4 indicateurs d'impacts suffisent à apporter une vraie valeur ajoutée.
Pour résumer, les bonnes raisons pour faire de la mesure d’impact :
Comment mesurer l'impact de mon projet ? Nous y reviendrons très vite dans un prochain article.
En attendant, n'hésitez pas à mettre en commentaire toutes vos questions et les points sur lesquels vous avez le plus de mal !
5 Comments
[…] Le suivi ne s’arrête pas à la fin du projet, ou aux quelques années après. Au-delà des activités et des résultats, il s’agit ensuite de suivre et de mesurer l’impact du projet. […]
Merci pour cet article ! Un sujet super intéressant et qui se base sur des cas concrets. Les premières lignes sont très touchantes et le reste de l’article me parle beaucoup !
Merci pour cet article qui, à partir d’un exemple concret, nous fait prendre conscience de l’importance de mesurer les impacts d’un projet, quel que soit le domaine. J’attends la suite avec impatience.
Merci pour cette réflexion très intéressante !
Elle fait écho à une préoccupation personnelle : j’accompagne des cadres dans leur transition professionnelle vers un métier qui leur apporte plus de sens. Ca passe souvent pour eux par avoir plus d’impact (sur la société, sur la planète…).
Et la question de quantifier cet impact est totalement légitime, car au départ, c’est souvent quelque chose perçu comme totalement subjectif. Ce qui ne les aide forcément pas à faire le grand saut !
Alors j’en retire quelques idées pour les aider à évaluer l’impact qu’ils voudraient avoir.
Merci ! En effet, là nous parlons de l’impact de structures, mais l’impact individuel peut-être quantifié de la même manière, mais avec des questions différentes : qu’est-ce qui compte pour moi : faire changer les mentalités /sensibilisation (sur qui ? Comment est-ce que je peux le mesurer ?), faire du « concret » (laisser une trace) faire quelque chose de tangible : c’est en général ce qui est le plus facile à « mesurer », sans pour autant que ça apporte la satisfaction personnelle souhaitée. Mesurer l’action d’une structure sert autant pour l’organisation en tant que telle que pour ses acteurs et actrices ! Même si pour une personne individuelle l’impact en « storytelling » est bien souvent ce qui a le plus de poids (un message de remerciement, une histoire qui se termine bien grâce à l’action de la personne, etc.). Peut-être leur demander quelle serait leur plus grande source de satisfaction s’il recevait un message de remerciement ?