Bonne pratique 89

OBJECTIF : DES MESURES ET ÉVALUATIONS DE L’EFFICACITÉ, DE L’EFFICIENCE et DE L’IMPACT
P&E3.3 #89 & 90 Évaluation de l’impact social

L’entité s’engage dans une méthodologie lui permettant de mesurer son impact.
Cette méthodologie inclut notamment :

  • l’identification des parties prenantes concernées par l’action évaluée, afin de s’inscrire dans une démarche de co-construction de cette méthodologie,
  • la description qualitative et quantitative de l’impact des actions menées.

Pourquoi ?

Il s’agit ici de se donner les moyens de mieux comprendre les actions de l’OBNL et les buts recherchés par sa stratégie : quels sont les effets positifs et négatifs, directs et indirects induits par les actions de l’entité ?

Pour se faire, selon le périmètre d’évaluation choisi (qui peut être au niveau d’un projet spécifique par exemple ou sur les actions majeures du projet de l’association…), l’OBNL définit la méthodologie de mesure selon les buts recherchés. Dans ce contexte, on recherche à comprendre si les actions produisent les buts recherchés, si elles peuvent être améliorées, consolidées. (Attention à ne pas confondre les résultats de l’activité avec l’impact et les effets produits).

Comment ?

  • L’entité s’organise pour engager la réflexion de la mesure d’impact de ses actions.
  • La méthodologie doit prendre en compte dans la mesure du possible les effets directs, indirects, positifs, négatifs … à partir d’indicateurs quantitatifs et/ou qualitatifs (sondages, enquêtes, …). Ces indicateurs sont choisis pour suivre et mesurer la réalisation des objectifs visés. Les analyses et études d’impact ont pour objet d’analyser les données quantitatives et qualitatives récoltées et d’en faire une présentation synthétique et signifiante.
  • La méthode doit pouvoir être utilisée périodiquement (annuellement si possible) afin de suivre l’évolution. Les résultats doivent pouvoir être utilisés en particulier pour alimenter la réflexion stratégique de l’OCA. Le résultat doit concourir à donner du sens à l’action en cohérence avec la vision de l’organisme et donner du pouvoir de négociation auprès des partenaires financeurs par exemple.

Point d’attention: L’impact reste souvent difficile à mesurer. Il existe de multiples méthodes qui intègrent de manière systématique une approche qualitative qui peut être enrichie dans certains cas par des approches statistiques (ces dernières peuvent demander beaucoup de temps et de moyens et se révéler très complexes à mettre en oeuvre et à expliquer). On aura toujours à l’esprit que la méthode doit être proportionnée aux enjeux de l’OBNL et dans tous les cas doit pouvoir être expliquée simplement.

Critères qualitatifs ?

La méthodologie est formalisée, remise à jour périodiquement. Les indicateurs quantitatifs et/ou retours qualitatifs sont analysés. La méthode est revue périodiquement. Un comparatif des résultats dans le temps permet d’analyser l’évolution et d’en tirer des actions si nécessaire.

Questions / Commentaires

A NOTER: le caractère scientifique des méthodes d’évaluation d’impact génère de nombreux débats contradictoires. Une approche purement qualitative peut être plus simple à mettre en oeuvre.

Description de l'image Chaîne des moyens aux résultats ci-après

Description du schéma Chaîne des moyens aux résultats 

Deux étapes principales

  1. Travail planifié par l'organisation 
    • Ressources (humaines, financières) : permettant la mise en œuvre des activités
    • Activités (répond à la question : "Que fait-on ?") : actions de la structure pour atteindre ses objectifs 
  2. Résultats envisagés / Ce qui peut s'évaluer 
    • Réalisations (répond à la question "Que produit-on ?") : les produits obtenus suite aux actions menées 
    • Résultats : effets immédiats des actions sur leur cible 
    • Impacts (répond à la question "À quoi contribue-t-on ?") : Conséquences sociales, économiques, environnementales, imputables aux actions 

Exemple : une association pour l'éducation mène un projet de construction d'école en zone périurbaine 

  • 50 000€ investis et 5 personnes travaillent sur le projet (correspond à l'étape Ressources). 
  • Terrain acheté, dessin, conception et construction de l'école (Activités) 
  • Nouvelle école construite avec 32 places (Réalisations) 
  • 8 étudiants disposent d'un meilleur accès à l'éducation (Résultats)
  • 2 étudiants disposent d'un accès à l'éducation alors qu'ils n'en avaient pas avant (Impacts) 

Source de l'image : Avise, d'après "Un guide pratique pour la mesure et la gestion de l'impact", EVPA 2015. 

RAPPEL : définitions

  • Les activités : ce que l’on fait.
  • Les résultats : ce que l’on produit.
  • Les impacts ou effets : ce à quoi on contribue.
  • L’impact est l’ensemble des changements positifs ou négatifs, attendus ou inattendus, et durables engendrés par les activités mises en place et attribuables à ces activités. Ces impacts peuvent être de nature environnementale, économique ou sociale.
  • Impact social (définition Conseil Supérieur de l’ESS) : l’«ensemble des conséquences (évolutions, inflexions, changements, ruptures) des activités d’une organisation tant sur les parties prenantes externes (bénéficiaires, usagers, clients) directes ou indirectes de son territoire et internes (salariés, bénévoles, volontaires), que sur la société en général ».

POUR ALLER PLUS LOIN

NOURA - Nouveau Regards sur l’Evaluation en Association - fiches pratiques:

Le Mouvement associatif | [N°27] Évaluation(s) : sortir de la matrice
LA FONDA | L'évaluation par l'analyse des chaînes de valeur - Université du Faire ensemble
AVISE

POUR ALLER PLUS LOIN

Avise_guide_evaluer-son-impact-social

Cartographie des outils et ressources pour l'évaluation des tiers-lieux

Description de la cartographie ci-après

Accéder à l'image en haute-résolution : Cartographie des outils et ressources pour l’évaluation 

Description de la cartographie 

Cette fiche créée par France Tiers-Lieu a pour objectif d'aiguiller les acteurs parmi toutes les ressources disponibles sur la mesure d’impacts et l’évaluation des effets sociaux, environnementaux et économiques. Des banques de ressources, des guides, des fiches pratiques, des outils d’auto-évaluation, des articles ainsi qu’un MOOC sont proposés et accessibles directement depuis le PDF. Voici la liste des ressources retranscrites : 

Mesurer ses impacts (GÉNÉRAL) 

Mesurer l'impact d'un projet d'urbanisme transitoire 

Mesurer son impact économique 

Mesurer son impact social 

Mesurer son impact environnemental 

Témoins engagés IDEAS - lien d’accès à la vidéo de présentation : Comment mesurer son impact social

Cartographie des usages des évaluations d’impact

Cette carte des différentes méthodologies de l’évaluation d’impact selon les usages a pour but de comprendre quelle est la nature du besoin d’évaluation, et de proposer des pistes de solution de méthodes d’évaluations.
Cette carte est conçue comme un outil pédagogique : elle permet, de réfléchir aux usages effectifs que l’on fait des évaluations.
Cette carte est le fruit d’une collaboration de recherche menée en 2021-2022 entre l’Agence française de développement, Quadrant Conseil et Strategic Design Scenarios.

Lien AFD : Evaluation d’impact – Presentation