Présentation du cycle de séminaires

Le cycle de séminaires « Méthodes et approches en évaluation » (METHEVAL) se propose d'approfondir la réflexion sur les méthodes et approches en évaluation des politiques publiques dans une optique interdisciplinaire et ouverte à la diversité des perspectives. Il s’agit à la fois de susciter des échanges entre chercheur.e.s utilisant différents types de méthodes, de renforcer les compétences collectives en évaluation par la constitution progressive d’un corpus de références commun, et de préciser le positionnement du LIEPP au regard des débats les plus récents qui traversent le champ international de l’évaluation.

Transversale aux différents axes thématiques du LIEPP (politiques éducatives, discriminations et politiques catégorielles, politiques socio-fiscales, évaluation de la démocratie, politiques environnementales, politiques de santé), cette réflexion sur les méthodes et approches en évaluation constitue un lieu d’échange et de développement d’une culture évaluative commune.

A partir de présentations d’intervenant.e.s internes ou externes au LIEPP appartenant à différentes disciplines (économie, sociologie, science politique, éducation, santé…), le cycle veillera à rendre compte, au fil des séances, de la pluralité des méthodes actuellement mobilisées en évaluation (ex. études d’impact, méthodes économétriques, méthodes qualitatives ou mixtes, analyse de la mise en œuvre, revues de littérature…) dans une diversité de domaines et de contextes nationaux. 

A qui s’adresse le cycle ?

Au-delà de l’approfondissement de différentes techniques méthodologiques, ce séminaire vise à ouvrir une réflexion sur les enjeux épistémologiques et éthiques de l’évaluation, mais aussi sur ses usages et son impact sur la société et l’action publique. Il a aussi vocation à être un lieu d’échange entre acteurs académiques et non-académiques (administratifs, associatifs, consultants…) de l’évaluation.

Quelle est sa finalité ?

Ce cycle de séminaire et ses traces numériques, en libre accès, ont aussi vocation à fonctionner comme ressources pour d’autres acteurs universitaires, administratifs, professionnels et associatifs impliqués dans des démarches d’évaluation des politiques publiques. Un projet de publication collective sous forme d’ouvrage pourra être adossé à ce séminaire, la mise en discussion des présentations permettant d’avancer dans la réalisation de ce projet éditorial.

Programme des séances

Nota bene : les séminaires se tiennent toujours les jeudis de 17h à 18h (sauf indication contraire)

séances à venir :

2020

• 5 novembre 16h30-17h30 : Les méthodes d'évaluation quasi-expérimentales. Inscription obligatoire.

Intervenant : Denis Fougère, OSC et LIEPP de Sciences Po

Résumé :  Les méthodes d'évaluation sont aujourd'hui fréquemment utilisées pour estimer les effets des interventions publiques en matière de santé, d'éducation ou d'emploi. Pour l'essentiel, ces méthodes sont fondées sur une comparaison entre des élèves, des classes, des salariés ou des entreprises bénéficiant de l'intervention ou de la politique que l'on souhaite évaluer (le groupe cible) et des élèves, des classes, des salariés ou des entreprises n'en bénéficiant pas (le groupe témoin). 
Au coeur de la démarche statistique d'évaluation, est souvent posée la question des biais de séléction ou d'auto-séléction : le recours à un dispositif public d'aide ou d'accompagnement est une décision reposant en général sur des choix, individuels ou collectifs. Si l'on ne tient pas compte de ces mécanismes de choix, l'on risque de produire des estimations biaisées des effets de l'intervention publique en comparant directement les situations des deux groupes, cible et témoin. Pour limiter les conséquences des biais de séléction, les statisticiens utilisent généralement un groupe témoin (ou groupe de contrôle) dont les caractéristiques observables se rapprochent le plus possible de celui des membres du groupe cible (ou groupe de traitement). 
La méthode permettant en théorie de limiter au maximum le biais de séléction est l'expérimentation randomisée, dont le principe est maintenant bien connu. Lorsque cette méthode, souvent difficile et longue à mettre en place, ne peut être utilisée, les statisticiens recourent à des méthodes dites quasi-expérimentales, notamment les doubles différences (differences-in-differences), la régression avec discontinuité (regression discontinuity design) et l'appariment d'échantillons (matching). Notre exposé presentera brièvement le principe de chacune de ces méthodes quasi-expérimentales, à l'aide notamment d'exemples illustratifs. 

Texte de support : Fougère, D., Jacquemet, N. 2019. Inférence causale et évaluation d’impact. Economie et Statistique, n°510-511-512.

• 26 novembre : De l’usage des cadres et théories pour l’évaluation des interventions

Intervenant : Valéry Ridde, Directeur de recherche au CEPED (Université de Paris/IRD). Inscription obligatoire. 

Résumé : Lorsqu'il s'agit d'étudier les effets de la mise en oeuvre des interventions de santé publique, il devient indispensable d'avoir recours à une approche interdisciplinaire et des méthodes mixtes. Mais rares sont les chercheur.es et les formations universitaires qui s'inscrivent dans ce pragmatisme tant le dogmatisme et la fragmentation dominent encore les recherches sur les objets de santé publique. En outre, le recours à des théories et des cadres conceptuels ex ante est bien souvent perçu comme une hérésie épistémologique pour certain.es. Et même lorsque cela est le cas, les chercheur.es tombent parfois dans la facilité, appliquant sans jusitification ou discernement une théorie ou un cadre conceptuel déconnecté de son contexte d'utilisation. Cette présentation est une démarche réflexive basée sur l'expérience récente de la coordination scientifique de trois projets de recherche interventionnelle en santé publique au Burkina Faso et au Mali. Elle cherche à expliciter les démarches méthodologiques prévues à l'origine dans les protocoles de recherche; puis, à mettre en exergue les différents défis épistémologiques et méthodologiques que la rencontre de la santé publique avec d'autres disciplines ont permis de révéler. Enfin, il s'agit d'en tirer quelques leçons plus générales pour notre pratique collective d'une recherche interventionnelle interdisciplinaire usant de méthodes mixtes. 

Texte de support : Ridde V., Pérez D., Robert E. 2020. Using implementation science theories and frameworks in global health. BMJ Global Health.

• 10 décembre : titre à venir

2021

• 7 janvier : Les revues de littéraures mixtes

Intervenant.e.s: Quan Nha Hong McGill (Canada)

Résumé : La revue systématique mixte est de plus en plus populaire. Il s'agit d'un type de revue de littérature qui suit une approche systématique et inclut des études utilisant des méthodes quantitatives, qualitatives et/ou mixtes. En combinant des études qualitatives, quantitatives et mixtes, la revue systématique mixte permet d'aborder des questions complémentaires et d'approfondir la compréhension des phénomènes observés. Les dernières années ont été marquées par un développement considérable des méthodes de repérage, de sélection, d'évaluation et de synthèse des études qualitatives, quantitatives et mixtes. Durant ce webinaire, nous ferons un bref survol de ce développement méthodologique et présenterons différents devis de synthèse qui peuvent être utilisés dans une revue mixte. 

Texte de support : Quan Nha Hong, Anne-Marie Turcotte-Tremblay et Pierre Pluye. 2019. Les revues systématiques mixtes. Un exemple à propos du financement basé sur les résultats. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. 157-186. Québec : Éditions science et bien commun et Marseille : IRD Éditions.

• 21 janvier : Benchmark des politiques évaluatives

Intervenant.e.s: Adam Baïz et Vincent Aussilloux, France Stratégie

Texte de support: Vingt ans d’évaluations d’impact en France et à l’étranger - Analyse comparée des pratiques dans six pays

• 11 février : titre à venir

Intervenant.e.s: Jules Simha, Université de Paris

• 4 mars : titre à venir

• 25 mars : titre à venir

Intervenant.e.s: Mathias Béjean, Université Paris Est Créteil 

• 15 avril : titre à venir

SÉANCES passées:

• 8 octobre (webinar) : Un aperçu international sur l’évaluation des politiques publiques. Inscription obligatoire. 

Intervenant.e.s: Stephane Jacobzone (OCDE) 

Résumé : L'évaluation des politiques est un élément essentiel de la bonne gouvernance, car elle favorise la responsabilité publique et contribue à la confiance des citoyens dans le gouvernement. L'évaluation permet de s'assurer que les décisions sont ancrées dans des données fiables et qu'elles produisent les résultats souhaités. Les conclusions du rapport de l'OCDE "Improving Governance with Public Policy Evaluation : Lessons From Country Experiences" seront présentées et discutées ici. Ce rapport propose une analyse systémique de l'institutionnalisation, de la qualité et de l'utilisation de l'évaluation dans différents pays et examine les liens entre ces trois dimensions. Nous verrons que le rapport couvre également les aspects transversaux liés à l'évaluation réglementaire et à la budgetisation des performances. Nous soulignerons enfin le rôle et les fonctions des institutions clés au sein de l'exécutif, telles que les centres de gouvernement et les ministères des finances. 

Texte de support : OCDE. 2020. Improving Governance with Policy Evaluation : Lessons From Country Experiences. OECD Public Governance Reviews. Éditions OCDE, Paris.

• 10 septembre (webinar) : Cartographie de quelques méthodes de revues systématiques utilisées en sciences sociales et de la santé. 

Intervenant.e.s: Loubna Belaid, chercheure associée à CIET Trust et au groupe de recherche participative au département de médecine de famille, Université McGill, Montréal, Canada.

Voir résumé de la séance 

Texte de support : Belaid, Loubna and Valéry Ridde. 2020. Une Cartographie de Quelques Méthodes de Revues Systématiques. Working Paper CEPED N°44.

• 24 septembre (webinar) : L’apport des méthodes mixtes pour l’évaluation d’un programme par expérimentation randomisée. 

Intervenant.e.s: Clément Pin, chercheur postdoctoral au LIEPP, et Carlo Barone, professeur de sociologie à Sciences Po (OSC-LIEPP).

Voir résumé de la séance