The support program for young researchers in public policy evaluation is part of the redeployment of the LIEPP in partnership with the University of Paris. In 2022, it is open to doctoral students (from the first year of their thesis at the beginning of the 2022-2023 academic year) and young doctors (who have defended their thesis less than two years ago, and whose thesis must have been defended after August 31, 2020) whose main affiliation is with a Sciences Po or University of Paris laboratory, regardless of discipline. 

See the complete description of the program in 2022 and the application procedures.

PROGRAM Laureates WINNERS FOR 2022/2023: 

ABENA TSOUNGUI, Alain, sociologie, CSO (Sciences Po): Tentative d'évaluation du compte de santé des étrangers en France 

L’essentiel du débat sur le coût des dépenses de santé appliquées aux personnes étrangères en France (immigrés légaux et illégaux), qui revient inlassablement au-devant de l’actualité médiatique à chaque période électorale, est focalisé sur le rythme d’évolution rapide de l’aide médicale d’Etat (AME). Il s’agit d’un dispositif de couverture santé offert aux personnes étrangères en situation irrégulière pouvant démontrer une résidence d’au moins trois mois en France et un faible niveau de ressources. Ce dispositif est complété par deux autres mécanismes de financement des soins : i) le dispositif des soins urgents et vitaux, qui permet de compenser les dépenses engagées par les hôpitaux pour l’octroi des soins à des étrangers en situation irrégulière non éligible à l’AME; ii) la protection universelle maladie PUMA dont bénéficient les demandeurs d’asile et qui a remplacé la CMU. 
La politisation dont fait l’objet l’AME depuis sa création en 1999 est exemplaire de la manière dont est traité le problème de l’immigration en France, avant tout à travers la charge qu’elle représenterait pour les finances publiques. 
L’ambition ici est d’investiguer sur le compte des charges et des recettes qui composent les dépenses de santé des étrangers en France, en vue d’en dégager un solde. Il s’agira de se baser sur des statistiques déjà produites par un ensemble d’institutions publiques (DREES, CNAMTS, IGAS-IGF, etc) ou par divers chercheurs sur la consommation des soins des étrangers, et de produire au besoin des données propres sur des aspects de cette dépense. Il s’agira pour nous d’offrir une vue d’ensemble du financement des soins des étrangers.

Ce projet de recherche entend analyser comment des politiques publiques spécifiques de lutte contre la pauvreté, vouées à la réduction des inégalités sociales et à l’accès au droit du travail, ont eu un impact sur les conditions de vie et de travail des travailleuses domestiques brésiliennes. Pour cela, l’analyse sera menée sur deux volets: d’une part, un examen des statistiques officielles permettra d’identifier, dans la durée, l’impact des différentes politiques publiques mises en place sur la vie des travailleuses domestiques. Ensuite, l’expérience vécue par les femmes employées dans cette catégorie socioprofessionnelle sera étudiée, afin de discuter les difficultés auxquelles elles sont confrontées pour leur survie et de comprendre leur perception sur les voies nécessaires pour la réduction des inégalités et la lutte contre la pauvreté. Ainsi, il est possible de donner de la densité aux données statistiques, en les inscrivant dans l’expérience vécue par les travailleuses domestiques. À la suite de l’analyse, la thèse proposée entend présenter des propositions pratiques, basées sur les analyses réalisées et sur l’expérience des travailleuses domestiques en tant qu’utilisatrices des politiques et services publics, pour leur inclusion économique et sociale.

Citizenship is one of the keywords of the contemporary philosophical and political vocabulary, since it touches on some of the central issues being discussed in the political arena: human rights, the foundation, definition and nature of which are the subject of intense debate; the nature of the political community, which had long been identified with the nation-state, but the boundaries of which are now being discussed, and often extended to include supranational formations. 
Citizenship is an expression that can be used to focus on the fundamental political relationship and its main articulations: expectations and requests, rights and duties, modes of belonging and criteria for differentiation, strategies for inclusion and exclusion. Citizenship is composed of two meanings: the first, of a legal nature, coincides with a normative status, a subject linked through territorial connections, family ties to the legal system of a state. The second, of a theoretical- political type, coincides with the social status of the citizen, i.e. with all the political, economic and cultural conditions that are guaranteed to those who are full members of an organised social group. 
Citizenship can be represented as a triangle, with Structure, Discourse, and Agency as its sides. Citizenship is produced by laws and public policies (Structure); but also from cultural constructions and their variations across time and space (Discourse); lastly, it can be tied to a broad set of actors (Agency). To try to understand citizenship we must consider all sides of this triangle, because it derives from the interplay between structure, agency and discourse. 
To try to understand citizenship we must consider all three sides of this triangle, because citizenship derives from the interplay between structure, agency and discourse. If we do not rely on such a multidimensional concept of citizenship, we cannot fully grasp what citizenship entails over time and in different contexts. The triangle of citizenship is necessary in order to understand the link between the individual, civil rights and the political community. To think about citizenship means analysing the connecting points between an individual and a politically organised community. The triangle of citizenship raises the question of how a given society has approached and resolved the problem of the relationship between the individual and the legal and political order. The answers to this question will differ depending on the context and the specific problems faced by a given society.

Plus de 30% des américains déclarent ne pas croire au changement climatique anthropogénique, et cette fraction est restée relativement constante depuis que les premieres enquêtes d'envergure sur le sujet. Souvent pointée du doigt, la polarisation de la question sur des lignes politiques est bien réelle. Cependant, ces croyances font montre d'une forte hétérogénéité, géographique notamment, au sein même de ces affiliations politiques. Par ailleurs, cette explication, comme la plupart des corrélats étudiés par la littérature naissante sur le sujet (genre, éducation, revenus,..), est souvent insatisfaisante: pourquoi les républicains sont-ils climato-sceptiques? Dans ce projet, il s'agit de rechercher des explications plus spécifiques, et historiques, aux niveaux relativement hauts et persistent de climato-scepticisme observés aux Etats Unis. 
Le cadre conceptuel est celui de la formation des croyances et en particulier des "raisonnements motivés" qui pourraient être à l'oeuvre avec un sujet mobilisant tellement d'enjeux économiques et sociaux. Dans ce cadre, des travaux existants ont montré que lorsque le "cout" du déni devient trop grand, par exemple faisant face à des événements climatiques extrêmes, les croyances s'en voyaient affecté positivement. Mais l'effet de ces chocs est souvent de courte durée, et ne permet en tout cas pas d'expliquer les niveaux actuels. Cette recherche regarde la question sous l'angle opposé: quelle désirabilité pourrait-il y avoir à de telles croyances? Elle est menée dans le cadre spécifique des communautés exposées à l'extraction d'énergies fossiles. 

En France, le problème des « discriminations » liées à « l’origine » est mis à l’agenda politique dans les années 1990. Dans la continuité, des associations d’éducation non-formelle – dites d’ « éducation populaire » - déploient des dispositifs pour que les jeunes « s’engagent » contre les inégalités ethnoraciales, mais aussi de genre, de sexualité et de religion. D’un dispositif à l’autre, les profils sociodémographiques des jeunes (classe/genre/race/religion) sont fortement contrastés. A l’intersection des sciences de l’éducation et de la sociologie politique, ma thèse vise à évaluer ces programmes en répondant à la problématique suivante : ces interventions associatives façonnent-elles – et si oui, comment – les manières dont différents profils de jeunes politisent le problème des inégalités ethnoraciales, de genre et de religion ? Comment les jeunes se divisent-ielles socialement ce travail de politisation et qu’est-ce que cela dit des effets (in)égalitaires de ces interventions associatives ? 

La thèse prend pour objet les Initiatives d’excellence (Idex) qui constituent la déclinaison française des réformes de l’enseignement supérieur et de la recherche menées au nom de l’excellence à travers l’Europe. Plusieurs pays tels que l’Allemagne, la Grande Bretagne, l’Espagne, ou encore la Suède, le Danemark, et la Norvège ont réformé ce secteur afin de modifier le système d’attribution des crédits symboliques et financiers au profit d’une plus grande concentration des fonds et de leur attribution compétitive. Les Idex prennet la forme d’appels à projets lancés dans le cadre du Programme d’Investissement d’Avenir (le PIA) créé en 2011 et constituent la clef de voute de ce programme. Les plus dotés et les plus transformateurs, ce sont eux qui portent les ambitions réformatrices du PIA. Ils distribuent 7,7 milliards d’euros à une dizaine de sites universitaires. L’enjeu est de différencier et de hiérarchiser les établissements afin de faire émerger des pôles d’excellence pluridisciplinaires capables de rivaliser avec les meilleures universités du monde. Afin d’obtenir ces fonds, les équipes dirigeantes des établissements doivent se constituer en consortiums et formaliser un projet dont l’essentiel, en fait, porte sur l’introduction de dispositifs permettant de hiérarchiser les activités et les personnes au sein des universités. Après quatre ans de mise en œuvre, les projets sont évalués : si l’évaluation est positive, la totalité de la dotation est accordée et le projet est définitivement pérennisé. Dans ce projet, les Idex sont envisagés comme un instrument d’action publique au service d’une politique inégalitaire c’est-à-dire une politique qui a pour but d’accroitre les inégalités et qui comporte les trois dimensions suivantes : un traitement différencié, aussi bien au niveau matériel que symbolique, des individus ; le fait que ce traitement différencié résulte d’une hiérarchisation des organisations, des activités, et des personnes ; le fait que cette hiérarchisation soit organisée par les pouvoirs publics dans le cadre d’une réforme.

Dans ce projet, il s'agit explorer les extensions possibles d’un travail de thèse sur le thème de la durée de vie des produits. Cette question, qui a été mise sur le devant de la scène avec les polémiques sur l’obsolescence programmée dans les années 2010, a pour intérêt de mêler au moins deux enjeux aux yeux des acteurs publics et privés qui s’en emparent : l’enjeu économique d’une part, et l’enjeu environnemental de l’autre. Dans la sphère associative, par exemple, la question de l’obsolescence interpelle autant des associations consuméristes, qui cherchent à défendre le pouvoir d’achat des consommateurs, que des associations environnementales, qui critiquent le coût en ressources de la production et la pollution générée par les déchets. Des politiques publiques ont été déployées sur ces sujets à plusieurs reprises, encadrant les pratiques industrielles: loi Hamon contre l’obsolescence programmée en 2015, extension de la durée de garantie en 2016, et bien plus récemment, loi anti-gaspillage en 2020.

• «Le Labo de la présidentielle» : faut-il rendre les transports en commun gratuits ? , article citant un rapport du LIEPP dans Le Parisien du 31/03/2022.
• Patrimoine : « Les inégalités générationnelles pour l’accès à un logement sont un poison lent qui ronge le tissu social » , tribune de Jean-Benoît Eyméoud dans Le Monde du 16/03/2022.

Sciences Po lance fin 2011 un laboratoire de recherche consacré à l’évaluation des politiques publiques à partir de quatre centres fondateurs, le Centre d’études européennes et de politique comparée, le Centre de sociologie des organisations, l’Observatoire sociologique du changement, et le Département d’économie. Créé d'abord comme LabEx (Laboratoire d’Excellence), le Laboratoire interdisciplinaire d’évaluation des politiques publiques (LIEPP), qui compte plus de 80 affiliés, se redéploie depuis 2020 en partenariat avec Université Paris Cité.

Mobilisant une approche innovante, interdisciplinaire, de l'évaluation, ce centre de recherche fête cette année, avec quelques mois de retard, ses 10 ans d’existence. À l'occasion de cet anniversaire, le LIEPP organise une rencontre sur le thème : 

L’évaluation, entre recherche et action

Vendredi 13 mai, 9h00 - 17h30

Amphithéâtre Emile Boutmy - 27, rue Saint Guillaume

Lire l'interview d'Anne Revillard, directrice du LIEPP, donné à l'occasion des 10 ans pour le site de Sciences Po.

Lire le compte rendu de la journée.

Programme

9h00 - 9h30 : Accueil

9h30 - 9h35 : Ouverture par Philippe Martin, Doyen de l'École d'affaires publiques de Sciences Po. Voir vidéo

9h35 - 10h05 : Le LIEPP dans le paysage de l’évaluation des politiques publiques. Voir vidéo

• Aux origines - Etienne Wasmer (NYU Abu Dhabi, LIEPP) et Cornelia Woll (Hertie School of Governance, CEE) 
• Au fil du temps - Bruno Palier (CEE, LIEPP)
• Aujourd’hui et demain - Anne Revillard (OSC, LIEPP)

10h05 - 11h15 : Une pluralité des méthodes d’évaluation des politiques publiques. Voir vidéo

• L'apport des méthodes mixtes à l'évaluation des politiques éducatives : le cas de deux expérimentations éducatives - Carlo Barone (OSC, LIEPP), discussion : Yann Renisio (OSC)
• Les politiques publiques par les incitations fiscales - Clément Carbonnier (LED, LIEPP), discussion : Philippe-Pierre Cabourdin (Cour des comptes)
• Utilisation de testing pour mesurer les discriminations - Dylan Glover (INSEAD, LIEPP), discussion : Emmanuel Valat (ERUDITE, Université Gustave Eiffel)

Animation : Bruno Palier (CEE, LIEPP)

11h15 - 11h30 : Pause 

11h30 - 13h00 : Regards internationaux sur les enjeux contemporains de l’évaluation. Voir vidéo

(Table ronde en anglais)

• Thomas Cook (Professeur émérite en sociologie à Northwestern University, Institute for Policy Research et Joan&Sarepta Harrison Chair in Ethics and Justice)
• Sandra Mathison (Professeure en sciences de l'éducation à l’Université de Colombie britannique)
• Ray Pawson (Professeur émérite à l’Université de Leeds)
• Laura Peck (Chercheuse en Politique sociale et économique à Abt Associates)
• Robin Stryker (Professeure en sociologie, Purdue University)
• David Aubin (Professeur en science politique, Université Catholique de Louvain) 

Animation : Anne Revillard (OSC, LIEPP)

13h00 - 14h00 : Buffet déjeuner

14h00 - 15h30 : L’évaluation face aux crises. Voir vidéo

• Expertise, coopération et crise sanitaire - Henri Bergeron (CSO, LIEPP), discussion: Nathalie Latour (Fédération des acteurs de la solidarité)
• Réduire le déficit d'adaptation des villes aux canicules : les cours OASIS - Martin Hendel (LIED, LIEPP), discussion : Élisabeth Lehec (Ville de Paris)
• Scientoscepticisme : une approche comparative et interdisciplinaire - Emiliano Grossman (CEE, LIEPP), Charlotte Halpern (CEE, LIEPP) et Henri Bergeron (CSO, LIEPP), discussion : Grégoire Chauvière Le Drian (Banque européenne d'investissement)

Animation : Morgane Laouénan (Université Paris 1, LIEPP) 

15h30 - 15h45 : Pause 

15h45 - 17h15 : Renforcer les collaborations autour de l'évaluation des politiques publiques en France. Voir vidéo

• Virginie Gimbert (Responsable Département recherche et valorisation scientifique - Cnaf) 
• Isabelle Duchefdelaville (Présidente de la Société Française de l'Evaluation) 
• Adam Baïz (Responsable de l'évaluation des politiques publiques, à France Stratégie) 
• Philippe Hayez (Conseiller maître à la Cour des comptes)

Animation : Agathe Devaux-Spatarakis (Quadrant Conseil)

A partir de 18h00 : Cocktail

LIEPP's Evaluation of democracy research group is glad to invite you to the seminar: 

Challenges and Innovations in rule of law measurement 

Thursday, June 16th, 12h00 - 14h00
Location: Room C.S16, 1, place Saint Thomas d'Aquin, 75007
Mandatory registration 

Presentation by: 

• Prof. Dr. Alina Mungiu Pippidi: Professor of Democracy Studies, Hertie School of Berlin and visiting professor at LIEPP in June 2022. 

Abstract: 

The new stress on rule of law due to Sustainable Development Goal 16, on one hand, and the EU new Rule of Law mechanism, on the other, exposes on old vulnerability that scholars have long been aware. Rule of law is notoriously difficult to measure, and the thicker the concept the greater the difficulty, as it’s a basket (multidimensional) concept. Even more difficult is to identify a comprehensive and reliable measurement across time. The most popular governance indicators are perception ones, like the World Bank Institute Governance Indicators, the World Economic Forum Global Competitiveness Survey or Transparency International’s Corruption Perception Index. Such indicators have proved vulnerable to the reputation change of countries. In Europe, high deficit countries, most notably Greece, deteriorated on their World Bank Rule of Law and Corruption Perception Index after the euro crisis hit, exactly when they had embarked on reforms to correct imbalances and rationalize their governance. Once the popular perception attributed their economic problems to their chronic governance quality, experts rushed to correct their previously high rankings, thus punishing precisely the more reform-minded governments, which were trying to fix the problem.

Measurement of institutional change is a formidable problem, and despite advances in governance measurement due to open data there is little guidance for policymakers. A United Nations Development Programme review report noted: ‘To put it plainly, there is little value in a measurement if it does not tell us what needs to be fixed’ (UNDP 2008, p. 8). We need to establish both the present status and the evolution over time of rule of law if we are to succeed in evaluating rule of law across time and provide action-able advice.

This seminar discusses the challenges of operational definitions of rule of law, reviews critically the current measures, and proposes a strategy to use fact-based measures allowing more precise monitoring over time of changes in rule of law. A new generation of fact-based indicators is proposed drawing on the current work of the lecturer as academic consultant for governance measurement for UNODC.

Presentation

Laboratory for Interdisciplinary Evaluation of Public Policies’s Environmental Policies research group and the Earth Politics Center are organising two workshops on planetary boundaries in order to analyse the link between this policy framework and the collective action dynamics that it generates. These workshops will bring together academics and practitioners to think jointly, and in an interdisciplinary perspective, about the nature, uses and effects of the concept of planetary boundaries. 

Objectives

The concept of "planetary boundaries" is hotly debated in academic circles, public environmental agencies and civil society organisations. This concept, developed by Johan Rockström and a research team from the Stockholm Resilience Center, proposes to understand environmental transformations at the global level on the basis of nine processes that appear to be "planetary boundaries", i.e. thresholds beyond which the Earth system is heading towards an uncertain future.

Academic debates have focused, first of all, on the scientific relevance of the concept of planetary boundaries, the choice of the nine processes identified and the threshold values beyond which a threshold would be crossed, or even the quantification of their cumulative effects over time. Despite these criticisms, the concept of planetary boundaries is the subject of strong and growing interest among public, collective and private actors in the field of the environment, as shown by its rapid dissemination within national environmental agencies, economic actors and civil society. By proposing a global and coherent framework for action, the concept of planetary boundaries makes it possible to document the ecological impact of current transformations and to quantify the changes specific to each country or region, thus contributing to the production of scientific expertise on a global scale. In addition to renewing the knowledge mobilised, the link with the human activities involved also makes it possible to consider the link with the creation of public policies and collective action, in terms of defining objectives and timetables, legitimising new actors, renewing choice and selection methods, as well as monitoring and evaluation.

• Workshop: Planetary boundaries, mobilising knowledge for public policy-making
  Sciences Po, May 3rd, 11am-6pm
  Registration required
  Contact: Charlotte Halpern (Sciences Po, CEE, LIEPP & CPT)

The focus will be on the academic debates and the uses of this concept in the public policy-making process. How can we understand this concept, which originated in the experimental sciences, and which is linked to a method of quantification and a representation of environmental transformations on the scale of the Earth system? What are the explanatory factors for its rapid dissemination among public environmental authorities at different scales, despite the considerable challenges raised by the collection and processing of data on each of the transformations underway? How do planetary boundaries contribute, on a global scale, to the renewal of scientific and political controversies on the formulation of objectives and the choice of means? Finally, what are the uses of planetary boundaries in the production of public action, and in particular in the monitoring and evaluation of public policies?

Programme :

11h00 - 11h20 : Welcome and Introduction
Charlotte Halpern (Sciences Po, CEE & LIEPP / CPT)

11h20 - 11h50 : Discussion critique de la notion de limites planétaires du point de vue des sciences expérimentales
Magali Ader (IPGP, UPC)

11h50 - 12h20 : Les limites planétaires : l'inévitabilité des transformations profondes et systémiques pénètre la gouvernance du climat 
Sébastien Treyer (IDDRI)

12h20 - 12h50 : Collective discussion

13h00 - 14h00 : Lunch

14h00 - 14h30 : Penser la dynamique des systèmes socio-écologiques en lien avec les transformations planétaires
Juliette Pugliesi (Chargée de projets capital naturel - WWF France & Coordinatrice du groupe de travail Biodiversité SBTN (Science Based Targets Network) 

14h30 - 15h00 : Soutenabilité et structuration des enjeux climatiques au sein de l'État 
Johanna Barasz (France Stratégie) 

15h00 - 15h30 : Collective discussion

15h30 - 15h45 : Break

15h45 - 16h15 : How good are IPCC graphs at communicating climate science to policy-makers? 
Helen Fischer (University of Mainz & Leibniz Institute for Knowledge Media, Tübingem) 

16h15 - 16h45 : Discussion
Anneliese Depoux (co-directrice du Centre Virchow-Villermé et membre du Centre des Politiques de la Terre, Université Paris Cité) 

16h45 - 17h00 : Discussion

• Workshop: Planetary boundaries, mobilising knowledge for collective action
  Université Paris Cité, May 4th, 2-6pm
  Registration required
  Contact: Nathalie Blanc (CNRS, LADYSS, Université Paris Cité & CPT)

This second workshop on planetary boundaries will focus on the mobilizing capacities of a conceptualization from the experimental sciences for civil society organizations. Can planetary limits therefore constitute a vector of commitment, in particular for non-experts? How have environmental associations and movements appropriated this notion and integrated it into their repertoire of action? What place is given to scientific knowledge in the action? What does this expression allow for in terms of collective action?

Programme : 

14h00 - 14h15 : Welcome and introduction
Nathalie Blanc (CNRS, LADYSS, CPT) et Romain Leclerq (CPT) 

14h15 - 15h00 : Intervention by Marine Calmet (Wild Legal) 
En 2020, l'association Wild Legal construit aux côtés de la Convention Citoyenne pour le Climat une proposition visant à la création d'une Haute Autorité pour le Climat, instance supra ministérielle compétente pour garantir l’application et le respect des mécanismes biologiques des écosystèmes ainsi que leurs interactions. Il s'agit d'apporter une réponse transversale aux enjeux climatiques et écologiques mais également de provoquer une profonde refonte de l’ensemble de nos politiques écologiques en misant sur l’adoption d’outils juridiques nouveaux issus de la collaboration entre scientifiques, juristes et citoyens.

15h00 - 15h15 : Q&A

15h15 - 16h00 : Intervention by Yamina Saheb (OpenExp) 
A l’appui des exemples de l’Union européenne, de la France et de l’Allemagne, cette intervention permettra de mettre en avant ce en quoi les objectifs de décarbonation annoncés par les pays de l’OCDE ne sont pas alignés avec la limite qui leur est propre, déjà dépassée. Ces objectifs n’étant pas non plus compatibles avec les trajectoires des autres pays, la dichotomie Nord-Sud est d’autant plus renforcée.

16h00 - 17h30 : Collective discussion

Presentation of the seminar cycle 

The series of seminars "Methods and Approaches in Evaluation" (METHEVAL) aims to deepen the reflection on methods and approaches in public policy evaluation from an interdisciplinary point of view open to the diversity of perspectives. The aim is both to encourage exchanges between researchers using different types of methods, to strengthen collective evaluation skills by gradually building up a commun corpus of references, and to clarify the LIEPP's position with regard to the most recent debates in the international field of evaluation. 

Cross-cutting to the different thematic areas of LIEPP (educational policies, discrimination and category policies, socio-fiscal policies, evaluation of democracy, environmental policies, health policies), this reflection on evaluation methods and approaches provides a forum for exchqnge and for the development of a common evaluation culture. 

On the basis of presentations by internal and external speakers from diverse disciplines (economics, sociology political science, education, health, etc.), the cycle will take into account, over the course of the sessions, the plurality of methods currently used in evaluation (e.g. impact studies, econometric methods, qualitative or mixed methods, analysis of implementation, literature reviews, etc.) in a variety of fields and national contexts. 

Who is the cycle aimed at ?

Beyond the deepening of different methodological techniques, this seminar aims to open a reflection on the epistemological and ethical stakes of evaluation, but also on its uses and its impact on society and public action. It is also intended to be a place for exchange between academic and non-academic (administrative, associative, consultants, etc.) actors in evaluation. 

What is its purpose ?

The cycle of seminars and its digital traces, freely accessible, are also intended to function as a resource for other academic, administrative, professional and associative actors involved in public policy evaluation processes. A collective publication project in the form of a book could be based on this seminar, with the discussion of the presentations enabling progress to be made in this editorial project. 

Program

Nota bene : the seminars will take place online on Thursdays from 5pm to 6pm (Paris time), unless otherwise indicated.

UPCOMING SESSIONS :

2024

• April 18th: Navigating the Context and External Validity Conundrums in Realist Cross-Country Evaluations. Speaker: Ana Manzano  (University of Leeds). Mandatory registration to participate via Zoom. 

In evaluation research, the external validity issue is always problematic because it entails extending study conclusions to other future populations in which the interventions are delivered under different temporal and/or spatial conditions. Consequently, to establish causality in an absolute sense (to ‘replicate’ and ‘scale up’ interventions) seems an impossible task since programmes are often not entirely transferable, due to the contextual complexities and implementation challenges encountered outside controlled research environments.

In this webinar, I will discuss how case-oriented comparative realist cross-country evaluations aim to learn “why interventions worked in this way” (analytical) as opposed to “learning about” other countries (interpretative). That is, in realist evaluations, the typical cross-country evaluation question “Does this intervention work better in one country than in another”? is re-conceptualized as “How and why does this intervention work differently in each country, for whom, in what circumstances?” The detailed answer to that “why” is where the explanatory power rests. The process entails adding explanatory depth through contextualization but also de-contextualization through middle-range theorization.

• May 16th: Increasing internal and external validity through a multimethod evaluation with Qualitative Comparative Analysis and Process Tracing: The Case of Training Transfer Effectiveness in Flemish SMEs.a (title to be confirmed) - Priscilla Alamos-Concha (Radboud University) / Valerie Pattyn (Leiden University)

PAST SESSIONS :

2024

• March 14th: Theory-building in global health: how realist evaluation considers the role of context. Speakers: Sara Van Belle  / Bruno Marchal (Institute of Tropical Medicine, Antwerp). Summary of the session. Presentation. Video.

With biomedicine as prime influence, randomized controlled trials were considered for a long time at the top of a hierarchical pyramid of evidence in global health. However, another perspective and view on causality has gradually been gaining ground. Increasingly, health is being considered as a complex social phenomenon embedded in a specific system and context. The Covid-19 pandemic, with its intersecting uncertainties at multiple levels, has further exposed the need for a contextual turn in global health. Complexity thinking in health is oriented towards a better understanding of health systems and its embeddedness in a systemic context is currently having a momentum. Realist Evaluation is part of these complexity-oriented methodologies that put context front and centre. We explore how Realist Evaluation tackles the role of context in its causal analysis.

• February 15th :  A critical reflection of generalization in mixed methods research in program evaluation: crossing the divide. Speakers:  Quan Nha Hong (Université de Montréal) and Sergi Fàbregues (Universitat Oberta de Catalunya). Discussant: Burt Barnow (The George Washington University). Summary of the session. Video.

Mixed methods research, i.e., research combining qualitative and quantitative methodologies, has grown in popularity in program evaluation to understand complex interventions. Despite recent constructive and fruitful developments that have led to the consolidation of mixed methods as a distinctive methodology, fundamental methodological issues such as generalization have received little attention. The purpose of this presentation is to provide a critical reflection on how the concept of generalizability has been used in mixed methods research.

The presentation will be structured into three parts. First, we will describe how generalization is conceptualized in quantitative and qualitative research, highlighting the significant differences between both and the difficulties in reconciling them in a mixed methods study. Second, we will provide preliminary results of a review on generalization in mixed methods research. Finally, we will end with a discussion on the threats to generalization in mixed methods research.

• January 18th : Tackling complexity and generalisability using realist research. - Speaker: Geoffrey Wong (Nuffield Department of Primary Care Health Sciences, University of Oxford) - Discussant: Rebecca Maynard (University of Pennsylvania). Summary of the session. Video. 

In this presentation, Mr. Wong will explain how complexity can be conceptualised and broken down into 'researchable' components using realist research approaches (namely realist review/synthesis or realist evaluation). More importantly, these approaches provide a warrant for the transferability of findings from one setting to another. 

2023

• December 21st : External Validity In the Evaluation Of Complex Interventions:Towards Pragmatic Strategies for Evaluators. Speaker: Thomas Delahais (Quadrant Conseil). Discussant: Julia Littell (Bryn Mawr College). Summary of the session. Video. 

How can evaluators meet the growing demand for generalisable claims, especially in the context of evaluating complex interventions in a complex world? While the scientific debate often focuses on methodological requirements, evaluation practitioners face a very different equation. Indeed, they are usually not in a position to choose the time, budget or data conditions under which they conduct their evaluation. And yet they are required to ensure a sufficient level of robustness in answering the evaluation questions, while at the same time addressing questions of value (Is it good? For whom and when?), utility and policy relevance.

Evaluators have long developed strategies for 'squaring the circle' that are not without merit. In particular, they pragmatically focus on the uses and users of generalisability claims, and rely on the entire evaluation process, rather than being limited to methodological aspects. However, we argue that these routines are insufficient in complex situations. We take the example of social-ecological transition initiatives, which are complex interventions, to show how conventional approaches can be impractical and even harmful. We illustrate some additional strategies that might be pursued, including: iterative attempts to clarify what is to be generalised; providing guidance on when claims of generalisability are sensible; and paying attention to the contexts of implantation.

• November 16th : External validity in program evaluation; iron laws, hiding hands and the evidence ecosystem. Speaker: Tom Ling, Senior Research Leader and Head of Evaluation, RAND Europe, and President of the European Evaluation Society. Summary of the session. Video. 

Assessing the external validity (or transferability) of any research or evaluation continues to raise challenges. Some of these challenges relate to the technical design of the research/evaluation and to the extent to which the study has internal validity (as a prerequisite for having external validity). However, equally important when understanding transferability is the evidence ecosystem within which the new knowledge is created and then ‘lands’. This problem is often less well understood but if we are interested in how (far)knowledge can be transferred from one study to other settings we require evidence that goes beyond evidence about the technical design and reliability of results of the study. To understand the circumstances under which findings can be confidently transferred, we need to understand the evidence ecosystem within which the findings are constructed and this includes:

• CAUSAL DENSITY Does the evidence produced tell us about potential impacts of similar interventions with other groups, in different places, at a different scale, and across different timescales, and what does prior evidence about the causal density of similar interventions tell us;

• DESIGN AND IMPLEMENTATION CONTEXT Does this study show the strength of the evidence behind the design of the intervention, and does it describe in sufficient detail how the intervention was implemented so that other interventions may have fidelity to the original design, and does implementation science support the expectation that the intervention will be as planned;

• PRIOR SCIENTIFIC RESEARCH AND EVALUATION KNOWLEDGE What is the strength of existing evidence about the impact of similar interventions and - understanding and no evidence is understood in a vacuum - are the results supported or undercut by previous tacit knowledge and research findings, and how strong is this prior evidence (scientific progress is based on building on or refuting previous results);

• RELEVANCE How do/will policy makers and other decision-makers make sense of and use the evidence, and does it tell them anything that is actionable and effective. Is the evidence produced technically proficient but practically irrelevant to decision makers.

To show that these are not entirely new concerns we will touch on the work of Rossi and Hirschman before, drawing on examples, we explore the question of generalizability (or transferability) in the context of these four questions and suggest that at least some of the disputes about generalisability/transferability should be understood differently and more constructively.

• October 26th : Thinking about external validity in policy evaluation from a diversity of methodological perspectives. Speakers : Doug Besharov (UMD School of Public Policy) et Anne Revillard (CRIS / LIEPP). Summary of the session. Video.

In this session, Doug Besharov and Anne Revillard will introduce the topic of this year’s METHEVAL seminar series, external validity or generalizability in policy evaluation. Following up on the event organized at LIEPP in June, 2023, the sessions organized during the 2023-2024 academic year will address the question of how to generalize based on evaluative approaches that embrace complexity, notably realist evaluation. In this introductory session, Doug Besharov and Anne Revillard will open a discussion on definitions and terminology, around notions such as external validity, generalizability, applicability, statistical and analytical generalization, stressing how different methodological perspectives tackle these issues differently, and reflecting on possible common grounds for discussion.

• September 28th :  ‘Does accessibility of evaluative information facilitate better parliamentary oversight?’ Speaker : Valérie Pattyn, Institute of Public Administration, Leiden University. Summary of the session. 

Parliaments have a key role in holding governments accountable for an effective and efficient spending of public money. To fulfil this oversight function, evaluative information provided by ministerial departments can be very useful. In this paper, we investigate whether and on which conditions the ‘accessibility’ of evaluative information matters in incentivizing MPs to use evaluative knowledge in their daily parliamentary work. With MPs having different sources of information at their disposal other than evaluative evidence, and often having little time to scrutinize all supporting documents provided by the executive, one can expect that a greater accessibility of evaluative information will increase the chance that this information is actively referred to in parliamentary questions and debates.

This paper analyzes the results of a pilot that was launched by the Dutch Ministry of Finance in 2020-2021. The pilot introduced a new format for ministries to provide evaluative information as required by the Government Accounts Act 2016. The overall premise underlying the pilot is precisely that accessible evaluative information facilitates more elaborate use of it. We analyze this issue from a mixed method lens, and rely on a combination of interviews with MPs, and automated text analysis of parliamentary documents (with or without pilot).

• June 8th: User and stakeholder involvement in realist evaluation Speaker : Dr Ana Manzano, University of Leeds (United Kingdom). Summary of the session.Vidéo 

This talk examines the theory, methodology and practice of user and stakeholder involvement in programme and policy evaluation by focusing on the realist approach to evaluation, a form of theory-driven methodology to evaluate complex social programmes and policies. In recent years, there is a renewed interest in involving stakeholders to support policy and programme evaluation in the healthcare arena. Policy documents such as the World Health Organization “Patient Engagement” (2016) have stressed the need for users and members of the public to be at the centre of policy evaluations. The family of user involvement approaches to conduct evaluations is forever growing. These include collaborative, participatory, empowerment evaluation, coproduction, action research, utilization-focused evaluation and so on. The roots of all these evaluation approaches lie in progressive participatory movements to pursue social justice, but the value and values of these practices are contested.

As more evaluation approaches emerge and others, such as realist evaluation, incorporate citizen participation in their repertoire of data collection methods, the lack of conceptual clarity leads to ambiguities and hampers efforts to achieve and evaluate with participatory approaches. This talk will start by providing an overview of all these confounding terms, focusing on differences and similarities with the aim to enhance conceptual clarity. After this, critiques and uncertainties about participatory evaluation approaches will be examined, while understanding how and why they could work within, and add value to theory-driven approaches to evaluation such as realist evaluation.

• April 13th : Editing the journal Evaluation – curating an ongoing conversation 

  Speaker : Elliot Stern (Fellow of UK Academy of Social Sciences; Emeritus Professor Lancaster University). Summary of the session.Vidéo 

Elliot Stern helped Sage, the publisher, launch the journal Evaluation in 1995 and has continued as Editor since then. Over nearly 3 decades the field of ‘evaluation’ has continued to evolve - and the journal has hosted and often championed many of the debates that have underpinned this evolution. One vision that Elliot has is that writing for the journal is about joining an ongoing conversation to continuously refine what we mean by evaluation. An editor as curator is not a neutral role: there are some anchor points. These include a focus on theory, methodology and practice, an explicitly European perspective on what it means to be an international journal; and a continuing concern for interdisciplinarity.

Elliot hopes to elaborate briefly on the above but spend as much time as possible answering questions and initiating a conversation with those who attend the seminar.

The seminar will be facilitated by Anne Revillard (LIEPP) and Thomas Delahais (Quadrant Conseil)

See https://journals.sagepub.com/home/EVI to browse copies of Evaluation – international journal of theory, research and practice.

• March 9th : Are public policy evaluations really used in parliamentary debates? 

  Speaker : Adam Baïz (Cour des Comptes). Summary of the session. Vidéo [FR]

L’évaluation des politiques publiques a véritablement démarré en France dans les années 2000, soit quarante ans après les Etats-Unis. Elle se développe rapidement, mais sert-elle vraiment à éclairer la décision politique ? Afin d’en juger, nous avons étudié 262 lois votées entre 2008 et 2020, dans des domaines aussi variés que la santé, l’éducation, les finances ou encore la sécurité. Nous avons cherché à mesurer, à travers une analyse textuelle et statistique, la mobilisation des travaux évaluatifs par le Parlement et le gouvernement, en amont et en aval du vote de la loi.

• February 16th : Le développement des capacités en évaluation : l'expérience de l'ENAP. Summary of the session.

Speakers : 

- Aref Ben Abdallah (Ecole nationale d'administration publique, Canada). Présentation. 

- Annie d’Amours (Ecole nationale d'administration publique, Canada). Présentation. 

Au Québec, la Loi sur l’administration publique a été adoptée en 2000, donnant la priorité à la qualité des services aux citoyens. Essentiellement, la loi propose un cadre de gestion axé sur les résultats et la performance. En 2014, le Conseil du trésor du Québec a estimé qu’il était d’intérêt gouvernemental de favoriser la prise en compte des constatations et des résultats découlant de toute démarche d’évaluation de programme en faisant adopter la Directive concernant l’évaluation de programme dans les ministères et les organismes afin de favoriser l’évaluation de programme au sein de l’administration et de renforcer les saines pratiques de gestion axée sur les résultats. La Directive visait à une utilisation accrue des évaluations à des fins de planification, d’amélioration et de reddition de comptes. En 2022, la Directive a été évaluée, notamment au regard de sa pertinence, de son efficacité, de sa gouvernance ainsi que de ses effets. Cette session, tout en brossant un portrait large du Cadre de gestion de l'Administration gouvernementale au Québec, présentera les constats et les recommandations des travaux d’évaluation réalisés.

• January 12th : Qualitative Comparative Analysis as an evaluation tool: Potential and challenges
  Speaker: Valerie Pattyn (Institute of Public Administration of Leiden University).

Qualitative comparative analysis (QCA) is gaining strong popularity as an evaluation method. The method enables to identify the configurations of conditions that lead to specific outcomes (e.g. policy effects). In this seminar, we will discuss what it involves to apply QCA in an evaluation context, for which evaluation questions the method is most appropriate, and which challenges QCA evaluators may encounter. This can help reducing unfounded fears and promoting awareness of traps and requirements, when considering to apply the method.

2022

• December 8th :  Les approches d'évaluation basées sur la théorie. 
  Speacker: Agathe Devaux-Spatarakis (Quadrant Conseil). Vidéo

Depuis leur émergence dans les années 1970, les approches d'évaluation basées sur la théorie occupent une place de choix dans la pratique évaluative anglosaxonne et française.On retrouve leur marque dans la diffusion d'outils structurants les évaluations comme les théories du changement, les logiques d'intervention, mais elles sont aussi revenues au centre des débat théoriques comme alternative aux méthodes contrefactuelles (expérimentales ou quasi-expérimentales) pour évaluer l'impact des interventions.

Lors de ce séminaire, en mobilisant des cas d'utilisation nous reviendrons sur les fondements de cette approche, ses atouts ainsi que ses écueils.

• November 10th:  La récolte d’incidences pour une évaluation systémique de la recherche : apprentissages et défis 
  Speaker : Genowefa Blundo Canto (CIRAD). Vidéo

Au cours des deux dernières décennies, les services météorologiques et climatiques ont servi d'instruments politiques clés pour lutter contre la variabilité accrue des précipitations et des événements climatiques extrêmes qui affectent les communautés rurales vulnérables du Sahel ouest-africain. Dans les années 2000, l'Agence Nationale de Météorologie du Sénégal s'associe à des acteurs de la recherche nationale et internationale pour mettre en place des groupes de travail multidisciplinaires décentralisés, l’adaptation du langage aux concepts utilisées par les agriculteurs, et la formation de personnes ressources dans les communautés afin de faciliter l’utilisation des prévisions et des recommandations au niveau local. Au cours des années, ces services météorologiques et climatiques ont été séquentiellement étendus à la plupart des départements du Sénégal.

Dans ce séminaire, nous présentons les résultats de l’évaluation de ce processus d’innovation et comment la recherche y a contribué. En combinant l'Outcome Harvesting (récolte des incidences) avec les récits d’innovation et l’analyse du chemin d'impact, nous montrons que l’expansion des services météorologiques et climatiques vers de nouveaux utilisateurs, secteurs et usages s'est faite selon cinq axes :

1) l'amélioration continue des services,

2) l'émergence et la consolidation des facilitateurs de services,

3) l'inclusion des services dans la planification des actions,

4) la mobilisation active pour soutenir la mise à l'échelle des services,

5) l’autonomisation des acteurs.

Les facteurs qui sous-tendent le processus de mise à l'échelle incluent le renforcement des capacités, le partage des connaissances via des plateformes d'action, et la création d'opportunités d'interaction par les institutions de recherche et leurs partenaires ; le soutien financier national et international ; et un environnement politique favorable. L’Outcome Harvesting a également permis de saisir les défis soulevés par l'expansion de ces services au fur et à mesure de l'apparition de nouveaux utilisateurs et usages. Dans le séminaire, nous menons en outre une réflexion sur la combinaison de méthodes qualitatives d’évaluation pour la production de connaissances sur de processus d’innovation de long terme.

• October 6th: Knowledge brokering (title to be announced), co-organized with IRD

Speakers : Tony Zitti (CEPED, IRD, Université Paris Cité), Gwendal Bars (Agence régionale de santé Ile-de- France), Valery Ridde (CEPED, IRD, Université Paris Cité). Résumé de la séance. 

To know more about the CourtISS project : presentation of the CourISS project

En pleine gestion de crise COVID, des agent·e·s de l’Agence régionale de santé d’Ile-de- France (ARS IdF) ont fait le constat suivant : l’efficacité de l’intervention de l’ARS IdF nécessiterait une meilleure utilisation des données probantes dans le champ des inégalités sociales de santé (ISS). Le projet CourtISS, porté par des membres du Ceped, de l’équipe RENARD (Université de Montréal) et de la Direction de la Santé publique (DSP) de l’ARS IdF, a été co-pensé et co-élaboré à partir de ce constat. L’objectif de cette recherche-action est de tester une intervention de courtage de connaissances au sein de l’ARS IdF pour améliorer la prise en compte des données scientifiques dans les travaux de l’ARS et mieux agir en faveur de la réduction des inégalités sociales de santé en Ile-de-France. Ce séminaire permettra dans un premier temps de présenter une introduction au transfert de connaissances et au courtage de connaissances. Dans un second temps, une présentation sera faite sur l’origine du projet CourtISS, ainsi que les résultats préliminaires de l’analyse du contexte et des besoins des agent·e·s de l'ARS IdF en utilisation des données probantes.

• June 9th: Les méthodes mixtes en science politique et en sociologie : objectifs, stratégie, fabrique

Speakers: Thomas Aguilera (CEE, Sciences Po Rennes), Tom Chevalier (CEE, LIEPP, Sciences Po Rennes)

La présentation sera l'occasion de revenir sur la publication d'un numéro spécial sur l'enjeu des méthodes mixtes en science politique (RFSP, 2021) dans lequel nous avions proposé une analyse du développement cloisonné et contrasté des méthodes mixtes en termes de disciplines et de traditions académiques entre pays tout en mettant en avant de récents travaux empiriques inédits de jeunes chercheur-e-s mobilisant les méthodes mixtes dans leurs recherches. Nous reviendrons également sur une nouvelle typologie de stratégies de méthodes mixtes pour la science politique (Aguilera & Chevalier, 2021) que nous souhaitons maintenant mettre à l'épreuve de la fabrique de la recherche en science politique et en sociologie.

 Clément Pin (LIEPP) et Carlo Barone (OSC, LIEPP). Summary of the session. Video 

La deuxième intervention présentera plus en détail un projet de recherche évaluative reposant sur l’usage des méthodes mixtes mené au sein de l’axe Politiques éducatives du LIEPP. Ce projet permet d’illustrer deux stratégies d’articulation des méthodes quantitatives et qualitatives (Pin & Barone, 2021) : l’une finalisée sur la réalisation d’un essai aléatoire contrôlé, l’autre s’appuyant sur les résultats de cette évaluation pour enrichir la compréhension de processus sociaux – processus concernant en l’occurrence le développement des compétences langagières par un programme de lecture parentale.

Références :

Aguilera, T. & Chevalier, T. (2021). Les méthodes mixtes pour la science politique : Apports, limites et propositions de stratégies de recherche. Revue française de science politique, 71, 365-389.

Pin, C. & Barone, C. (2021). L’apport des méthodes mixtes à l’évaluation : Une expérimentation randomisée dans le champ des politiques éducatives. Revue française de science politique, 71, 391-412. 

• May 9th: Experimental Evaluation Design for Program Improvement 

Speaker: Laura Peck (Principal Scientist, Abt Associates, Social & Economic Policy Division). Summary of the session. Video

The main part of this presentation will detail variants of experimental evaluation designs and how these can stretch evaluations to answer diverse questions about policy and program impacts. The presentation is based on Laura’s recently-published book (SAGE, 2020) by the same title and will draw on substantial field experience, offering applied examples.

• April 7th: Understanding Realist Methodology and the Context-Mechanism-Outcome Configuration

Speaker: Justin Jagosh (Center for Advancement in Realist Evaluation and Synthesis - CARES). Summary of the session. Video

Realist methodology asks the questions: ‘what works, for whom, under which circumstances and how?’ Central to the approach is the context-mechanism-outcome configuration, which can be used to develop initial programme theories and analyze data. The CMO configuration is a deceptively simple heuristic that takes time to understand and use appropriately. Following a brief introduction on realist methodology, this webinar will help to: (1) define the CMO configuration; (2) explain its philosophical versus methodological implications and (3) demonstrate its use in practice. There will be time for questions and discussion. 

• March 10th: Évaluation économique des produits de santé et exemples des agences HTA (Haute Autorité de Santé)

Speaker: Salah Ghabri (Haute Autorité de Santé). Summary of the session. 

L’objectif est de présenter les approches économiques utilisées par les organisations publiques dans l’évaluation des technologies et des programmes de santé. Les principes et les principales recommandations seront présentés dans les cas de la Haute Autorité de Santé (HAS) et du National Institute for Health and Care Excellence (NICE). Un exemple d’évaluation économique à la HAS sera également exposé.

• February 17th: Evaluative Criteria: A Model to Strengthen Criteria Specification in Practice 

Speaker : Rebecca Teasdale (University of Illinois Chicago). Summary of the session. Video

Evaluative criteria define a “high quality” or “successful” intervention and provide the basis for judgment of merit and worth—yet criteria are often assumed and implicit in the evaluation process. This presentation will draw on a recent article and ongoing research to introduce an empirically supported model that describes and integrates two aspects of criteria: domain and source. The talk will highlight how the framework can be used to guide criteria specification, make criteria more explicit, broaden the range of voices and values that shape evaluative inquiry, and clarify evaluation design and reporting.

• January 13th: L'évaluation au-delà des méthodes et des codes : une sagesse pratique 

Speaker: Marthe Hurteau (UQÀM). Summary of the session. Video

L’évaluation a acquis ses lettres de noblesse en tant que discipline au cours des dernières années. Elle a su se pourvoir de fondements théoriques, d’une méthodologie qui prend en considération la multitude des options ainsi que de codes de conduite (standards) et de codes d’éthique. De plus, elle fait l’objet d’une multitude de publications scientifiques et elle est enseignée dans plusieurs universités à travers le monde. Cependant, comme bien des champs professionnels, l'évaluation de programme fait face à de multiples contraintes qui rendent son recours de plus en plus difficile. Diverses professions, comme le domaine de la santé et le management, ont fait appel à une vieille vertu pour les aider, la sagesse pratique.

La présentation fera un bref tour d’horizon des composantes de la discipline, en établissant une distinction entre la déontologie et l’éthique, en guise d’introduction au concept de sagesse pratique. Celle-ci sera explorée par la suite : ce en quoi elle consiste, sa contribution, des pistes pour l’acquérir, etc.

2021 

• December 9th: Introduction aux méthodes expérimentales pour l'étude du comportement humain

Speaker: Lou Safra (CEVIPOF, LIEPP). Summary of the session. Video

Les sciences comportementales occupent une place croissante dans le monde de la recherche en sciences sociales au sens large. Et pour cause, ces nouvelles méthodes, issues notamment de la psychologie expérimentale et des neurosciences, en font des outils particulièrement pertinents pour apporter de nouveaux éclairages sur les questions étudiées en sciences humaines. Néanmoins, comme tout champ de recherche, les sciences cognitives et comportementales ont également leurs limites. Aussi est-il important pour les chercheurs en sciences humaines d’acquérir un regard critique éclairé sur les sciences comportementales mais également de pouvoir s’approprier ces méthodes pour leurs propres recherches. Lors de ce séminaire, je présenterai les principales méthodes utilisées en sciences comportementales et les questions fondamentales à se poser lors de l'élaboration d'un protocole pour la réalisation d'études comportementales.

• October 14th: Presentation of the book "Économie comportementale des politiques publiques"

Speaker: Nicolas Jacquemet (Université Paris 1, PSE). Summary of the session. Video

Yannick GABUTHY, Nicolas JACQUEMET, Olivier L'HARIDON, Économie comportementale des politiques publiques, La Découverte, 2021. 

L’efficacité de l’action publique constitue une préoccupation croissante des autorités, qui sont amenées à solliciter de plus en plus souvent les résultats issus de la recherche en sciences économiques. La contribution de ces travaux à l’élaboration des politiques publiques tient à leur capacité à analyser et comprendre la manière dont les acteurs économiques réagissent aux évolutions de l’environnement dans lequel ils prennent leurs décisions. Ce raisonnement repose sur des hypothèses de comportement fortes, faisant l’objet d’un nouveau courant de recherche, l’économie comportementale, qui allie psychologie et économie afin d’affiner la compréhension des déterminants des décisions.

Cette présentation dressera un panorama des apports de ce nouveau courant à la définition et à l’évaluation des politiques publiques. Il décrit les nouveaux outils d’intervention, comme les nudges, tout en soulignant la pertinence des outils d’intervention traditionnels. Il en propose une application en matière d’économie de la santé, de choix d’épargne et de retraite, de politique environnementale et de régulation du marché du travail.

• September 23rd: Les analyses coûts-bénéfices

Speaker: Clément Carbonnier (Université Paris 8, LIEPP). Summary of the session. PPT presentation. 

Ce séminaire présentera les principaux enjeux et contraintes des évaluations coûts-bénéfices à travers deux exemples filés : les politiques de confinements ciblés en période de Covid d’une part et la politique d’emploi par la baisse du coût du travail de l’autre. Les apports et limites seront discutés le long des étapes de cette méthodologie : recensement exhaustif des coûts et bénéfices ; évaluation multicritère de ces effets ; détermination des équivalents monétaires ; prise en compte de la temporalité ; interprétation des résultats.

• May 6th: Evaluer les initiatives de transition avec l'analyse de contribution

Speakers: Thomas Delahais et Adrien Flichy, Quadrant Conseil. Summary of the session 

Les initiatives qui parient sur des changements profonds dans la fabrique de l'action publique pour faire advenir une transition écologique et sociale se multiplient. Comment les évaluer sans leur imposer des référentiels qu'elles jugent obsolètes ? Comment rendre justice à leurs ambitions de faire évoluer des systèmes complexes? L'analyse de contribution est une approche d'évaluation d'impact qui vise à repérer les contributions plausibles des interventions évaluées et à les tester rigoureusement. Nous présenterons ici cette approche et son application à des initiatives de transition, dans la suite de notre article, Évaluateurs en transition (2020).

• April 15th: What is evaluation and how does it differ from research? (session in English) 

Speaker: Dana Linnell Wanzer, University of Wisconsin-Stout (USA). Summary of the session. Video   

This presentation discusses the findings from a recent article published in the American Journal of Evaluation. The study asked evaluators and researchers to define evaluation and differentiate evaluation from research. Results identified differences, and that evaluators were more likely to differentiate evaluation from research compared to researchers. Overall, this study has important implications for the profession of evaluation and how we communicate evaluation to others.

• March 25th: Évaluer les innovations publiques : enjeux, concepts et perspectives 

Speaker: Mathias Béjean, Université Paris Est Créteil. Session organized in partnership with the Chaire innovation publique. Summary of the session. Video 

Après avoir effectué un panorama historique des théories de l'évaluation, l'exposé se focalise sur de nouvelles approches de l'évaluation des innovations issues du design et des living labs. Nous abordons notamment les notions d'évaluation d'usage, de données de vie réelle et de "test and learn". Dans une troisième et dernière partie, l'intervention propose une réflexion sur l'articulation de ces nouvelles approches avec les standards actuels à partir de deux recherches en cours : les technologies de santé et les innovations pédagogiques.

• March 4th: Les principes généraux de revues systématiques : la démarche Cochrane 

Speaker: Isabelle Boutron, Université Paris Descartes, Centre de Recherches en Epidémiologie et Statistiques. Session co-organized with the Institut Santé Publique Paris (Paris Public Health). Summary of the session 

• February 11th: Évaluation des politiques publiques et indépendance. Le cas des expérimentations aléatoires

Speaker: Jules Simha, CERLIS, Université de Paris. Summary of the session 

Les expérimentations sociales, et avec elles les expérimentations aléatoires, se fixent comme objectif d'évaluer des dispositifs d'action publique de manière extrêmement rigoureuse. Elles mobilisent notamment, dans cette perspective, des acteurs scientifiques issus de la communauté académique. La science est dès lors appelée à devenir un gage de rigueur mais également d'indépendance. En revenant sur cette dernière notion, il s'agit de réinterroger les productions évaluatives tout comme les discours qui vantent leurs mérites.

• January 21st : Benchmark des politiques évaluatives 

Speakers : Adam Baïz and Vincent Aussilloux (France Stratégie). Summary of the session. Presentation (pdf). Reading

L’évaluation d’impact vise à apprécier, à partir de méthodes statistiques, les effets propres d’une politique publique au regard des objectifs qui lui sont assignés. Développée aux États-Unis dès les années 1960, elle apparaît en Europe à la fin des années 1990, portée par la volonté de rationaliser l’action publique et de rendre le processus de décision politique plus transparent. Alors que la France connaît actuellement, avec retard, un essor des évaluations d’impact, France Stratégie a entrepris de recenser les bonnes pratiques dans cinq des pays considérés comme les plus avancés en la matière : les États-Unis, le Canada, le Royaume-Uni, la Suède et l’Allemagne. Sur la base d’entretiens, de rapports institutionnels et d’articles universitaires, trois facteurs clés favorisant la production et l’utilisation des évaluations dans la décision sont analysés : l’existence de dispositifs formels promouvant les évaluations d’impact, le degré de diffusion et d’influence de ces évaluations sur le public et sur les décideurs, et enfin l'ouverture du milieu administratif aux chercheurs en économie.

Texte de support: Vingt ans d’évaluations d’impact en France et à l’étranger - Analyse comparée des  pratiques dans six pays

• January 7th : Les revues de littéraures mixtes 

Speaker: Quan Nha Hong McGill (Canada). Summary of the session. Reading

La revue systématique mixte est de plus en plus populaire. Il s'agit d'un type de revue de littérature qui suit une approche systématique et inclut des études utilisant des méthodes quantitatives, qualitatives et/ou mixtes. En combinant des études qualitatives, quantitatives et mixtes, la revue systématique mixte permet d'aborder des questions complémentaires et d'approfondir la compréhension des phénomènes observés. Les dernières années ont été marquées par un développement considérable des méthodes de repérage, de sélection, d'évaluation et de synthèse des études qualitatives, quantitatives et mixtes. Durant ce webinaire, nous ferons un bref survol de ce développement méthodologique et présenterons différents devis de synthèse qui peuvent être utilisés dans une revue mixte. 

Texte de support : Quan Nha Hong, Anne-Marie Turcotte-Tremblay et Pierre Pluye. 2019. Les revues systématiques mixtes. Un exemple à propos du financement basé sur les résultats. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. 157-186. Québec : Éditions science et bien commun et Marseille : IRD Éditions.

2020

• December 10th: The craft of interviewing (individuals and groups) in realist evaluation 

Speaker: Dr. Ana Manzano, Associate Professor in Public Policy, School of Sociology & Social Policy (University of Leeds). Summary of the session. Reading. Video

In evaluation research -most especifically in formative, process and development approaches- individual and group interviews are frequently the main and only tool to generate data about programme effectiveness. There is much debate about the conduct of the interview (closed versus open, formal versus informal, etc.) and there is also a rather elaborate embroidery of subtypes and distinctions. One contribution rather ignored -and a significant one for evaluation- is the realist interview. Realist evaluation processes -among other methods of data collection- the use of theory-driven interviews to 'inspire/validate/falsify/modify' hypotheses about how programmes and interventions work. This talk will provide an overview of how individual and group interview techniques have been applied in realist evaluations in the last decade as well as suggesting some guiding principles. 

Reading : Manzano A. The craft of interviewing in realist evaluation. Evaluation. 2016 Jul;22(3): 342-60. 

• November 26th : De l’usage des cadres et théories pour l’évaluation des interventions

Speaker: Valéry Ridde, Directeur de recherche au CEPED (Université de Paris/IRD). Summary of the session. Reading. Video

Lorsqu'il s'agit d'étudier les effets de la mise en oeuvre des interventions de santé publique, il devient indispensable d'avoir recours à une approche interdisciplinaire et des méthodes mixtes. Mais rares sont les chercheur.es et les formations universitaires qui s'inscrivent dans ce pragmatisme tant le dogmatisme et la fragmentation dominent encore les recherches sur les objets de santé publique. En outre, le recours à des théories et des cadres conceptuels ex ante est bien souvent perçu comme une hérésie épistémologique pour certain.es. Et même lorsque cela est le cas, les chercheur.es tombent parfois dans la facilité, appliquant sans jusitification ou discernement une théorie ou un cadre conceptuel déconnecté de son contexte d'utilisation. Cette présentation est une démarche réflexive basée sur l'expérience récente de la coordination scientifique de trois projets de recherche interventionnelle en santé publique au Burkina Faso et au Mali. Elle cherche à expliciter les démarches méthodologiques prévues à l'origine dans les protocoles de recherche; puis, à mettre en exergue les différents défis épistémologiques et méthodologiques que la rencontre de la santé publique avec d'autres disciplines ont permis de révéler. Enfin, il s'agit d'en tirer quelques leçons plus générales pour notre pratique collective d'une recherche interventionnelle interdisciplinaire usant de méthodes mixtes. 

Texte de support : Ridde V., Pérez D., Robert E. 2020. Using implementation science theories and frameworks in global health. BMJ Global Health.

• November 5th : Les enjeux d'imputation causale : focus sur quelques méthodes quantitatives

Speaker: Denis Fougère, OSC et LIEPP de Sciences Po. Summary of the session. Reading. Video

Les méthodes d’évaluation sont aujourd’hui fréquemment utilisées pour estimer les effets des interventions publiques en matière de santé, d’éducation ou d’emploi. Pour l’essentiel, ces méthodes sont fondées sur une comparaison entre des élèves, des classes, des salariés ou des entreprises bénéficiant de l’intervention ou de la politique que l’on souhaite évaluer (le groupe cible) et des élèves, des classes, des salariés ou des entreprises n’en bénéficiant pas (le groupe témoin).

Au cœur de la démarche statistique d’évaluation, est souvent posée la question des biais de sélection ou d’auto-sélection : le recours à un dispositif public d’aide ou d’accompagnement est une décision reposant en général sur des choix, individuels ou collectifs. Si l’on ne tient pas compte de ces mécanismes de choix, l’on risque de produire des estimations biaisées des effets de l’intervention publique en comparant directement les situations des deux groupes, cible et témoin. Pour limiter les conséquences des biais de sélection, les statisticiens utilisent généralement un groupe témoin (ou groupe de contrôle) dont les caractéristiques observables se rapprochent le plus possible de celui des membres du groupe cible (ou groupe de traitement).

La méthode permettant en théorie de limiter au maximum le biais de sélection est l’expérimentation randomisée, dont le principe est maintenant bien connu. Lorsque cette méthode, souvent difficile et longue à mettre en place, ne peut être utilisée, les statisticiens recourent à des méthodes dites quasi-expérimentales, notamment les doubles différences (differences-in-differences), la régression avec discontinuité (regression discontinuity design) et l’appariement d’échantillons (matching). Notre exposé présentera brièvement le principe de chacune de ces méthodes quasi-expérimentales, à l’aide notamment d’exemples illustratifs.

• October 8th : Un aperçu international sur l’évaluation des politiques publiques. 

Speaker: Stephane Jacobzone (OCDE). Summary of the session. Reading 

L'évaluation des politiques est un élément essentiel de la bonne gouvernance, car elle favorise la responsabilité publique et contribue à la confiance des citoyens dans le gouvernement. L'évaluation permet de s'assurer que les décisions sont ancrées dans des données fiables et qu'elles produisent les résultats souhaités. Les conclusions du rapport de l'OCDE "Improving Governance with Public Policy Evaluation : Lessons From Country Experiences" seront présentées et disctuées ici. Ce rapport propose une analyse systémique de l'institutionnalisation, de la qualité et de l'utilisation de l'évaluation dans différents pays et examine les liens entre ces trois dimensions. Nous verrons que le rapport couvre également les aspects transversaux liés à l'évaluation réglementaire et à la budgetisation des performances. Nous soulignerons enfin le rôle et les fonctions des institutions clés au sein de l'exécutif, telles que les centres de gouvernement et les ministères des finances. 

Texte de support : OCDE. 2020. Improving Governance with Policy Evaluation : Lessons From Country Experiences. OECD Public Governance Reviews. Éditions OCDE, Paris.

• September 24th : L’apport des méthodes mixtes pour l’évaluation d’un programme par expérimentation randomisée. 

Speaker: Clément Pin, chercheur postdoctoral au LIEPP, et Carlo Barone, professeur de sociologie à Sciences Po (OSC-LIEPP). Summary of the session. Video

Si l'appel à dépasser le clivage entre les méthodes quantitatives et qualitatives n'est pas nouveau dans le champ des sciences sociales, le développement de travaux pratiquant et/ou revendiquant leur mixage au sein d'un même projet de recherche s'est affirmé ces dernières années. Cette communication présente un projet de ce type et le mobilise comme un cas permettant d'illustrer et de nourrir une réflexion méthodologique centrée sur le recours aux méthodes mixtes dans l'évaluation des politiques publiques. L'objet du projet était de concevoir, mettre en oeuvre et évaluer un programme d'action visant à favoriser le développement des compétences langagières d'enfants de milieux défavorisés. Tout en recourant à une expérimentation randomisée, généralement associée aux méthodes quantitatives en ce qu'elle procède par un raisonnement de type hypothético-déductif centré sur l'identification statistique d'un lien causal, le projet de recherche intégrait une composante qualitative dès sa phase de conception et sur l'ensemble du déroulement, pour produire des connaissances relatives à son contexte de mise en oeuvre et aux conditions de sa réception.

La première partie de la communication, à dominante épistémologique, présentera la stratégie de recherche adoptée au regard de la littérature académique qui théorise une pratique dite réaliste de l'évaluation. La deuxième partie, à dominante méthodologique, précisera l'apport des méthodes qualitatives pour la réalisation d'un essai aléatoire contrôlé, en illustrant avec l'expérimentation de terrain que nous avons réalisée. 

• September 10th : Cartographie de quelques méthodes de revues systématiques utilisées en sciences sociales et de la santé. 

Speaker: Loubna Belaid, chercheure associée à CIET Trust et au groupe de recherche participative au département de médecine de famille, Université McGill, Montréal, Canada. Summary of the session. Reading

La revue systématique est devenue peu à peu l’étalon-or pour identifier, analyser, et synthétiser les données scientifiques les plus robustes pour répondre à une problématique donnée, quelle que soit la discipline ou le secteur concerné. Elle se distingue des revues de type « état de l’art » par leur processus systématique, rigoureux et transparent. La revue systématique est un outil important pour les politiques publiques et les pratiques fondées sur des données probantes qui visent à rapprocher la recherche de la prise de décision. 

Ce séminaire vise à présenter un aperçu des différentes méthodes de revues systématiques existantes. Nous décrirons chacune des revues selon ses caractéristiques, ses étapes, ses forces, ses défis et limites. 

Ce séminaire pourrait être utile pour les intervenants (chercheurs et praticiens) qui souhaitent développer des actions et des politiques fondées sur des données scientifiques ainsi qu’aux étudiants désirant proposer un état des lieux systématique et rigoureux des connaissances pour construire la problématique de leur mémoire ou de leur thèse de recherche universitaire. 

Texte de support : Belaid, Loubna and Valéry Ridde. 2020. Une Cartographie de Quelques Méthodes de Revues Systématiques. Working Paper CEPED N°44.

LIEPP's Environmental Policies research group is glad to invite you to the seminar : 

The politics and policy of the allocation of development finance for renewable energy projects

Wednesday April 6th, 12h00-14h00 (CET)
Location : Innovation Room, LIEPP, 1 place Saint Thomas d'Aquin, 75007
Mandatory registration

Presentation by: 

• Cristina Peñasco: Professor of Public Policy, University of Cambridge and visiting professor at LIEPP in March-April 2022. 

Abtract: The access to affordable and clean energy is one of the global goals in the Agenda 2030. Energy is a priority resource as it acts as an asset at the core of sustainable development: it can help overcome social, economic and environmental challenges. The transition to low carbon economies is essential for economic development in developing economies and it opens venues for developed countries to think strategically about energy and foreign policy in a changing context. Analysing how bilateral aid for renewable energy projects i.e. mitigation energy projects for energy generation with renewable sources, is allocated is essential to understand if donor countries prioritize social and environmental goals or if their motives are less altruistic and more focused on their own economic and strategic benefits. This seminar will explore the factors behind the decision of donor countries regarding the provision of Official Development Assistance (ODA) for renewable energy projects in developing countries and will propose policy solutions to foster the effectiveness of ODA and its catalytic role in reducing risks and secure further investments on renewable energy generation infrastructure.

Le LIEPP co-organise l'École thématique : 

Étudier, comprendre et appréhender les violences fondées sur le genre.
Perspectives interdisciplinaires et internationales (Violences_Genre) 

Dates : du lundi 16 mai 2022 au vendredi 20 mai 2022

Lieu : Centre d'hébergement Paul Langevin (CAES du CNRS) à Aussois, Savoie 

Objectifs scientifiques de l'école 

L’objectif de cette école thématique est double : il s’agit de proposer un état des lieux des savoirs sur les violences fondées sur le genre et de revenir sur les différents types de politiques publiques qui existent pour les combattre. À ce titre, dans le contexte de prise en compte croissante de ces violences, l’école thématique vise à acquérir des bases indispensables des savoirs sur les violences de genre : épistémologiques, sociologiques, historiques, anthropologiques, juridiques ou encore épidémiologiques.

Les violences de genre sont aussi façonnées par les contextes politiques et sociaux. L’école thématique s’intéressera aux effets contextuels sur ces violences, en particulier là où les violences interindividuelles de tous types et létales façonnent au quotidien toutes les sociabilités. Comment des contextes de crime organisé, de violences de masse, ou des états de guerre modifient-ils la construction et la perception des violences de genre ? En quoi ces contextes, malgré leur diversité, se rejoignent-ils cependant dans une possible interprétation à travers le filtre du genre ? Pour répondre à ces interrogations, l’école thématique tâchera de faire émerger des questionnements communs à différentes traditions académiques et s’appuiera sur différentes perspectives disciplinaires (droit, sociologie, philosophie, anthropologie, médecine, etc.).

Publics concernés 

L’objectif de cette école thématique est de permettre des discussions entre des chercheuses et des chercheurs spécialistes des violences de genre, doctorant.e.s, docteur.e.s, titulaires ou non, et des personnes travaillant à d’autres titres sur les violences :

a) chercheur·e·s étudiant d’autres formes de violences (violences de guerre, violences de masse, autres formes de violences interpersonnelles) qui n’ont pas nécessairement questionné leurs terrains sous l’angle du genre ;

b) chercheur·e·s ayant rencontré la problématique des violences de genre au cours de leurs recherches, mais de manière annexe ou connexe et qui souhaitent s’en saisir plus avant. En ce sens, notre école thématique invitera des chercheur·e·s à réaliser en quelque sorte une revisite de leurs propres travaux dans l’optique des violences de genre : font-elles sens, dans ces matériaux d’enquête constitués sur d’autres thématiques ou à d’autres fins ? Qu’éclairent-elles sur ces terrains “décalés” ?

c) chercheur·e·s qui travaillent sur les violences de genre et qui souhaitent renforcer leurs connaissances ; 

d) non-chercheur·e·s dont la pratique professionnelle, non nécessairement orientée par une grille de lecture genrée, concerne les violences à un titre ou un autre.

Modalités d'inscription 

Les demandes d’inscription doivent être envoyées à l’adresse suivante : et.violencesdegenre@gmail.com

Date limite de préinscription : 15 mars 2022

Confirmation et paiement des inscriptions : 16-30 mars 2022

Toutes les informations et le programme détaillé

L'axe politiques éducatives du LIEPP a le plaisir de vous inviter au séminaire : 

Bilan et perspectives du dispositif d'ouverture sociale à Sciences Po

Vendredi 18 février, 16h30-18h30 (en ligne)
Inscription obligatoire

Interventions : 

• Stratégies de présentation de soi et modes de jugement des performances à l’oral des candidats à Sciences Po par la voie « Convention éducation prioritaire » (CEP) par Agnès VAN ZANTEN (OSC, LIEPP)

Cette présentation s’appuiera sur deux ensembles de matériaux recueillis dans le cadre d’une enquête qualitative plus vaste, réalisée entre 2013 et 2020 et portant sur les trajectoires et expériences des étudiants ayant été admis à Sciences Po par la voie « Convention éducation prioritaire ». Il s’agit tout d’abord de 72 entretiens avec des jeunes « CEP » dont 30 effectuant encore des études à Sciences Po en premier cycle ou en Master et 42 diplômés, tous sauf un exerçant déjà un emploi. Il s’agit ensuite d’entretiens avec 30 membres des commissions d’admission par la voie CEP et avec 9 organisateurs de ces commissions, à quoi s’ajoutent des observations participantes d’une dizaine de commissions. La perspective interactionniste adoptée mettra l’accent sur la façon dont deux modalités idéaltypiques de présentation de soi adoptées par les étudiants (méritocratique et stratégique) interagissent avec deux modalités de jugement des membres des commissions (le jugement professoral et le jugement managérial) et sur leurs effets sur les chances d’admission des candidats.

• Dynamiques sociales et territoriales du recrutement à Sciences Po : l’impact du CEP par Marco Oberti (OSC, LIEPP)

• Le tour des ronds-points , à propos du dernier ouvrage de Pierre Blavier dans La vie des idées du 17/01/2022.
• La Cour des comptes épingle le RSA : "lI faut augmenter le montant" et "simplifier" son accès, préconise un enseignant-chercheur , article citant Michaël Zemmour dans France info du 13/01/2022.
• « Si la réforme des retraites a été retirée, c’est avant tout parce que le gouvernement a fait face à un mouvement social déterminé » , tribune co-rédigée par Michaël Zemmour dans Le Monde du 27/12/2021.
• Le montant du smic est-il politique ? , émission avec Michaël Zemmour sur France Culture du 21/12/2021.
• L’actualisation dans les analyses coûts-bénéfices , blog de Clément Carbonnier dans Alternatives économiques du 14/12/2021.

Axe discriminations et politiques catégorielles

• Le handicap et ses discriminations , article de Célia Bouchet dans La vie des idées du 04/01/2022.
• Congé paternité : pour que maman travaille , émission avec Hélène Périvier sur France 24 du 08/12/2021.

• Les campagnes et programmes électoraux ont bien un impact sur les politiques publiques , recension de l'ouvrage d'Emiliano Grossman sur le site du CNRS du 16/12/2021.

• Vers une baisse des salaires post Covid ? , entretien avec Etienne Wasmer dans Atlantico du 27/12/2021.
• L’impact du télétravail commence à impacter l’immobilier commercial , interview avec Jean-Benoît Eyméoud dans Atlantico du 13/12/2021.

Axe discriminations et politiques catégorielles

• Les discriminations à l'embauche minent la cohésion sociale , tribune co-signée par Morgane Laouénan et Mirna Safi dans Libération du 30/11/2021.
• Discrimination. À l’embauche, mieux vaut s’appeler Paul que Djamel , article se faisant écho du rapport publié par l'IPP et co-signé par Morgane Laouénan, Mirna Safi et Pierre Villedieu dans L'Humanité du 25/11/2021.
• Discriminations à l’embauche : un phénomène qui reste « généralisé et persistant » , article citant ce même rapport dans Le Monde du 24/11/2021.
• La discrimination à l'embauche a la vie dure pour les candidats d'origine maghrébine , article citant ce même rapport dans Les Echos du 24/11/2021.
• Pologne : Quels enjeux politiques se jouent à la frontière bélarusse, où sont bloqués des milliers de migrants ? , article citant Virginie Guiraudon dans 20 minutes du 10/11/2021.
• Migrants entre la Pologne et la Biélorussie: «Les dernières déclarations parlent de guerre hybride» , émission de RFI avec Virginie Guiraudon du 09/11/2021.
• Crise des migrants : quatre migrants percutés par un train à Calais, un mort et un blessé grave , émission de France 24 avec Virginie Guiraudon du 05/11/2021.

• Paumés dans leurs études, ils changent et rechangent d'orientation , article citant Agnès Van Zanten dans Les Echos Start du 04/11/2021.
• Le « Dictionnaire de pédagogie » de Meirieu est vraiment « inattendu » , article citant Agnès Van Zanten dans Médiapart du 02/11/2021.
  
  

• Corruption, favoritisme... 5 minutes pour comprendre pourquoi Boris Johnson est dans la tourmente , article citant Florence Faucher dans Le Parisien du 10/11/2021.
• Julia Cagé : « Contre les médias Bolloré, il faut réagir vite ! » , entretien avec Julia Cagé dans Alternatives Economiques du 04/11/2021.
  
  

• Covid-19 : la santé publique comme laboratoire du contrôle social , article de Mathieu Corteel dans AOC du 24/11/2021.
  
  

• Trois ans après les « gilets jaunes », pourquoi la vie chère ne mobilise plus , article citant Pierre Blavier dans Médiapart du 16/11/2021.