L’instrument DIME Quanti, au travers du panel ELIPSS (Étude Longitudinale par Internet Pour les Sciences Sociales) a été un dispositif de production d’enquêtes par questionnaire destiné à la communauté scientifique. Il reposait sur un échantillon aléatoire (3000 personnes) de la population résidant en France métropolitaine dont les membres avaient été équipés d’une tablette tactile connectée à Internet pour répondre à des enquêtes mensuelles.

Objectifs

DIME Quanti vise à doter la communauté scientifique de moyens de production de données à partir des standards méthodologiques les plus élevés.

Grâce au tirage aléatoire de l’échantillon ELIPSS, les enquêtes académiques sélectionnées pouvaient atteindre les critères de qualité statistique de référence. La dimension longitudinale de l’instrument était également un axe fort du dispositif puisqu’il existait très peu de données de panel¹ de grande envergure pour la recherche en sciences sociales.

Un objectif secondaire du dispositif DIME Quanti était le développement de la recherche méthodologique notamment grâce à l’accompagnement de projets innovants et d’expérimentations sur le design d’enquêtes.

Enfin, la documentation et la diffusion des données produites par l’instrument visait à favoriser leur réutilisation et participait ainsi à la cumulativité de la recherche.

Positionnement

ELIPSS s’inscrit dans le paysage international des panels sur Internet à destination de la communauté académique. Le recours à Internet s’est très rapidement développé au cours des quinze dernières années dans le secteur des enquêtes marketing et des sondages d’opinion, principalement en raison des faibles coûts et de la rapidité de collecte que permet le web.

Dans un rapport sur les enquêtes par Internet (Baker², 2010), l’AAPOR (American Association for Public Opinion Research) attirait l’attention sur les biais importants des access ou opt-in panels (interrogation des internautes) lorsqu’on s’intéresse à la population générale. En effet, si l’accès à Internet s’est fortement accru depuis le début des années 2000, une partie de la population n’est toujours pas connectée. Par exemple en France en 2017, 15% de la population restait sans accès à domicile. Ce défaut de couverture exclut de fait une partie de la population des enquêtes en ligne. De plus, le recours des access ou opt-in panels à des échantillons non probabilistes remet en cause leur représentativité et l’extrapolation des résultats.

Pour autant, les avantages des enquêtes par Internet ont très tôt intéressé la recherche en sciences sociales notamment pour pallier la baisse des taux de réponse dans les enquêtes traditionnelles.

Afin de dépasser les biais soulignés par l’AAPOR, il convient de construire un panel Internet à partir d’un échantillon aléatoire de la population. Ceci suppose de recourir à un mode de recrutement hors‐ligne (en face-à-face ou par téléphone) pour inclure les personnes qui n’ont pas accès à Internet et de les équiper d’une connexion le cas échéant (Das, Ester and Kaczmirek, 2011)³.

Plusieurs initiatives ont ainsi vu le jour dans le monde académique : le LISS Panel du CentERdata de l’université de Tilburg aux Pays-Bas et le Knowledge Panel aux États-Unis sont les premiers à avoir utilisé un échantillonnage probabiliste. La France avec ELIPSS et l’Allemagne avec le GESIS et le GIP ont suivi ces exemples dès 2011 (Blom et al., 2016)⁴. D’autres panels probabilistes destinés à la recherche ont ensuite été mis en place en Norvège, en Suède, en Islande ou encore au Royaume-Uni.

Les modalités de recrutement et d’inclusion des personnes sans accès à Internet diffèrent entre ces dispositifs nationaux. L’originalité de l’instrument DIME Quanti était de fournir l’accès à Internet à tous les panélistes par la mise à disposition de tablettes tactiles connectées au réseau mobile. Ce modèle avait pour avantage méthodologique d’assurer l’équivalence du format des questionnaires pour tous les répondants et d’éviter certains biais de mesures liées à des présentations de questions différentes.

Fonctionnement

Proposées dans le cadre d’appels à projets, les enquêtes soumises au panel ELIPSS étaient sélectionnées par le comité scientifique et technique (CST) DIME Quanti. L’équipe ELIPSS accompagnait alors les équipes de recherche sélectionnées dans la conception du questionnaire et prenait en charge les différentes phases de la réalisation de l’enquête : la programmation du questionnaire, les tests, la collecte des données via l’application dédiée, le suivi du terrain et les relances, jusqu’à la restitution aux porteurs du projet d’enquête d’un fichier de données exploitable.

Après une exclusivité maximale d’un an pour les équipes ayant co-produit une enquête ELIPSS, les données venaient enrichir le catalogue du CDSP pour être mises à disposition de l’ensemble de la communauté scientifique.

Apports

En donnant les moyens à de nombreuses équipes de recherche de réaliser une enquête, ELIPSS a recueilli une variété impressionnante de données détaillées, qui éclairent sur les évolutions les plus récentes des situations sociales, des pratiques et des attitudes en France dans un très grand nombre de domaines. Parmi les 80 jeux de données qui en résultent, Dime Quanti a donné lieu à des collaborations interdisciplinaires originales ; l’enquête SHAMA par exemple associait essentiellement des architectes et nutritionnistes autour des liens entre aménagement et obésité. Le dispositif s’est également démarqué par la possibilité de réaliser des enquêtes longitudinales : le projet DYNAMOB avec 18 vagues administrées sur le rapport à la politique tant en période électorale qu’en période dite ordinaire ou encore l’enquête annuelle sur l’évolution des conditions de vie portée par le CDSP en sont les meilleurs exemples. Enfin, les données produites dans le cadre d’ELIPSS ont pu parfois être au plus près de l’actualité comme le démontre le projet Coping with covid-19.

La richesse de ces données permet de mener des analyses poussées des dynamiques qui traversent la société française, à la fois grâce aux très nombreuses informations individuelles collectées sur les pratiques, les habitudes et les attitudes des panélistes, et grâce à la dimension longitudinale de certaines des enquêtes, dont les questions sont répétées plusieurs fois à intervalles réguliers afin de saisir les évolutions les plus fines des comportements et des opinions.

Au-delà même des connaissances produites sur la société française, les nombreux terrains d’enquêtes réalisés avec ELIPSS offrent la possibilité d’interroger la constitution même de ce savoir et les conditions dans lesquelles il est produit. En effet, l’administration de questionnaires via Internet au moyen d’une tablette tactile mise à disposition des répondants a permis à la fois d’innover méthodologiquement, en faisant émerger et en expérimentant de nouvelles manières de construire des questions et des questionnaires en population générale et de comparer les données ainsi produites avec celles obtenues au moyen d’autres techniques d’administration d’enquête, en France et dans d’autres pays.

Poster bilan de ELIPSS

Pérennisation

Le dispositif ELIPSS reposait sur des expertises variées (design d’enquêtes par Internet, suivi de panel, protection de la confidentialité des répondants, développement d’infrastructures logicielles dédiées à la gestion d’échantillons, de flotte mobile et d’enquêtes, etc.) qu’il s’agit aujourd’hui de mettre à profit pour accompagner de nouveaux projets pour la recherche. L’expérience acquise au travers de la mise en place et de la gestion du panel ELIPSS peut servir des projets d’envergure internationale ; de fait les équipes du CDSP participent depuis 2019 à la mise en place du panel européen CRONOS2 (porté par l’ERIC ESS) au travers de deux projets financés sur les appels infrastructures H2020 (Projets SSHOC et ESS-SUSTAIN-2).

Par ailleurs, les travaux entrepris à partir de l’expérience et des données d’ELIPSS vont se poursuivre et s’amplifier bien au-delà du financement initial. C’est même avec le temps que la valeur d’un dispositif de suivi longitudinal tel qu’ELIPSS s’affirme pleinement. A ce titre, le dispositif mis en place pour le suivi des expériences de confinement pendant la crise de la Covid-19 a montré combien il est précieux de disposer de données antérieures à l’événement pour établir l’effet spécifique de celui-ci.

La pérennisation du dispositif ELIPSS est par ailleurs assurée. Ses modalités ont changé, notamment avec la fin de la fourniture de tablettes et d’abonnements internet aux répondants, en réponse tant aux évolutions de la place d’Internet dans notre société que pour limiter les coûts globaux du dispositif. ELIPSS repose dorénavant sur l’engagement de Sciences Po et des partenariats scientifiques avec les institutions désireuses d’utiliser la plateforme. A titre d’exemple, l’enquête internationale ISSP a choisi ELIPSS pour réaliser ses terrains français en 2020-2021. En 2020, ELIPSS a achevé le second rafraîchissement de son échantillon pour maintenir un effectif global de plus de 2000 participants.