Meryem Bezzaz : Je m’intéresse au cadrage des politiques énergétiques européennes par ce qu’on appelle le trilemme énergétique : concilier la sécurité des approvisionnements, un prix abordable et les objectifs environnementaux. J’utilise R pour télécharger en masse des documents publics disponibles en ligne : des rapports produits par les acteurs qui m'intéressent, ainsi que des textes législatifs (des directives, des règlements, etc.) sur les politiques énergétiques européennes. Ensuite, il s’agit de les nettoyer (transformer les PDF en fichiers texte, supprimer les images, etc.) et de les transformer en données (selon les cas, ces données sont des mots, des phrases ou des paragraphes) : je crée une base de données textuelles pour pouvoir ensuite l’analyser. La prochaine étape sera de chercher à détecter la présence de certains mots-clés, les liens entre les concepts du trilemme, mais aussi l’évolution du cadrage au cours du temps, les tendances selon les types d’auteurs des documents : est-ce qu’on peut en déduire des différences en termes de priorités politiques ? Cet aspect n'est qu’une partie de ma thèse : j’ai aussi réalisé des entretiens avec les personnes qui ont produit ces documents. 

Malo Jan : Je fais aussi à la fois de la collecte et de l’analyse de données pour ma thèse. Celle-ci porte sur l'évolution de la compétition partisane sur les enjeux climatiques ; autrement dit : comment les partis politiques se positionnent sur les questions climatiques, aujourd'hui par rapport à quelques années en arrière, et ceci dans différents pays européens. Pour cela, avec Luis, nous avons collecté leurs communications dans une dizaine de pays européens : posts sur les réseaux sociaux, discours parlementaires, communiqués de presse, etc. On parle de millions de textes, dans différentes langues. L’étape suivante, c'est de réussir à identifier, parmi tous ces textes, ceux qui traitent des questions environnementales et climatiques. Pour faire cette classification, j’utilise le machine learning : sur un petit échantillon de textes, on va définir (annoter ou coder) que tel texte parle de climat, tel texte n’en parle pas. Ensuite, on va entraîner un modèle de Natural language processing (NLP) qui va être capable de répliquer les décisions qu'on a prises. Une fois que le modèle fonctionne bien, cela nous permet de savoir à quel point, parmi tout ce qu'ils publient, les partis abordent le sujet du climat. Et ensuite, dans ce sous-ensemble, de mesurer de façon plus précise les positions des partis concernés : peut-on identifier différents types de discours sur les questions climatiques, par exemple d’opposition ou de soutien aux politiques climatiques ? Ces nouvelles méthodes nous donnent des moyens de mesurer des choses qu’on ne pouvait pas mesurer avant.  

Luis Sattelmayer : Pour ma part, je fais des choses similaires, mais sur l'immigration : j’étudie comment les partis traditionnels en Europe s’engagent sur ce thème phare de l’extrême-droite. Pour cela, je travaille sur le corpus construit en commun avec Malo (PartySoMe, Party Social Media). Ensuite, je cherche à savoir si les prises de position de ces partis traditionnels en matière d’immigration peuvent expliquer leur déclin dans les urnes. Pour cela, j’intègre la mesure obtenue (c’est-à-dire une position plus ou moins favorable à l’immigration) dans un modèle de statistiques inférentielles. 

Selma Sarenkapa : Pour moi, une première étape a été de collecter les archives de presse écrite de deux pays, l’Allemagne et la France (12 journaux depuis 1995, ce qui correspond à trois millions d'articles environ). Ensuite, après le nettoyage du corpus, j'ai entraîné un modèle à détecter et classifier automatiquement certains groupes sociaux tels que les femmes, les immigrés et les investisseurs. Dans une deuxième étape, je cherche à savoir comment ces différents groupes sont dépeints dans les médias : sont-ils mentionnés de manière positive ou négative ? Et dans quel contexte (sur quels thèmes portent les articles) ? Pour cette étape, il va peut-être falloir des allers-retours entre approches non supervisées et supervisées [voir encadré] : voir d'abord ce que le modèle propose comme thèmes et si cela fait sens, et si ce n’est pas le cas, revenir à une approche supervisée.

Selma : Nous avons réalisé que nous étions plusieurs à utiliser des méthodes assez similaires. L'idée était donc de rencontrer d’autres doctorantes et doctorants de différentes universités qui utilisent aussi ces approches pour étudier des sujets liés à la compétition politique et à la polarisation dans la communication politique, sur les médias sociaux, dans les médias traditionnels, dans les politiques publiques. L’objectif était de faciliter un échange productif d'idées sur les travaux de doctorat de chacun.

Luis : Nous avons invité des doctorants et doctorantes que l'on connaissait déjà et d’autres qu'on ne connaissait pas encore : cela permet de créer du réseau. Cela nous a aussi permis de faire savoir qu’à Sciences Po, il existe tout un groupe de personnes s’intéressant aux Computational Social Sciences, avec bien sûr le medialab [représenté lors de ces journées], mais pas uniquement. 

Meryem : Au-delà des présentations de travaux de thèses, qui ont montré différentes méthodes à différents stades d’avancement, soulevé différentes questions, je retiens aussi les échanges avec des chercheurs et chercheuses senior comme Alex Kindel (medialab), qui est venu rappeler l’importance de la validité constructive (capacité d’un modèle à refléter ce qu’il est supposé mesurer) et de la validité prédictive (capacité à prédire des résultats futurs), Jan Rovny qui a insisté sur l’importance d’une base théorique solide et Ronja Sczepanski qui est intervenue sur la publication en sciences sociales computationnelles.  

Malo : L'objectif de ce cours était de former des étudiantes et étudiants qui ont déjà des bases en programmation, pour aller un peu plus loin que ce qui est abordé en master. Avec Luis, nous nous sommes formés seuls, mais nous pensons que c'est quelque chose qui devrait faire partie de la formation à la recherche aujourd'hui à Sciences Po. En une semaine, nous avons proposé un panorama de ces techniques, montrant comment on part d'une question de recherche, ce qu'on cherche à mesurer dans des textes, comment on construit son corpus, comment collecter des données en ligne, jusqu’aux avancées les plus récentes matière d’analyse, avec tout ce qu’impliquent l’intelligence artificielle et les Large Language Models (comme BERT, ChatGPT, etc.)  Nous avons abordé chaque jour un type de méthode : méthodes supervisées, méthodes non supervisées [voir encadré], comment convertir des données textuelles en représentation numérique pour pouvoir ensuite les traiter avec des méthodes statistiques, etc. 

Luis : Nous avions structuré le cours en trois sessions chaque jour : une première session d’apports théoriques, une deuxième faisant la démonstration d’exemples de codes informatiques, et une troisième session pour faire pratiquer les étudiantes et étudiants à partir de cas pratiques que nous avions préparés. Par exemple, nous leur avons proposé d’annoter des textes de façon collaborative, avec 20-30 textes à coder chacun, qui ont ensuite servi à entrainer un modèle pour leur montrer comment cela fonctionne. 

L’avantage de ce format d’une semaine, c’est que les étudiantes et étudiants sont repartis avec une compréhension globale des différents concepts et méthodes, leurs avantages et inconvénients, et des scripts qu’ils peuvent réutiliser. Mais une semaine aussi intense ne laisse pas forcément assez de temps aux participantes et participants pour développer leurs projets. Or, il y en a un certain nombre qui soit viennent avec des projets en tête, soit réalisent au cours de la semaine ce qu'ils pourraient faire avec ces méthodes en lien avec leurs intérêts de recherche. Proposer un cours sur un semestre permettrait de mieux accompagner ces projets. 

En tout cas, c’était un plaisir de voir cet engouement (nous avons même dû créer une liste d'attente à un moment donné). Cela montre qu’il y a une vraie demande, en complément des deux cours sur R que nous donnons respectivement en premier et deuxième semestre de master. 

Luis : Il y a des tâches sur lesquelles ces méthodes sont moins performantes : si l’on cherche à mesurer un concept qui est compliqué à expliquer (et à détecter systématiquement, même par des humains), la méthode aura beau être aussi avancée et sophistiquée, cela ne marchera pas. Si l’on choisit une méthode supervisée, il faut que le concept qui nous intéresse soit bien défini.

Malo : L'utilité des méthodes supervisées, c'est de pouvoir mesurer des concepts de sciences sociales dans de larges corpus de données. L'avantage vient vraiment avec le volume de données parce que le but, c'est d'automatiser quelque chose qui prendrait beaucoup plus de temps si on le faisait manuellement de A à Z. Il faut donc aussi se demander si notre volume de données est suffisant pour nécessiter ce type de méthode. 

En fait, la question est celle du temps disponible et de l'implication qu'on a envie de mettre dans une telle tâche, et la réponse varie selon les personnes. Un chercheur senior avec un budget conséquent pourrait payer 30 assistants de recherche pour leur faire analyser 50 000 textes manuellement. Mais comme je suis un doctorant avec un temps limité pour faire ma thèse et personne pour travailler pour moi, l'arbitrage va être différent.  

Luis : Il y a des questions éthiques, mais qui sont celles que se posent aussi d’autres collègues manipulant d’autres types de données : où sont stockées les données ? Selon la nature des données collectées, peut-on les confier aux serveurs d'OpenAI ou de Google, ou doit-on le faire en local, sur notre machine ? 

Malo : En revanche, une particularité de la plupart des données que nous traitons avec ce type de méthodes, c’est qu'elles n'ont pas été initialement produites pour la recherche. Certes, nous les collectons et les mettons en forme pour pouvoir les analyser mais nous n’en sommes pas à l’origine. Au contraire des entretiens qualitatifs ou des enquêtes par sondage, où les personnes interrogées savent que c’est dans un objectif de recherche et donnent leur accord pour cela, nous, nous récupérons des textes et des données qui sont produits dans un but complètement différent de ce pour quoi on les utilise. Si on parle de données venant d’applications, on n'est pas allé demander aux personnes utilisant ces applications si elles acceptaient que leurs données soient rendues accessibles sous tel ou tel format. Donc, cela pose des questions en termes de mise à disposition [au reste de la communauté académique] des données utilisées et de réplicabilité de la recherche. 

Luis : Enfin, l’utilisation des grands modèles de langage présente des coûts énergétiques et des impacts environnementaux importants.

Meryem : Lors des journées d’études que nous avons organisées, Étienne Ollion (sociologue, directeur de recherche CNRS) est justement venu présenter un travail récent répondant à la question : « L’IA générative peut-elle imiter les humains pour répondre à des enquêtes d’opinion ? » Avec d’autres collègues, il montre que les réponses proposées par des bots de type ChatGPT sont biaisées, et que ce biais varie selon les thèmes abordés. 

Malo : Les avancées les plus récentes concernent le traitement de l'audio ou de l'image ou même de ce qu'on appelle du multimodal (analyse simultanée de l’image et de l'audio ou du texte). Par exemple, si l’on cherche à analyser des débats parlementaires, il peut être intéressant de collecter aussi bien le contenu des discours mais aussi les gestes, le ton… 

Meryem : Au-delà de l'audio et des images, est-ce que l’utilisation de l’IA générative va influencer les textes, les sources, les corpus, avec un langage peut-être plus standardisé ? Est-ce que, maintenant que les outils d’analyse se démocratisent, les documents vont devenir plus faciles à extraire et analyser ou au contraire, certains acteurs vont-ils rendre les données plus compliquées à obtenir ou en monétiser l’accès ? 

Luis : Si les modèles sont entraînés sur des textes créés par ChatGPT, qui ne sont pas toujours de bonne qualité, ces modèles risquent de perdre en performance. On pourrait voir apparaitre un cercle vicieux : des contenus générés par l'IA, sur lesquels on entraîne les modèles d’IA servant à créer d’autres contenus, etc. 

Malo : Toutes les tâches que l’on a évoquées (scraping, nettoyage des données, analyses), on doit les coder. Donc c’est sûr qu’à un moment, il faut accepter les mains dans le cambouis, si je peux dire. Mais avec un niveau de base en statistiques et des notions de programmation, je trouve qu'on peut rapidement comprendre les principales méthodes et l'utilisation qu'on peut en faire. Et aujourd'hui, avec des outils comme ChatGPT, on peut aussi générer du code. Bien sûr, il faut savoir l'utiliser, comprendre ce qu'il nous dit et dans quelle mesure c'est ce qu'on veut. Mais par rapport à il y a deux, trois ans, le coût d'entrée a quand même diminué très fortement.  

Selma : Ces méthodes deviennent aussi de plus en plus accessibles parce que de plus en plus de gens partagent ce qu’ils font [par exemple sur GitHub, voir en fin d’article], proposent des formations, publient des articles scientifiques sur leurs méthodes, à l’image de Ronja Sczepanski chez nous : cela devient donc plus facile de savoir comment ça fonctionne.  

Luis : Même si l’on souhaite ensuite travailler à la main et ne pas faire d’analyses quantitatives, il est possible d’automatiser tout ce qui en amont de l’analyse, et notamment la collecte des données à grande échelle : au lieu de télécharger à la main un millier de documents PDF depuis un site, un script écrit en deux minutes permet de le faire en une seule intervention. De la même manière, on peut automatiser des copier-coller fastidieux. Pour les personnes qui réalisent des entretiens et doivent les retranscrire, on peut évoquer aussi des outils de transcription automatique basés sur l’intelligence artificielle, comme Whisper ou Notta. De plus en plus de logiciels rendent les méthodes beaucoup plus accessibles.