ChatGPT ne sert pas qu’à générer des articles de blog ou rédiger des devoirs pour étudiants paresseux, il peut fournir des solutions utiles dans des domaines plus inattendus comme la surveillance d’activités réglementées.

C’est cette possibilité que je vous propose d’examiner dans le cadre de la récente loi du 09 juin 2023 visant à encadrer l’influence commerciale et à lutter contre les dérives des influenceurs sur les réseaux sociaux.

La figure de l’influenceur est née avec les réseaux sociaux. Passé relativement inaperçu au démarrage de ces plateformes, le phénomène a, peu à peu, pris de l’ampleur. Aujourd’hui, certains ont rang de star et sont aussi connus que, jadis, certains acteurs de cinéma.

On estime à 120 000 le nombre d’influenceurs en France, toutes plateformes confondues. Ce groupe est hétéroclite et une poignée génère un chiffre d’affaires très conséquent avec des pratiques parfois douteuses en matière de promotion commerciale.

Devant l’ampleur du phénomène, le législateur français a voté récemment une loi visant à encadrer ces pratiques.

Cette loi a pour but d’encadrer les pratiques promotionnelles en en interdisant certaines (Art. 3 et 4), en affirmant des obligations d’informations (Art. 5 et 6) ou en organisant les conditions du signalement en ligne (Art. 10 et s.).

Si l’on examine attentivement les obligations d’informations, on s’aperçoit qu’elles visent à insérer des mentions explicites dans le contenu (image, vidéo, texte) en présence d’une promotion :

• mention « Publicité » ou « Collaboration commerciale » claire, lisible et identifiable ;
• mention de l’utilisation de retouche ou d’utilisation de l’IA pour générer des contenus.

Le législateur prévoit également une interdiction de publicité touchant certains produits et services comme la chirurgie esthétique. A cela, il faut ajouter les règles déjà existantes comme la loi Evin.

On peut supposer que l’immense majorité va jouer le jeu mais comment surveiller une masse de contenus dont le flux est sans cesse croissant ? Comment s’assurer que les mentions soient clairement indiquées ou, au contraire, que nous ne sommes pas en présence d’une publicité déguisée ou, pire, interdite ?

Pour répondre à ces questions et outiller le régulateur, l’IA fournit des solutions comme le rappel un papier très récent intitulé « Closing the Loop : Testing ChatGPT to Generate Model Explanations to Improve Human Labelling of Sponsored Content on Social Media ».

Ce papier se réfère directement aux contenus créés par les influenceurs dans le cadre d’une promotion commerciale et de la manière dont le régulateur peut utiliser le Machine Learning  pour s’aider dans sa tâche.

Après avoir examiné les méthodes traditionnelles et pointé les problèmes spécifiques liés au jeu de données, les chercheurs proposent un nouveau cadre pour identifier et annoter les contenus problématiques en s’appuyant notamment sur ChatGPT.

Classifier des contenus souvent ambigus

Un classifieur au service du régulateur

On imagine aisément que le régulateur doit analyser une masse très importante de contenus, de différents formats. Parmi ces informations, il doit identifier les contenus qui ne respectent pas les dispositions légales ou réglementaires.

L’approche classique pour gérer ce type de problème est de construire un classifieur à partir de données labellisées. Le but est d’associer un contenu (image, vidéo ou texte) à un ou plusieurs labels.

L’exemple classique est l’analyse de sentiments.  Par exemple, une critique de cinéma va être associée à une annotation qui va donner le sentiment de l’auteur :  positif ou négatif ou une graduation entre les deux de 0 à 5 par exemple.

Un modèle est ensuite entraîné à partir de ces données dans le but de prédire la classe à laquelle appartient le contenu. Une fois entraîné, il va être utilisé pour prédire le sentiment d’un critique qu’il ne connaît pas.

Pour les influenceurs, on peut imaginer plusieurs labels associés à leur contenu :

• les contenus déclarés comme « sponsorisés » par le créateur ;
• les contenus ne faisant aucune promotion ;
• les contenus faisant la promotion de produits et services interdits ;
• les contenus faisant de la promotion mais non déclarée comme sponsorisée.

L’objectif principal du régulateur est d’identifier les deux derniers cas.

On va donc construire un jeu de données d’entraînement qui va associer ces 4 cas à des contenus.

On pourra, par exemple, récupérer depuis des chaînes Youtube ou des comptes Instagram les contenus produits par nos influenceurs. Si l’on a de la chance, des méta-données permettront éventuellement d’identifier les contenus déclarés comme sponsorisés.

Voilà pour la théorie. En pratique, il est nécessaire de recourir à des annotateurs humains pour associer les labels surtout dans les situations ambigües.

Détecter les circonvolutions langagières

On imagine aisément que nos données sont relativement complexes à qualifier. Par exemple, un influenceur peut promouvoir un produit de manière subtile en mélangeant ses propres sentiments (« J’adore ce nouvel album et surtout la chanson 4 intitulée…) avec des liens vers un site d’achat ou la photo de l’album. Mais il y a également des zones grises : « J’ai adoré ce nouveau restaurant ! le Chef est vraiment inventif … » avec un lien vers le site du restaurant. Ce dernier exemple peut être considéré comme équivoque car il est fréquent de partager ce type d’avis sans être payé.

Par analogie, on va retrouver les mêmes problématiques en matière de contenu haineux : on va avoir une grande variété de labels selon que l’on s’intéresse au discours porté contre des groupes spécifiques, à son intensité ou à la nature des propos. Les trois approches étant cumulables. A cela s’ajoute le type de données utilisées et leurs sources, le langage, etc. L’examen attentif du problème donne le vertige quand on s’aperçoit de l’infinité des situations, de la difficulté à labeliser.

Partant de ce constat, le recours à des annotateurs humains doit résoudre deux problèmes :

• le dissensus : le ou les labels attribué(s) à un contenu peuvent différer pour le même contenu d’un annotateur à l’autre en raison de la subtilité de la matière ;
• l’explicabilité : quelles sont les règles claires qui permettent d’attribuer un label plutôt qu’un autre.

Obtenir un consensus sur ce qu’est un contenu potentiellement sponsorisé ou interdit n’est pas une mince affaire. Il peut y avoir des divergences importantes entre annotateurs qui vont nuire à la qualité des données.

Pour répondre à cet enjeu, il existe plusieurs techniques dont la plus importante est de fournir une explication détaillée qui fonde l’attribution d’un contenu à une classe (probablement non sponsorisé) plutôt qu’à un autre (potentiellement sponsorisé).

On verra également que cette notion d’explicabilité ne joue pas que pour la qualité des données mais également en fournissant au régulateur des critères permettant de justifier son action.

La justification pour favoriser le consensus

Dès lors comment fournir une explication à l’attribution d’un label ? La solution évidente a priori est de recourir à d’autres annotateurs mais on retombe dans l’écueil du dissensus.

Les auteurs du papier pré-cité proposent une solution industrialisable qui consiste à utiliser chatGPT pour annoter les contenus mais surtout pour fournir une explication à sa décision.

Au préalable, ils démontrent que GPT 3.5 est plus performant que d’autres approches pour détecter les contenus sponsorisés non déclarés.

Fort de ce constat, les auteurs proposent d’utiliser ce modèle pour fournir une explication à l’appuie de la décision qu’il rend.

Le modèle est capable d’identifier les mots clés associés à sa décision de classification et de fournir une explication détaillée :

Key indicators: ’@BRAND’, ’LTK’.
The post promotes a fashion brand and features a discount code, indicating a partnership. Additionally, it features a @shop.LTK link, a platform for paid partnerships.

Ces explications sont ensuite intégrées dans le processus d’annotation pour montrer aux annotateurs les bonnes pratiques. Un processus d’évaluation mis en place consiste, grosso modo, à diviser les annotateurs en deux groupes et à évaluer le niveau de dissensus/consensus entre eux selon qu’ils ont été aidés par des explications ou non. L’aide apportée permet de réduire les dissensus et donc la qualité des données.

Mais ce qui intéresse au premier chef le juriste, c’est la justification fournie à l’appui de la classification.

L’explicabilité comme outil de sécurité juridique et d’aide au régulateur

L’explicabilité des modèles de Machine Learning est un thème complexe aux ramifications multiples. Dans le cas qui nous intéresse, on voit aisément ces implications.

En effet, comment expliquer qu’un contenu peut être considéré comme malicieux car faisant la promotion d’un produit sans l’expliciter ou, au contraire, respecte la législation en ce qu’il ne promeut rien ?

Il est donc nécessaire de s’appuyer sur des règles documentées, reproductibles, permettant d’asseoir les raisons d’une qualification plutôt qu’un autre.

Cette question n’est pas que rhétorique car de sa réponse dépend le débat juridique futur. Débat qui conduira, selon son issue, à l’application de sanctions sévères (3 ans d’emprisonnement et 300 000 € d’amende selon l’art. 5 de la loi précitée) ou non.  Dans le cadre français, il faut ajouter l’interdiction de publicité concernant certains produits et services qui, là encore, devront faire l’objet d’une détection automatique si l’on veut être réaliste et ne pas s’en remettre au bon vouloir des signaleurs.

Le papier démontre qu’il est possible de constituer un corpus de classification et d’explications à partir des LLM pour fournir un cadre performant d’annotations à des humains. Il paraît évident que ce type d’approche va constituer un réel challenge pour les années à venir dans un monde où le régulateur va devoir scruter un volume considérable de contenus multimodaux pour remplir ses missions.