Une étude en aveugle révèle que des professeurs de droit jugent souvent les réponses de l'IA meilleures que celles de leurs confrères. Décryptage et enjeux pour la profession.
Les professeurs de droit préfèrent-ils l'IA à leurs confrères ?
Oui. Une étude menée par Stanford, publiée le 27 mai 2026, montre que seize professeurs de droit des contrats, issus de quatorze facultés américaines, ont préféré à l'aveugle les réponses générées par l'IA dans 75,33 % des cas, contre 24,67 % pour celles rédigées par des enseignants. L'expérience portait sur des questions de jugement, cas pratiques, doctrine, politique juridique, et non sur des problèmes à réponse unique. Tous les évaluateurs, sans exception, ont penché du côté des modèles de langage. Le rapport « professeur de droit et IA » s'en trouve renversé : l'IA n'égale plus seulement l'expert, elle est jugée préférable. Les réponses des modèles ont aussi été bien moins souvent signalées comme « nuisibles » à l'apprentissage (3,53 % contre 12,06 % pour les humains). L'étude mesure toutefois la qualité perçue, pas l'effet réel sur l'apprentissage.
Une équipe menée par Stanford a publié le 27 mai 2026 une étude qui bouscule le milieu de l'enseignement juridique. Seize professeurs de droit des contrats, issus de quatorze facultés américaines, ont comparé à l'aveugle des réponses rédigées soit par leurs confrères, soit par des modèles de langage. Dans environ trois cas sur quatre, ils ont préféré la réponse produite par l'IA. Le taux de préférence moyen pour les modèles atteint 75,33 %, contre 24,67 % en moyenne pour les enseignants.
Le résultat mérite qu'on s'y attarde. Il ne porte pas sur une matière à réponse unique, où l'on sait depuis longtemps que les modèles excellent. La plupart des évaluations d'IA tutrice se font sur des terrains où une seule réponse est correcte : un calcul de physique, une définition. Le droit fonctionne autrement. Une bonne réponse à une question de contrats relève souvent du jugement : peser des arguments concurrents, composer avec l'ambiguïté, défendre une conclusion soutenable. Deux réponses opposées peuvent être également solides. Les travaux antérieurs sur l'évaluation de l'IA juridique mesuraient surtout l'exactitude face à un corrigé, et plusieurs concluaient que les modèles n'étaient pas encore fiables pour conseiller un étudiant. Cette étude change la question posée : elle ne demande pas si la réponse est juste, mais laquelle un expert préférerait donner à un étudiant.
Comment l'étude a comparé professeurs de droit et IA
Le dispositif est simple, en trois temps et à l'aveugle. Les professeurs ont d'abord rédigé des questions représentatives de celles que posent les étudiants après un cours ou en permanence, réparties en quatre catégories : restitution d'un arrêt ou d'un texte, restitution d'une doctrine, cas pratiques, questions de politique juridique. Quarante questions ont été retenues.
Un protocole à choix forcé sur 2 918 paires
Chaque enseignant a ensuite répondu à un sous-ensemble qu'il n'avait pas écrit, en moins de trois minutes et sans recherche, pour imiter une réponse spontanée. En parallèle, deux modèles de Google ont traité les mêmes questions : Gemini 2.5 Pro en version standard, qui intègre le réglage éducatif LearnLM, et NotebookLM, qui puise ses réponses dans le manuel commun grâce à la recherche augmentée (RAG). Enfin, les professeurs ont jugé 2 918 paires anonymisées, en désignant à chaque fois la réponse qu'ils préféreraient donner, avec la possibilité de signaler toute réponse jugée nuisible à l'apprentissage.
Un détail compte pour la rigueur du test : les modèles fonctionnaient avec leurs réglages par défaut, sans optimisation de la température ni du décodage. Les auteurs considèrent donc leurs estimations comme plutôt prudentes.
Ce que disent les chiffres
Gemini l'emporte dans 75,92 % des duels contre les enseignants, NotebookLM dans 74,75 %. Les modèles se hissent au niveau des meilleurs professeurs de l'échantillon. Pris un par un, tous les évaluateurs ont penché du côté de l'IA : sur l'ensemble de ses votes opposant un humain à un modèle, même le plus réticent retenait encore la réponse de l'IA dans 56 % des cas.
Le risque de réponse « nuisible », plus élevé chez les humains
L'avantage se vérifie dans toutes les catégories, des cas pratiques aux questions de politique juridique. Le point le plus parlant concerne les réponses jugées nuisibles, c'est-à-dire celles qu'un évaluateur a signalées comme susceptibles d'induire l'étudiant en erreur ou de freiner son apprentissage, un enjeu proche de celui des hallucinations des modèles de langage. Les modèles n'ont presque jamais été visés : 3,53 % de leurs réponses en moyenne. Les enseignants s'étalent de 1,00 % à 39,75 %, pour une moyenne de 12,06 %. Le risque de tomber sur une telle réponse était donc plus élevé avec un humain qu'avec un modèle.
Une norme professionnelle, pas un goût personnel
Reste l'objection évidente : et si les évaluateurs suivaient un simple goût personnel ? Les auteurs y répondent en mesurant l'accord entre évaluateurs sur des paires communes. Cet accord dépasse nettement ce qu'expliquerait une préférence partagée pour l'IA, ce qui plaide pour l'existence d'une norme professionnelle implicite, plus marquée encore sur les questions de politique juridique.
Le contre-pied du RAG : moins de documents, meilleures réponses
Voici le résultat qui parlera au praticien. Le modèle standard, sans documents, a battu NotebookLM, qui s'appuyait pourtant sur le manuel. Autrement dit, lui fournir le corpus de référence a dégradé la performance au lieu de l'améliorer.
Plusieurs explications sont avancées, sans certitude. Si le modèle de base maîtrise déjà la structure doctrinale d'un cours de contrats de première année, la recherche documentaire n'apporte qu'un gain marginal. Surtout, charger le contexte avec de longs chapitres dilue l'information pertinente, un phénomène documenté sous le nom d'effet de distraction ou de « perte au milieu du contexte » (lost in the middle) : le modèle exploite mal les passages utiles noyés dans la masse. Les réglages propres à chaque plateforme pourraient enfin neutraliser une partie des dispositions pédagogiques bénéfiques du modèle de base. Un rappel utile pour qui imagine qu'il suffit d'adosser un LLM à une base documentaire pour le fiabiliser : le découpage des sources et les seuils de récupération comptent autant que le modèle.
Quand l'évaluation s'étend à d'autres systèmes
Quand l'évaluation est étendue à d'autres systèmes au moyen d'un évaluateur automatisé, Llama-4 Maverick, dont l'accord avec le consensus humain a été vérifié au préalable, tous les modèles testés devancent les enseignants et les modèles de raisonnement dominent. Claude Opus 4.7 arrive en tête. La performance ne suit pas strictement la date de sortie : Gemini 3.1 Pro passe derrière Gemini 2.5 Pro, ce que les auteurs relient à l'arrêt apparent des efforts d'optimisation éducative de Google après cette version. Cette phase élargie confirme le contre-pied du RAG : un produit commercial de tutorat juridique, que l'étude laisse anonyme mais qui repose lui aussi sur Gemini 2.5 Pro alimenté par le manuel, reste lui aussi en deçà du même modèle livré sans documents.
Ce qu'un juriste peut retenir de l'étude « professeur de droit et IA »
L'étude se garde de surinterpréter ses propres résultats, et le lecteur juriste doit faire de même. Elle mesure la qualité perçue d'une réponse, pas l'effet réel sur l'apprentissage. L'échantillon reste modeste, seize professeurs sur soixante éligibles, et penche vers les facultés d'élite : celles du top 14 y sont surreprésentées (38 % contre 22 % dans le vivier). Le point de comparaison humain est donc plutôt relevé, ce qui rend l'avantage des modèles d'autant plus net, mais la « norme professionnelle » dégagée reste celle de ce groupe, pas forcément celle de la profession entière. L'évaluateur automatisé, enfin, comporte des biais connus, notamment une tendance à favoriser les réponses longues ou bien placées et celles issues de sa propre famille de modèles, même s'il a été vérifié avant emploi.
Quatre garde-fous pour un déploiement en contexte juridique
Pour qui réfléchit à un déploiement en contexte juridique, l'étude propose des garde-fous concrets :
- borner le périmètre aux matières du programme ;
- prévoir un refus explicite en cas d'incertitude ;
- afficher les références aux sources ;
- permettre de renvoyer la question à un enseignant pour les cas limites.
On reconnaît là des exigences qui font écho à la responsabilité professionnelle de l'avocat et à l'esprit de l'AI Act sur la transparence des systèmes. Ce sont précisément les principes de conformité et de gouvernance des systèmes d'IA que nous appliquons dans notre accompagnement des professionnels du droit.
L'apport de l'étude est donc circonscrit mais solide. Dans des comparaisons à l'aveugle et à choix forcé, portant sur des réponses courtes de type permanence en première année de contrats, des évaluateurs experts préfèrent les réponses des modèles à celles de leurs pairs, et l'accord observé entre évaluateurs indique que cette préférence traduit une norme professionnelle partagée plutôt qu'un goût individuel.
Un enjeu de disponibilité plus que de remplacement
Son intérêt pratique tient à la disponibilité. La rareté des enseignants en faculté de droit relève de contraintes de capacité plus que d'un défaut de volonté, et les étudiants se rabattent souvent sur leurs camarades ou sur des échanges ponctuels par courriel. Un canal de clarification accessible à toute heure, et tenu aux garde-fous décrits plus haut, répond à ce besoin sans dégrader, d'après ces résultats, la qualité perçue des réponses. En tant qu'avocat IA, nous aidons cabinets et directions juridiques à déployer ces outils de manière fiable et conforme, et proposons des formations à l'IA pour les professionnels du droit.
Source : A. Salinas, C. Frieders, N. Guha, S. Ma et al., « Law Professors Prefer AI Over Peer Answers », 27 mai 2026. L'évaluation humaine a été conduite en août 2025.
Questions fréquentes
Les professeurs de droit préfèrent-ils l'IA à leurs confrères ?
Oui. Une étude Stanford publiée le 27 mai 2026 montre que seize professeurs de droit des contrats, issus de quatorze facultés américaines, ont préféré à l'aveugle les réponses de l'IA dans 75,33 % des cas, contre 24,67 % pour celles rédigées par des enseignants. Tous les évaluateurs, sans exception, ont penché du côté des modèles de langage. L'étude mesure la qualité perçue, pas l'effet réel sur l'apprentissage.