Une récente étude de l’Université de Stanford présente le protocole « Minions », développé par les chercheurs Avanika Narayan, Dan Biderman et Sabri Eyuboglu. Ce protocole a été initialement conçu pour répondre à un problème économique : comment réduire les coûts d’inférence des grands modèles de langage (LLM) tout en maintenant des performances élevées.

Le contexte économique est clair : traiter un document d’un million de tokens avec l’API OpenAI o1 peut coûter plus de 15$ par requête. Face à ces coûts, l’équipe de Stanford a cherché à exploiter les progrès réalisés par les petits modèles de langage (1-8B paramètres) capables de fonctionner sur des appareils personnels.

Un autre avantage de cette étude, pour les professions réglementées, réside dans la maîtrise locale des données et le respect de la confidentialité. Il apparaît donc très intéressant de concilier et faire dialoguer ces deux approches, locale et distante, en combinant le meilleur des deux mondes.

Le protocole repose sur une collaboration stratégique entre un modèle local plus petit (LocalLM) et un modèle distant plus puissant (RemoteLM).

1. Décomposition par le RemoteLM

Le modèle distant (RemoteLM) décompose une tâche complexe en sous-tâches plus simples et génère un programme Python qui définit comment effectuer ces sous-tâches. Cette décomposition est réalisée sans que le RemoteLM n’ait accès au document complet.

Par exemple, pour analyser un rapport financier, le RemoteLM peut générer des instructions comme « Extraire le chiffre d’affaires pour l’exercice 2015 » ou « Identifier les dépenses d’amortissement mentionnées dans le document ».

2. Exécution locale et filtrage

Le modèle local (LocalLM) exécute ces sous-tâches sur le document qui reste sur l’appareil de l’utilisateur. Il divise le document en sections et applique les instructions à chaque section. Le LocalLM s’abstient de répondre lorsqu’une section ne contient pas d’informations pertinentes, ce qui réduit la quantité de données transmises au RemoteLM.

3. Agrégation par le RemoteLM

Le RemoteLM reçoit uniquement les extraits pertinents et les combine pour formuler une réponse finale. Si nécessaire, il peut demander des informations supplémentaires en définissant de nouvelles sous-tâches.

Résultats économiques convaincants

Les tests réalisés par l’équipe de Stanford démontrent que :

• Le protocole Minions réduit les coûts d’inférence de 5,7 fois en moyenne.
• Il conserve 97,9% de la performance d’un système utilisant uniquement un modèle distant.
• Même avec un modèle local de seulement 3 milliards de paramètres, Minions atteint 93,4% des performances du grand modèle distant tout en réduisant les coûts de 83,4%.

Avantage secondaire : une certaine préservation de la confidentialité

Bien que la réduction des coûts soit l’objectif premier du protocole, Minions offre également un avantage en termes de confidentialité des données. Le document complet reste sur l’appareil local, et seuls des extraits spécifiques sont envoyés au modèle distant.

Cet aspect présente un intérêt particulier pour les professionnels manipulant des données sensibles, comme les avocats, qui peuvent ainsi bénéficier de la puissance analytique des grands modèles tout en limitant l’exposition de leurs documents confidentiels.

Limites importantes concernant la confidentialité

Il est essentiel de comprendre que Minions n’a pas été conçu principalement comme un outil de protection de la confidentialité et présente plusieurs limitations significatives à cet égard.

1. Transmission d’extraits potentiellement sensibles

Les extraits transmis au RemoteLM peuvent contenir des informations sensibles. Par exemple, dans le contexte juridique, ces extraits pourraient inclure des clauses confidentielles, des noms de parties ou des détails spécifiques d’un contrat.

2. Absence de mécanismes cryptographiques

Le protocole Minions, tel que décrit dans la recherche, n’intègre pas nativement de mécanismes de chiffrement des données en transit entre le LocalLM et le RemoteLM. Les chercheurs notent que ces techniques pourraient être utilisées en complément, mais elles ne font pas partie du protocole de base.

3. Dépendance à la qualité du filtrage local

L’efficacité de la protection dépend fortement de la qualité du filtrage effectué par le LocalLM. Si le modèle local ne filtre pas correctement les informations, plus de données que nécessaires pourraient être exposées au RemoteLM.

4. Vulnérabilité du RemoteLM

Si le RemoteLM est compromis ou malveillant, les extraits transmis pourraient être exploités. Le protocole ne prévoit pas de protection contre cette éventualité.

5. Absence de confidentialité différentielle

Minions ne met pas en œuvre de mécanismes de confidentialité différentielle ou d’autres techniques formelles garantissant la protection des informations personnelles contenues dans les extraits.

Application dans le domaine juridique

Pour un cabinet d’avocats, le protocole Minions pourrait être utilisé pour analyser efficacement des contrats volumineux, des écritures ou des pièces de procédure :

• Le RemoteLM pourrait définir des sous-tâches comme « Identifier les clauses de non-concurrence » ou « Extraire les délais mentionnés ».
• Le LocalLM exécuterait ces tâches sur les documents juridiques stockés localement.
• Seules les clauses pertinentes seraient transmises au RemoteLM pour analyse.
• Le document juridique complet resterait sur l’appareil du cabinet.

Cette approche permettrait de réduire considérablement les coûts d’utilisation des LLM pour l’analyse juridique, tout en offrant un niveau de confidentialité supérieur à celui d’une solution entièrement basée sur le cloud, mais inférieur à celui d’une solution entièrement locale.

Il convient cependant de souligner que ce protocole, à lui seul, ne garantit pas une confidentialité absolue. Pour une protection complète des données sensibles, il est nécessaire de lui adjoindre des garde-fous supplémentaires.

Conclusion : l’émergence des Modèles Locaux Personnels dans l’écosystème de l’intelligence artificielle

Le protocole Minions illustre une transformation significative dans l’architecture des modèles de langage : l’avènement des Modèles Locaux Personnels (SLM/PLM). Cette innovation représente une alternative substantielle aux architectures cloud traditionnelles, privilégiant une approche décentralisée et personnalisée.

Les principaux axes de cette évolution technologique sont les suivants :

• Optimisation économique : réduction substantielle des coûts d’utilisation des modèles de langage
• Protection des données : localisation du traitement des informations sensibles
• Autonomie technologique : diminution de la dépendance aux plateformes cloud majeures

Pour les avocats et les professionnels du droit, ce protocole propose une solution nuancée. Il offre un équilibre entre performance computationnelle et impératifs de confidentialité, tout en permettant une gestion plus autonome des ressources informatiques.