Comprendre

Glossaire de l’IA Generative

Glossaire des termes à connaître concernant l'IA Generative et les Large Language Model (LLM). Régulièrement enrichi avec des modifications ou de nouvelles définitions.

Raphaël d'Assignies
23 juin 2023
Agents

Logiciels capables d’effectuer certaines tâches de manière indépendante et proactive, sans avoir besoin d’intervention humaine, utilisant souvent une suite d’outils externes comme la recherche sur le web, des services de météo, de bourse ou le recours à un expert humain…

AGI (Intelligence artificielle générale)Votre titre va ici

Bien qu’il n’y ait pas de consensus général, les chercheurs de Microsoft ont défini l’AGI comme une intelligence artificielle avec les mêmes capacités qu’un être humain dans n’importe quelle tâche intellectuelle.

Ajustement fin (fine tuning)

Processus qui consiste à prendre un modèle d’apprentissage automatique pré-entraîné sur un grand ensemble de données et à l’adapter à une tâche légèrement différente ou à un domaine spécifique. Pendant cette phase, les paramètres du modèle sont ajustés à l’aide d’un ensemble de données plus petit et spécifique à la tâche, ce qui lui permet d’apprendre des patterns spécifiques à la tâche et d’améliorer les performances.

Ajustement des hyperparamètres

Processus de sélection des valeurs adéquates pour les hyperparamètres (paramètres qui ne sont pas appris à partir des données) d’un modèle d’apprentissage automatique.

Ajustement avec instructions (instruction fine tuning)

Technique en apprentissage automatique où les modèles sont ajustés en fonction d’instructions spécifiques sous forme de prompts.

Alignement

Etude de la concordance entre les valeurs humaines et les comportements des modèles

Apprentissage automatique ou machine

Type d’intelligence artificielle qui permet aux systèmes d’apprendre et de s’améliorer automatiquement à partir de l’expérience, sans être explicitement programmés.

Apprentissage non supervisé

Type d’apprentissage automatique où le modèle n’est pas fourni avec des données d’entraînement étiquetées et doit identifier les motifs dans les données par lui-même.

Apprentissage par renforcement

Type d’apprentissage automatique où un agent apprend à prendre des décisions en agissant dans un environnement afin de maximiser une récompense.

Apprentissage profond (Deep Learning)

Sous-domaine de l’apprentissage automatique qui se concentre sur l’entraînement de réseaux neuronaux avec de nombreuses couches, permettant l’apprentissage de motifs complexes.

Apprentissage sans données

Type d’apprentissage automatique où le modèle effectue des prédictions pour des conditions qui n’ont pas été observées lors de l’entraînement, sans aucun ajustement fin.

Apprentissage supervisé

Type d’apprentissage automatique où le modèle est fourni avec des données d’entraînement étiquetées.

ASI (Intelligence artificielle super intelligence)

Bien que cela fasse l’objet de débats, l’ASI est communément définie comme une intelligence artificielle qui dépasse les capacités de l’esprit humain.

Attention

Dans le contexte des réseaux neuronaux, les mécanismes d’attention aident le modèle à se concentrer sur les parties pertinentes de l’entrée lors de la production d’une sortie.

Augmentation de données

Processus d’augmentation de la quantité et de la diversité des données utilisées pour l’entraînement d’un modèle en ajoutant des copies légèrement modifiées de données existantes.

Biais

Hypothèses formulées par un modèle d’IA concernant les données. Un « compromis biais-variance » est l’équilibre qui doit être atteint entre les hypothèses qu’un modèle fait sur les données et la manière dont les prédictions d’un modèle changent avec des données d’entraînement différentes. Le biais inductif est l’ensemble des hypothèses qu’un algorithme d’apprentissage automatique fait sur la distribution sous-jacente des données.

Chaîne de pensée

En IA, ce terme est souvent utilisé pour décrire la séquence des étapes de raisonnement qu’un modèle d’IA utilise pour prendre une décision.

Chatbot

Programme informatique conçu pour simuler une conversation humaine via des interactions textuelles ou vocales. Les chatbots utilisent souvent des techniques de traitement du langage naturel pour comprendre les entrées de l’utilisateur et fournir des réponses pertinentes.

ChatGPT

Modèle d’intelligence artificielle de grande taille développé par OpenAI qui génère du texte de manière similaire à un être humain.

Couche cachée

Couches de neurones artificiels dans un réseau neuronal qui ne sont pas directement connectées à l’entrée ou à la sortie.

Descente de gradient

En apprentissage automatique, la descente de gradient est une méthode d’optimisation qui ajuste progressivement les paramètres d’un modèle en fonction de la direction de la plus grande amélioration de sa fonction de perte. Dans la régression linéaire, par exemple, la descente de gradient aide à trouver la meilleure droite de régression en affinant plusieurs fois la pente et l’interception de la droite pour minimiser les erreurs de prédiction.

Diffusion

En IA et en apprentissage automatique, technique utilisée pour générer de nouvelles données en partant d’un jeu de données réelles et en y ajoutant du bruit aléatoire. Un modèle de diffusion est un type de modèle génératif dans lequel un réseau neuronal est entraîné à prédire le processus inverse lorsque du bruit aléatoire est ajouté aux données. Les modèles de diffusion sont utilisés pour générer de nouveaux échantillons de données similaires aux données d’entraînement.

Données d’entraînement

Ensemble de données utilisé pour entraîner un modèle d’apprentissage automatique.

Données de validation

Sous-ensemble de l’ensemble de données utilisé en apprentissage automatique, séparé des ensembles d’entraînement et de test. Il est utilisé pour régler les hyperparamètres (c’est-à-dire l’architecture, et non les poids) d’un modèle.

Espace latent

En apprentissage automatique, ce terme fait référence à la représentation des données créées par un modèle (comme un réseau neuronal). Les points de données similaires sont plus proches dans l’espace latent.

Fonction de perte (ou fonction de coût)

Fonction que le modèle d’apprentissage automatique cherche à minimiser lors de l’entraînement. Elle quantifie l’écart entre les prédictions du modèle et les valeurs réelles.

Fonction objective

Fonction que le modèle d’apprentissage automatique cherche à maximiser ou minimiser lors de l’entraînement.

Grand Modèle de Langage (LLM)

Type de modèle d’IA qui peut générer du texte similaire à un être humain et qui est entraîné sur un large ensemble de données.

Generative Pretrained Transformer (GPT)

Partie decoder d’une architecture de type Transformer pré entraîné sur une grande quantité de données. Ce terme a tendance à se confondre avec les produits proposés par OpenAI mais est plus générique.

GPU (Unité de traitement graphique)

Type spécialisé de microprocesseur conçu principalement pour générer rapidement des images pour les afficher. Les GPU sont également très efficaces pour effectuer les calculs nécessaires à l’entraînement et à l’exécution des réseaux neuronaux.

Halluciner/Hallucination

Dans le contexte de l’IA, l’hallucination fait référence au phénomène selon lequel un modèle génère du contenu qui n’est pas basé sur des données réelles ou qui est significativement différent de la réalité.

IA Explicable (XAI)

Sous-domaine de l’IA axé sur la création de modèles transparents qui fournissent des explications claires et compréhensibles de leurs décisions.

IA générative

Branche de l’IA axée sur la création de modèles qui ont été entraînés à générer du contenu nouveau, tel que des images, de la musique ou du texte, basé sur des motifs et des exemples de données existantes.

Inférence

Processus permettant de faire des prédictions avec un modèle d’apprentissage automatique entraîné. La completion (génération du texte après un autre texte – ou prompt) est un mécanisme d’inférence.

Intelligence artificielle symbolique

Type d’IA qui utilise le raisonnement symbolique pour résoudre des problèmes et représenter des connaissances.

Invite ou Prompt

Contexte initial ou instruction sous forme de texte qui définit la tâche ou la requête pour le modèle.

Modèle fondamental ou IA de référence

Grands modèles d’IA entraînés sur des données larges, destinés à être adaptés à des tâches spécifiques.

Multimodal

En IA, désigne les modèles capables de comprendre et de générer des informations sur plusieurs types de données, comme le texte et les images.

Oubli catastrophique

Tendance d’un réseau neuronal artificiel à oublier abruptement et radicalement les informations précédemment apprises lors de l’apprentissage de nouvelles informations. Connue sous le nom de phénomène de « catastrophic forgetting » ou « oubli catastrophique ».

Paramètres

En apprentissage automatique, les paramètres sont les variables internes utilisées par le modèle pour effectuer des prédictions. Ils sont appris à partir des données d’entraînement lors du processus d’entraînement. Par exemple, dans un réseau neuronal, les poids et les biais sont des paramètres.

Pré-entraînement

Phase initiale de l’entraînement d’un modèle d’apprentissage automatique où le modèle apprend des caractéristiques, des motifs et des représentations générales à partir des données sans connaissance spécifique de la tâche qui sera ensuite appliquée. Ce processus d’apprentissage non supervisé ou semi-supervisé permet au modèle de développer une compréhension fondamentale de la distribution des données sous-jacentes et d’extraire des caractéristiques significatives qui peuvent être utilisées pour un ajustement fin ultérieur sur des tâches spécifiques.

Propagation avant (Forward Propagation)

Dans un réseau neuronal, la propagation avant est le processus par lequel les données d’entrée sont introduites dans le réseau et traversent chaque couche (de la couche d’entrée aux couches cachées et enfin à la couche de sortie) pour produire la sortie. Le réseau applique des poids et des biais aux entrées et utilise des fonctions d’activation pour générer la sortie finale.

Red Teaming

Pratique tirée de la cybersécurité qui consiste à tester un modèle de langage pour découvrir des vulnérabilités de différents types (biais, langage grossier, fuite de données personnelles …).

Régularisation

En apprentissage automatique, la régularisation est une technique utilisée pour prévenir le surapprentissage en ajoutant un terme de pénalité à la fonction de perte du modèle. Cette pénalité décourage le modèle de s’appuyer excessivement sur des motifs complexes dans les données d’entraînement, favorisant ainsi des modèles plus généralisables et moins sujets au surapprentissage.

Réseau génératif antagoniste (GAN)

Type de modèle d’apprentissage automatique utilisé pour générer de nouvelles données similaires à des données existantes. Il oppose deux réseaux neuronaux l’un à l’autre : un « générateur » qui crée de nouvelles données et un « discriminateur » qui essaie de distinguer ces données des données réelles.

Rétropropagation du gradient (Backward propagation)

Algorithme souvent utilisé dans l’entraînement des réseaux neuronaux, qui fait référence à la méthode de calcul du gradient de la fonction de perte par rapport aux poids du réseau.

RLHF (Apprentissage par Renforcement à partir des Retours Humains)

Méthode pour entraîner un modèle d’IA en apprenant des commentaires donnés par des humains sur les sorties du modèle.

Singularité

Dans le contexte de l’IA, la singularité (également connue sous le nom de singularité technologique) fait référence à un point hypothétique dans le futur où la croissance technologique devient incontrôlable et irréversible, entraînant des changements imprévisibles pour la civilisation humaine.

Sous-apprentissage

Erreur de modélisation en statistiques et en apprentissage automatique lorsque le modèle statistique ou l’algorithme d’apprentissage automatique ne parvient pas à capturer adéquatement la structure sous-jacente des données.

Surapprentissage

Erreur de modélisation qui se produit lorsque la fonction est trop étroitement ajustée à un ensemble de données, ce qui entraîne de mauvaises performances prédictives lorsqu’elle est appliquée à des données non observées.

Systèmes experts

Application des technologies d’intelligence artificielle qui propose des solutions à des problèmes complexes dans un domaine spécifique.

TensorFlow

Plateforme d’apprentissage automatique open-source développée par Google, utilisée pour construire et entraîner des modèles d’apprentissage automatique.

Traitement automatique des Langues (NLP)

Sous-domaine de l’IA axé sur l’interaction entre les ordinateurs et les êtres humains à travers le langage naturel. L’objectif ultime du NLP est de lire, déchiffrer, comprendre et donner un sens au langage humain.

Transfert d’apprentissage

Méthode en apprentissage automatique où un modèle pré-entraîné est utilisé pour résoudre un nouveau problème.

Transformer

Type spécifique d’architecture de réseau neuronal utilisé principalement pour le traitement de données séquentielles telles que le langage naturel. Les transformateurs sont connus pour leur capacité à gérer les dépendances à longue distance dans les données, grâce à un mécanisme appelé « attention », qui permet au modèle de pondérer l’importance des différentes entrées lors de la production d’une sortie.