Dot.Blog

Quoi de mieux pour faire le point dans le brouhaha des infos frelatées sur ce que sont vraiment les LLM et ChatGPT, qu'un quiz ? Rien. Alors ...

Le quiz

Un quiz n'est pas un QCM (j'en prépare un pour bientôt), il y a donc une question, et sa réponse en dessous. Comme les lecteurs de Dot.Blog ne sont pas des enfants, je ne vais pas cacher ces dernières. Vous allez jouer le jeu, et quand vous ne saurez pas répondre, vous lirez immédiatement la bonne réponse. C'est un quiz pédagogique (donc pour apprendre ou réviser) et non pas un quiz de détente (genre à lire sur la plage).

Je suis certains que vous ne connaissez pas les 20 bonnes réponses et ce n'est pas grave puisqu'il s'agit de tourner un article (qui serait un peu lourd à lire) en un jeu (plus plaisant à parcourir). Et pour conserver cet esprit ludique, et si vous le voulez bien, notez dans un coin 1 point par bonne réponse. Et en commentaire indiquez votre score (sur 20)...

Q: 1 Qu'est-ce que ChatGPT ?
R: ChatGPT est un modèle de langage basé sur l'architecture GPT-4 développé par OpenAI, conçu pour générer des réponses cohérentes et informatives dans des conversations.

Q: 2 Qu'est-ce qu'un LLM ?
R: LLM signifie "Large Language Model", qui est un modèle d'apprentissage automatique entraîné pour comprendre et générer du texte.

Q: 3 Sur quelle architecture est basé ChatGPT ?
R: ChatGPT est basé sur l'architecture GPT-4.

Q: 4 Quelle est l'entreprise à l'origine de ChatGPT ?
R: OpenAI est l'entreprise à l'origine de ChatGPT.

Q: 5 Quelle est la méthode d'entraînement utilisée pour les LLM ?
R: Les LLM sont entraînés en utilisant la méthode d'apprentissage supervisé.

Q: 6 Quel est le rôle des tokens dans un LLM ?
R: Les tokens sont des unités de texte, généralement des mots ou des caractères, qui servent de base pour l'entraînement et la génération de texte par le modèle.

Q: 7 Qu'est-ce que le fine-tuning ?
R: Le fine-tuning est une étape d'entraînement supplémentaire qui adapte un modèle pré-entraîné à des tâches ou des domaines spécifiques en ajustant les poids du modèle.

Q: 8 Quelle est la différence entre GPT-4 et GPT-3 ?
R: GPT-4 est une version améliorée de GPT-3, avec une plus grande capacité, de meilleures performances et une meilleure compréhension du langage naturel.

Q: 9 Qu'est-ce que le Transformer ?
R: Le Transformer est une architecture de modèle de traitement du langage naturel qui sert de base aux modèles GPT, utilisant l'auto-attention pour capter les dépendances à long terme dans les séquences de texte.

Q: 10 Qu'est-ce que l'auto-attention ?
R: L'auto-attention est un mécanisme utilisé dans les modèles Transformer pour pondérer l'importance relative des tokens dans une séquence lors de la génération de texte.

Q: 11 Quelle est la limite de connaissances de ChatGPT ?
R: La limite de connaissances de ChatGPT se situe en septembre 2021.

Q: 12 Qu'est-ce qu'un prompt ?
R: Un prompt est une entrée de texte fournie à un modèle de langage pour déclencher la génération d'une réponse ou d'un texte.

Q: 13 Comment fonctionne le décodage Top-K ?
R: Le décodage Top-K sélectionne les K tokens les plus probables à chaque étape de génération, créant un ensemble restreint de candidats pour le texte généré.

Q: 14 Qu'est-ce que le décodage nucléaire ?
R: Le décodage nucléaire est une méthode de génération de texte qui échantillonne les tokens en fonction d'un seuil de probabilité cumulée, éliminant les tokens moins probables et favorisant la diversité dans la réponse.

Q: 15 Comment ChatGPT génère-t-il des réponses à partir d'un prompt ?
R: ChatGPT utilise le contexte du prompt, l'auto-attention et les poids du modèle pour générer des réponses cohérentes et informatives en évaluant les tokens les plus probables à chaque étape de la génération de texte. Ses couches de neurones simulés savent aussi catégoriser les éléments appris et mettre en relation les catégories plutôt que les mots. C'est ce qui rend ChatGPT-4 aussi bluffant (parmi d'autres techniques).

Q: 16 Qu'est-ce que l'effet de répétition chez les LLM ?
R: L'effet de répétition est un phénomène où les LLM répètent les mêmes mots, phrases ou informations plusieurs fois dans leurs réponses générées. La qualité de l'apprentissage, du fine-tuning et d'autres mesures techniques permettent de limiter voire supprimer cette tendance de la technologie utilisée.

Q: 17 Qu'est-ce que l'effet de "hallucination" chez les LLM ?
R: L'effet d'hallucination fait référence à la tendance des LLM à générer des informations incorrectes, inventées ou non vérifiables dans leurs réponses. Dans les IA de dessin cela est encore plus facile à repérer avec des personnes qui ont 6 doigts au lieu de 5, des membres en trop ou en moins, etc.

Q: 18 Comment améliorer la qualité des réponses générées par ChatGPT ?
R: Pour améliorer la qualité des réponses générées par ChatGPT, il est possible d'utiliser des techniques comme le fine-tuning, le décodage Top-K, le décodage nucléaire, ou surtout, niveau utilisateur, de fournir des prompts plus précis et informatifs.

Q: 19 Quel est le rôle d'un prompt engineer ?
R: Un prompt engineer est un expert qui conçoit et optimise les prompts pour obtenir les meilleures réponses possibles d'un modèle de langage comme ChatGPT.

Q: 20 Quels sont les enjeux éthiques liés à l'utilisation des LLM ?
R: Les enjeux éthiques liés à l'utilisation des LLM incluent la production de contenu biaisé, discriminatoire ou offensant, la diffusion de fausses informations, la manipulation de l'opinion publique, l'atteinte à la vie privée et l'automatisation de certaines professions. En réalité les IA ne sont de ce point de vue pas plus dangereuses que beaucoup d'humains qui fréquentent les médias et Internet, mais ici les producteurs des IA prennent des mesures pour éviter ces déviances.

Conclusion ?