Thème : IA générative
❓ Problématique
Comment ChatGPT, basé sur l'architecture Transformer, parvient-il à générer des textes cohérents et contextuels ?
🎓 Questions possibles du jury
Quelle est la différence entre l'attention bidirectionnelle de BERT et l'attention auto-régressive de GPT ?
Comment le positional encoding résout-il le problème de l'ordre des mots ?
Prêt à t'entraîner ? Ketty joue le jury et te pose les vraies questions.
💡 Conseils
- ✓Préparer un schéma clair de l'architecture Transformer.
- ✓Bien distinguer pré-entraînement et fine-tuning.
