LLM & MoE · 01 · 02:35
[ÉPISODE 01] Le Mécanisme d'Attention & le Transformer : La Rupture Mathématique du Traitement du Langage
Matrice Query-Key-Value, produit scalaire échelonné, attention multi-têtes, complexité quadratique et accélération FlashAttention.