[SOMMAIRE] Modèles LLM & Architectures MoE : Des Transformers aux Réseaux d'Experts

Mécanisme d'attention, architectures Mixture of Experts (MoE), routage dynamique des tokens, quantification 4-bit et SLM souverains.