LLM & MoE · 02 · 02:35
[ÉPISODE 02] Le Routage Noisy Top-K & la Stabilité du Calcul Matriciel dans les Architectures MoE
Aiguillage dynamique de Noam Shazeer, bruit gaussien anti-effondrement, perte auxiliaire d'équilibrage de charge et facteur de capacité tampon.