LLM & MoE · 04 · 02:35
[ÉPISODE 04] Fine-Tuning, LoRA & QLoRA : Adapter un Modèle Généraliste avec des Ressources Dérisoires
Hypothèse de rang intrinsèque faible, décomposition matricielle W = W0 + B*A, adaptation à 4-bit avec QLoRA et spécialisation métier souveraine.