Utiliser TraDoc
Assistant matériel
Estimer la mémoire d'un modèle local sans confondre estimation et mesure réelle.
L'outil Estimator aide à comparer taille du modèle, quantification, contexte et marge d'exécution. Il sert à préparer une configuration LM Studio ou Ollama.
Facteurs principaux
- Nombre de paramètres.
- Quantification des poids.
- Taille de contexte.
- Cache KV.
- Concurrence.
- Mémoire utilisée par le système et le serveur d'inférence.
Interprétation
Une estimation qui tient juste dans la VRAM laisse peu de marge pour le contexte et les pics. Réduisez d'abord la concurrence, la taille de contexte ou choisissez une quantification plus compacte.
Estimation indicative
Le chiffre réel dépend du moteur, de l'architecture du modèle et de ses options. Confirmez toujours avec les métriques de LM Studio, Ollama ou du pilote GPU pendant un test.