TraDoc verwenden
Hardware-Schätzung
Speicherbedarf eines lokalen Modells schätzen, ohne Schätzung und Messung zu verwechseln.
Der Schätzassistent hilft beim Vergleich von Modellgröße, Quantisierung, Kontext und Laufzeitreserve. Nutze ihn zur Vorbereitung einer LM-Studio- oder Ollama-Konfiguration.
Wichtigste Faktoren
- Parameterzahl.
- Gewichtsquantisierung.
- Kontextgröße.
- KV-Cache.
- Parallelität.
- Vom System und Inferenzserver belegter Speicher.
Interpretation
Passt eine Schätzung nur knapp in den VRAM, bleibt wenig Reserve für Kontext und Spitzen. Reduziere zuerst Parallelität oder Kontextgröße oder wähle eine kompaktere Quantisierung.
Richtwert
Der tatsächliche Verbrauch hängt von Engine, Modellarchitektur und Optionen ab. Bestätige ihn bei einem Test immer anhand der Metriken von LM Studio, Ollama oder dem GPU-Treiber.