Usar TraDoc
Estimador de hardware
Estima la memoria de un modelo local sin confundir la estimación con una medición real.
El Estimador ayuda a comparar el tamaño del modelo, la cuantización, el contexto y el margen de ejecución. Úsalo para preparar una configuración de LM Studio u Ollama.
Factores principales
- Número de parámetros.
- Cuantización de los pesos.
- Tamaño del contexto.
- Caché KV.
- Concurrencia.
- Memoria utilizada por el sistema y el servidor de inferencia.
Interpretación
Una estimación que apenas cabe en la VRAM deja poco margen para el contexto y los picos. Reduce primero la concurrencia o el tamaño del contexto, o elige una cuantización más compacta.
Estimación orientativa
El consumo real depende del motor, la arquitectura del modelo y sus opciones. Confírmalo siempre durante una prueba con las métricas de LM Studio, Ollama o el controlador de la GPU.