Betrieb

TraDoc betreiben

Eine dauerhafte Instanz absichern, sichern, aktualisieren und diagnostizieren.

Eine dauerhafte TraDoc-Instanz verbindet vier Elemente:

  1. einen überwachten Prozess oder Container;
  2. ein persistentes und gesichertes Verzeichnis data/;
  3. einen erreichbaren LLM-Anbieter;
  4. eine zur Sensibilität der Dokumente passende Netzwerkgrenze.

Mindest-Routine

  • GET /health prüfen.
  • Freien Speicher des Volumes überwachen.
  • Backups und Wiederherstellung testen.
  • Updates in einem geplanten Zeitfenster durchführen.
  • Den Port eines lokalen Anbieters niemals direkt veröffentlichen.

Beginne mit Sicherheit und Daten und Backups.

Hardware-Schätzung

Speicherbedarf eines lokalen Modells schätzen, ohne Schätzung und Messung zu verwechseln.

Sicherheit

Authentifizierung, Origins, LLM-Endpunkte, Importgrenzen, Netzexposition und private Meldung.