Local AI Stack · Runtime

Der lokale KI-Stack — mit einem Start.

Die Local AI Runtime startet, überwacht und protokolliert alle Bausteine, die den AI Stack mit Leben füllen: LM Studio, das Gateway, die Pull-Worker und die MariaDB-Queue. Ein Befehl statt fünf Handgriffen.

Die Runtime ist kein öffentlicher Dienst. Sie läuft auf Julians Rechner und macht die lokalen KI-Komponenten betriebsbereit – die Website spricht nur über sichere Pull-Worker mit ihnen, nie direkt.

Funktion

Orchestrierung, Überwachung, Protokoll.

01Lokal

One-Click Start

Ein Supervisor-Befehl bringt LM Studio, Gateway, Worker und XAMPP/MariaDB in der richtigen Reihenfolge hoch – inklusive Wartezeiten und Abhängigkeiten.

SupervisorBoot-Order
02Lokal

Health-Checks

Ports, Prozesse und Modellverfügbarkeit werden geprüft. Fällt eine Komponente aus, ist sofort sichtbar, welcher Baustein klemmt.

HealthWatchdog
03Lokal

Zentrale Logs

Jede Komponente schreibt in nachvollziehbare Logs. Fehler, Neustarts und Job-Durchläufe lassen sich an einer Stelle lesen.

LogsDiagnose
04Lokal

Sauberer Stopp

Ein kontrolliertes Herunterfahren beendet Worker und Dienste, ohne hängende Prozesse oder verwaiste Ports zu hinterlassen.

ShutdownCleanup

Architektur

Was die Runtime hochfährt.

Alles bindet auf 127.0.0.1. Nichts davon ist von außen erreichbar – die öffentliche Website pollt Jobs über ausgehende Verbindungen.

  1. LM Studio127.0.0.1 · lokales Modell
  2. LM Studio GatewayREST-Fassade · Auth · Limits
  3. Pull-WorkerPDF Lab · API Bridge · Workspace
  4. XAMPP / MariaDBJob-Queue · Status
  5. SupervisorStart · Health · Logs

Sicherheit

Lokal by default.

Kein Public Bind

Modelle und Gateway hören ausschließlich auf 127.0.0.1. Es gibt keine Portfreigabe und keinen eingehenden Internetzugriff.

Worker Pull

Die Worker verbinden sich aktiv nach außen, holen Jobs und schreiben Ergebnisse zurück. Der Rechner bleibt geschlossen.

Secrets bleiben lokal

API-Keys, Worker-Token und DB-Zugänge liegen in lokalen Konfigurationen – nie in Web, Git, Logs oder Screenshots.

Einordnung

Teil eines Ökosystems.

Die Runtime ist die Basis, auf der die übrigen AI-Stack-Bausteine laufen.