Local AI Infrastructure

Lokale KI als saubere REST API.

Neumann LM Studio Gateway kapselt LM Studio hinter einer sicheren lokalen API für PDF-Analysen, Automationen und interne Tools.

Die Gateway-API läuft standardmäßig nur lokal auf 127.0.0.1. Diese Projektseite dokumentiert das System, stellt aber keine öffentliche KI-Schnittstelle bereit.

Projekt ansehen: AI PDF Lab API-Beispiele ansehen

Architektur

Ein lokaler Schutzlayer vor LM Studio

Tools sprechen nicht mehr direkt mit LM Studio, sondern mit dem Gateway. Dort liegen Authentifizierung, Limits, Logging, PDF-Handling, Prompting und Jobs.

Tool / Worker / App

Lokales Script, AI PDF Worker oder internes Frontend.

Gateway

API-Key, Scopes, Rate-Limit, Validierung und Jobs.

LM Studio lokal

OpenAI-kompatibler Local Server auf Julians Rechner.

Antwort

Strukturierte Zusammenfassung, Chat-Antwort oder Jobstatus.

Security

Standardmäßig nicht öffentlich

Localhost by default

Bindet auf 127.0.0.1. Public Bind wird blockiert, sofern nicht explizit erlaubt.

API-Key + Scopes

Jeder KI-Endpunkt verlangt einen Key und passende Rechte wie chat, pdf oder jobs.

Rate Limits

Anfragen werden pro Key oder Identität begrenzt, damit lokale Dienste kontrolliert bleiben.

PDF Limits

Dateityp, Magic Bytes und Größe werden vor der Verarbeitung geprüft.

Keine öffentliche LM-Studio-API

LM Studio bleibt lokal. Diese Webseite stellt keinen Proxy ins Internet bereit.

Git-ready

Secrets, Logs, lokale Datenbanken, Uploads und virtuelle Umgebungen sind ausgeschlossen.

Use Cases

Wofür das Gateway gedacht ist

AI PDF Lab

Das PDF Lab kann künftig das Gateway statt LM Studio direkt ansprechen.

Lokale Automationen

Wiederverwendbare KI-Funktionen für Scripts und Windows-Workflows.

Dokumentenzusammenfassungen

PDF- und Textanalyse mit strukturierter deutscher Ausgabe.

Interne Chat-Tools

Einheitlicher lokaler Chat-Endpunkt mit Modellauflösung.

Prototyping

Schnelle lokale KI-Prototypen ohne direkte LM-Studio-Kopplung.

Julian Neumann

IT · Automation · AI · Author aus Bremen.

API Beispiele

Beispiele ohne echte Keys

Healthcheck

curl http://127.0.0.1:8787/health

Chat

curl -X POST http://127.0.0.1:8787/api/v1/chat ^
  -H "X-API-Key: <API_KEY>" ^
  -H "Content-Type: application/json" ^
  -d "{\"message\":\"Fasse diesen Satz kurz zusammen.\"}"

PDF zusammenfassen

curl -X POST http://127.0.0.1:8787/api/v1/pdf/summarize ^
  -H "X-API-Key: <API_KEY>" ^
  -F "file=@test.pdf" ^
  -F "style=structured"

Datenschutz-Hinweis: Diese Projektseite verarbeitet selbst keine PDFs. Die lokale Gateway-API läuft nicht öffentlich.