Multi-Modell-Gateway als Kontrollpunkt für Unternehmens-KI
Schatten-KI entsteht, wenn Mitarbeiter Unternehmensdaten an externe Chatdienste senden, ohne dass eine Stelle das protokolliert. Die ESTAYA AI Platform setzt davor ein zentrales Gateway auf Basis von LiteLLM. Jeder Aufruf läuft über eine OpenAI-kompatible API. Das Gateway übernimmt Routing zwischen Modellen, Failover bei Ausfall eines Backends und Kosten-Tracking pro Team und Anwendungsfall. So entsteht eine prüfbare Spur statt verteilter Einzelzugänge.
Wir betreiben offene Gewichte wie Llama, Mistral, Qwen und Teuken selbst mit vLLM auf eigenen GPU-Systemen in Deutschland. Damit bleiben Sie modellunabhängig: Ein neues Modell wird hinter dem Gateway getauscht, ohne dass Ihre Anwendungen sich ändern. Eine US-Cloud ist nicht im Pfad, die Daten verlassen Ihre Umgebung nicht.
Auf dem Gateway setzen die weiteren Schichten auf. RAG liefert Antworten mit Quellbeleg, statt frei zu generieren. KI-Agenten nutzen Tool-Calling und das Model Context Protocol (MCP), um an Fachsysteme anzubinden. Guardrails prüfen Ein- und Ausgaben auf personenbezogene Daten und Prompt-Injection.
- Governance: Rollen, Quotas, Audit-Log und Modell-Allowlists pro Abteilung
- Observability: Latenz, Token-Verbrauch und Fehlerquoten je Modell sichtbar
- Deployment: SaaS, dedizierte VPC oder air-gapped on-prem
- Produktiv als ESTAYA AI Platform und im KI-Archiv einer großen deutschen Regionalzeitung
- Das Audit-Log liefert die Nachweise, die der EU AI Act für Hochrisiko-Anwendungen verlangt