Zum Inhalt springen

Plattform · ESTAYA AI Platform

Eine Plattform für alle KI-Anwendungen

Die ESTAYA AI Platform ist die zentrale Schicht zwischen Ihren Anwendungen und KI-Modellen: LiteLLM-Gateway, citation-grounded RAG, KI-Agenten und Governance an einem Ort, auf eigenen Servern in Deutschland. Produktiv im Einsatz, u. a. im KI-Archiv einer großen deutschen Regionalzeitung.

KI-Wildwuchs entsteht schnell, wenn jedes Team eigene Tools nutzt. Die Plattform bündelt Modelle, Wissen und Agenten hinter einer API, samt Rollen, Audit-Log und Budget-Limits.

FÄHIGKEITEN

Was die Plattform leistet

Modelle, Wissen, Agenten, kontrolliert

Multi-Modell-Gateway (LiteLLM)

Ein OpenAI-kompatibles API vor vielen Modellen, offenen wie eigenen. Routing, Failover, Lastverteilung und Kosten-Tracking pro Team und Key. Der Modellwechsel kommt ohne Code-Umbau aus.

RAG & Grounding

Belegte Antworten mit PageIndex, NLI-Grounding & Wissensgraph.

KI-Agenten

Plan-Execute-Reflect, Tool-Calling, MCP.

Guardrails

PII-Schutz, Themen-Filter, Prompt-Injection-Abwehr.

Governance

Rollen, Quotas, Modell-Allowlists, Budgets.

Observability

Qualität, Latenz, Tokens und Kosten werden messbar. Die Audit-Logs lassen sich für EU AI Act und interne Revision dokumentieren.

Authentifizierung & SSO

Eigener Identitäts-Dienst (Keycloak) mit Single Sign-on, OIDC/SAML, 2FA, Rollen und Mandanten. Eine Anmeldung genügt für alle KI-Dienste.

Training & Reinforcement Learning

Fine-Tuning, LoRA und RLHF/DPO-Pipelines auf eigenen GPUs. Aus dem Feedback Ihrer Fachbereiche wird ein messbar besseres Modell.

UI-Framework

Fertige Komponenten für Chat, Suche, Dossiers und Dashboards. Damit steht Ihre KI-Oberfläche in wenigen Tagen.

App-Framework & SDK

SDK, APIs und Bausteine, um eigene KI-Apps schnell zu bauen. Auth, RAG und Agenten sind bereits eingebaut.

Warum eine Plattform

Modell-Unabhängigkeit statt Vendor-Lock-in

Ihre Anwendungen sprechen ein einziges, OpenAI-kompatibles Format. Welches Modell dahinter antwortet, Llama, Mistral, Qwen, Teuken oder Ihr eigenes Fine-Tune, entscheidet die Plattform anhand Ihrer Regeln. So wechseln Sie Modelle wie Strom­anbieter: ohne Umbau.

  • Ein API (LiteLLM) für offene und eigene Modelle
  • Kosten- und Quota-Kontrolle pro Team
  • Deploy als SaaS, VPC oder air-gapped on-premise
  • Inferenz mit vLLM auf eigenen GPU-Servern in DE
Souveräne KI verstehen
AI Platform

Eigene Algorithmen

Mehr als ein RAG-Baukasten

Unter der Plattform stecken Verfahren, die generische Baukästen nicht mitbringen: hybride Suche mit Reciprocal Rank Fusion, Cross-Encoder-Reranking, NLI-Satz-Grounding mit Abstention (0-Halluzination), ein NLI-verifizierter Wissensgraph mit Pfadsuche und Communities sowie kontextadaptive Gewichtung je nach Frage-Intent.

Qualität ist messbar: ein eval_harness mit RAGAS-artigen Metriken (Faithfulness, Answer-Relevancy, Context-Precision), Gold-Set und Regressions-Gate. Confidence wird ehrlich ausgewiesen (hoch/mittel/niedrig) statt mit Pseudo-Prozenten.

  • Reciprocal Rank Fusion + Cross-Encoder-Reranking
  • NLI-Grounding & Abstention (0-Halluzination)
  • Wissensgraph: Pfade, Communities, Brokerage
  • Messbare Qualität via eval_harness (RAGAS)
AI Platform
EINFÜHRUNG

In wenigen Wochen produktiv

So führen wir die Plattform ein

01

Assessment

  • Use-Cases & Datenquellen
  • Sicherheits- und Compliance-Rahmen
02

Setup

  • Gateway, RAG & Modelle aufsetzen
  • Rollen, Budgets, Guardrails
03

Pilot

  • Erster Use-Case produktiv
  • Evaluierung & Feinschliff
04

Skalierung

  • Weitere Teams & Use-Cases
  • Betrieb, Monitoring, SLA

Häufige Fragen

Fragen zur Plattform

Was ist ein Multi-Modell-Gateway?

Ein einheitliches API vor vielen Modellen. Ihre Anwendungen sprechen ein Format (OpenAI-kompatibel); das Gateway routet, verteilt Last, sichert per Failover ab und trackt Kosten. Ein Modellwechsel braucht keine Code-Änderung.

Läuft die Plattform vollständig on-premise?

Ja. Gateway, RAG und Inferenz (vLLM) laufen vollständig in Ihrem Rechenzentrum oder air-gapped, ohne Datenabfluss.

Welche Governance bietet die Plattform?

Audit-Logs, Budget- und Quota-Limits pro Team und Key, Modell-Allowlists, Rollen und Guardrails (PII, Themen-Filter), dokumentierbar für EU AI Act und interne Revision.

Warum eine Plattform statt verstreuter Werkzeuge

Einzelne KI-Bausteine erzeugen Wartungslast: ein Vektorspeicher hier, ein API-Adapter dort, ein Skript für Auswertungen. Die ESTAYA AI Platform fasst diese Schichten zu einem dokumentierbaren System zusammen. Im Zentrum steht ein Gateway auf Basis von LiteLLM. Es vereinheitlicht den Zugriff auf offene Modelle wie Llama, Mistral, Qwen und Teuken, die wir selbst mit vLLM betreiben. Sie sind dadurch nicht an einen Anbieter gebunden und tauschen Modelle aus, ohne Anwendungen umzuschreiben.

Die Antwortqualität entsteht über mehrere Verfahren statt über einen einzelnen Suchschritt. Citation-grounded RAG belegt jede Aussage mit ihrer Quelle. PageIndex ordnet lange Dokumente strukturiert ein, ein Wissensgraph verbindet Entitäten, und ein NLI-Prüfschritt verwirft Aussagen, die nicht durch den Kontext gedeckt sind. Eigene Algorithmen schärfen die Auswahl: Reciprocal Rank Fusion vereint mehrere Trefferlisten, Cross-Encoder-Reranking ordnet nach Relevanz, eine kontextadaptive Gewichtung passt sich der Anfrage an.

KI-Agenten arbeiten nach dem Muster Plan-Execute-Reflect und binden Fachsysteme über das Model Context Protocol an. Governance und Observability protokollieren jeden Aufruf, jedes Modell und jede Quelle nachvollziehbar. Mit dem eval_harness und RAGAS messen wir Treffergüte und Belegtreue in Zahlen.

  • Modell-Unabhängigkeit durch ein einheitliches Gateway
  • Belegbare Antworten über Grounding und NLI-Prüfung
  • Eigene Ranking-Algorithmen statt reiner Vektor-Suche
  • Deployment on-premises, in der VPC oder als SaaS auf eigenen Servern in Deutschland
  • Produktiv in der ESTAYA AI Platform und im KI-Archiv einer großen deutschen Regionalzeitung

DSGVO, EU AI Act, BSI IT-Grundschutz und ISO 27001/42001 bilden den Rahmen, den wir für Sie umsetzen. Beyonetix führt selbst keine Zertifizierung. Was wir liefern, sind nachvollziehbare Protokolle, mit denen Ihre Prüfung diese Anforderungen belegen kann.

Sehen Sie die ESTAYA AI Platform an Ihren Daten

Wir richten einen Piloten mit Ihrem Use-Case in Ihrer Umgebung ein.