Modellauswahl mit Evidenz statt Bauchgefühl
LLM-Consulting beginnt bei Beyonetix mit Messwerten. Wir wählen Sprachmodelle entlang vier harter Kriterien aus: Lizenz, verfügbare GPU-Hardware, Budget und konkrete Aufgabe. Für klassifizierende Routinen reicht oft ein kleineres Modell wie Mistral oder Qwen, für anspruchsvolle Reasoning-Strecken setzen wir größere offene Gewichte ein. Alle Kandidaten betreiben wir mit vLLM auf eigenen GPU-Systemen in Deutschland. Welches Modell tatsächlich besser ist, entscheidet nicht das Datenblatt, sondern Ihr eigener Datensatz.
Dafür bauen wir einen reproduzierbaren Eval-Harness gegen Ihre realen Fragen und Belege. Wir messen mit RAGAS-Metriken: Faithfulness prüft, ob die Antwort durch den abgerufenen Kontext gedeckt ist, Answer Relevancy die Passung zur Frage, Context Precision die Qualität des Retrievals. Weil LLM-Ausgaben nicht deterministisch sind, läuft jede Bewertung mehrfach, und wir berichten Streuung statt eines geschönten Einzelwerts.
Aus den Messungen leiten wir die Architektur ab. Ob citation-grounded RAG oder Fine-Tuning die richtige Antwort ist, hängt davon ab, wie oft sich Ihr Wissen ändert und ob Quellenbelege Pflicht sind. Zur Bewertung gehören außerdem:
- Prompt-Design, Tool-Calling und strukturierte JSON-Ausgaben
- Guardrails gegen Halluzination und Prompt-Injection
- PageIndex und Wissensgraph als Retrieval-Verstärkung
- TCO-Vergleich Cloud-Token gegen Self-Hosting über die erwartete Laufzeit
- DSGVO- und EU-AI-Act-Rahmen, den wir für Sie umsetzen
Am Ende steht eine Empfehlung, die Sie anhand der Messwerte selbst nachvollziehen können.