Wann sich ein eigenes Modell rechnet
Ein eigenes Sprachmodell ist nicht der erste Schritt, sondern der letzte. In den meisten Fällen lösen citation-grounded RAG, ein sauberer Wissensgraph und PageIndex das Problem bereits, ohne dass Gewichte angefasst werden. Wir prüfen deshalb zuerst, ob Retrieval, Prompt-Struktur und Reranking ausgereizt sind. Erst wenn ein wiederkehrendes Verhalten dauerhaft im Modell verankert sein soll, ein knapper Fachjargon zuverlässig getroffen werden muss oder Latenz und Kosten bei hohem Volumen kritisch werden, beginnt das Training.
Für domänenspezifisches Verhalten nutzen wir parameter-effizientes Fine-Tuning mit LoRA und QLoRA in 4-bit. Das hält den GPU-Bedarf niedrig und erlaubt mehrere Varianten auf einer Basis offener Gewichte wie Llama, Mistral, Qwen oder Teuken. Für Suche und RAG trainieren wir eigene Embeddings: Bi-Encoder für den ersten Treffer, Cross-Encoder als Reranker für die finale Reihung. Per Distillation bringen wir ein großes Lehrmodell auf ein kleines, schnelles SLM. Mit DPO richten wir Ton und Antwortform an Ihren Vorgaben aus.
- RAG-Anpassung statt Training, wenn Wissen sich häufig ändert
- Ab etwa einigen hundert sauber gelabelten Beispielen wird LoRA tragfähig
- Eigene Embeddings, wenn generische Suche Fachbegriffe verfehlt
- SLM und Distillation, wenn Latenz und Stückkosten zählen
- DPO, wenn Stil und Format reproduzierbar sein müssen
Ihre Trainingsdaten bleiben bei Ihnen, in Deutschland. Das Modell wird mit vLLM auf eigenen GPU-Systemen für Sie betrieben. Der volle Transfer der Modell-IP ist als Enterprise-Option möglich.