Vor zwei Jahren war die Wahl eines Open-Source-LLMs für viele Unternehmen eine kurze Diskussion. Proprietäre Modelle von OpenAI, Anthropic oder Google führten die meisten Benchmarks deutlich an, und offene Modelle galten oft als interessant, aber nicht produktionsreif. 2026 sieht die Landschaft anders aus.
Open-Weight-Modelle haben bei vielen Unternehmensaufgaben stark aufgeholt. Für Code, mehrsprachige Anwendungen, RAG, interne Assistenzsysteme, Klassifikation, Extraktion und domänenspezifische Workflows ist die Frage nicht mehr „Ist Open Source gut genug?“, sondern „Welches offene Modell passt zu diesem konkreten Workload, zu unseren Kosten und zu unseren Souveränitätsanforderungen?“
Dieser Leitfaden hilft europäischen Teams, Open-Source-LLMs nicht nur nach Leaderboard-Rang zu wählen. Entscheidend sind Lizenz, Deployment, Hardware, Datenkontrolle, Sprache, Kontextfenster, Tooling, Evaluationsqualität und regulatorische Position.
Open Source, Open Weight und offene Lizenzen unterscheiden
Der Begriff „Open Source LLM“ wird im Markt oft ungenau verwendet. Manche Modelle stellen Gewichte offen bereit, haben aber Nutzungseinschränkungen. Andere sind unter permissiven Lizenzen wie Apache 2.0 verfügbar. Wieder andere erlauben Forschung, aber keine freie kommerzielle Nutzung. Für europäische Unternehmen ist diese Unterscheidung nicht akademisch.
Vor einer technischen Entscheidung sollte jedes Team die Lizenz prüfen: kommerzielle Nutzung, Weiterverteilung, Fine-Tuning, Modell-Derivate, Markenbedingungen, Exportkontrollen und mögliche Einschränkungen für sensible Anwendungen. Ein Modell, das technisch stark ist, kann rechtlich oder strategisch unpassend sein.
Die wichtigsten Entscheidungskategorien
Allgemeines Reasoning
Für Wissensarbeit, Analyse, Zusammenfassung und komplexe Fragen zählt nicht nur ein Benchmark-Score. Teams sollten prüfen, ob das Modell in der eigenen Domäne konsistent argumentiert, Quellen korrekt nutzt, Unsicherheit ausdrückt und mit internen Dokumenten umgehen kann.
Code und Software Engineering
Für Coding-Workloads sind SWE-Bench-ähnliche Ergebnisse, Tool-Use, Kontextlänge, Fehlersuche, Refactoring und Repository-Verständnis wichtig. Ein Modell, das kleine Code-Snippets gut löst, ist nicht automatisch für große Unternehmens-Codebases geeignet.
Mehrsprachigkeit
Europäische Unternehmen arbeiten selten nur auf Englisch. Deutsch, Französisch, Spanisch, Italienisch, Niederländisch, Polnisch oder Arabisch können relevant sein. Teams sollten Modelle mit eigenen mehrsprachigen Testsets prüfen, statt sich auf englischlastige Benchmarks zu verlassen.
Langer Kontext und RAG
Große Kontextfenster sind attraktiv, ersetzen aber keine gute Retrieval-Architektur. Für RAG zählt, ob das Modell relevante Passagen nutzt, Halluzinationen vermeidet, Zitate korrekt behandelt und bei unzureichendem Kontext sauber ablehnt.
Souveränität und Deployment
Für sensible Daten kann Self-Hosting oder Hosting bei einem europäischen Anbieter entscheidend sein. Dabei zählen Modellgröße, GPU-Anforderungen, Quantisierung, Latenz, Skalierung, Monitoring, Zugriffskontrollen und Betriebskosten.
Warum Leaderboards nicht ausreichen
Leaderboards sind ein nützlicher Startpunkt, aber sie spiegeln selten den realen Unternehmenskontext wider. Sie sind oft englischdominiert, benchmark-optimiert und weit entfernt von Ihren Dokumenten, Richtlinien, Kundendialogen, Fachbegriffen und Fehlertoleranzen. Ein Modell kann auf einem öffentlichen Benchmark führen und trotzdem für Ihre Workloads schlechter sein als ein kleineres, besser angepasstes Modell.
Die richtige Vorgehensweise ist deshalb ein zweistufiges Verfahren. Erstens: eine Shortlist anhand von Lizenz, Modellgröße, Kosten, Sprachabdeckung und Infrastruktur bilden. Zweitens: diese Modelle auf eigenen Evaluationssets testen — mit echten Prompts, echten Dokumenten, echten Fehlertypen und menschlicher Bewertung.
Self-Hosting: wann es sich lohnt
Self-Hosting wird interessant, wenn Datenkontrolle, stabile Volumina, Compliance oder Kosten ab einem bestimmten Tokenverbrauch wichtiger werden als maximale Flexibilität. Bei sehr kleinen Volumina ist API-Zugriff oft günstiger und schneller. Bei hohen, planbaren Volumina kann ein selbst betriebenes Modell wirtschaftlich sinnvoll werden.
Der Break-even hängt von GPU-Kosten, Auslastung, Modellgröße, Quantisierung, Engineering-Aufwand und Verfügbarkeitsanforderungen ab. Teams sollten nicht nur Tokenpreise vergleichen. Sie müssen Betrieb, Monitoring, Updates, Security, Incident Response und Evaluationsaufwand einrechnen.
Tooling: Ollama, vLLM, TGI und Enterprise-Stacks
Für Experimente sind Tools wie Ollama attraktiv, weil sie lokal schnell Ergebnisse liefern. Für Produktion brauchen Teams meist skalierbarere Serving-Layer wie vLLM, Hugging Face TGI oder Managed-Stacks. Wichtig sind Durchsatz, Batch-Verhalten, GPU-Speichereffizienz, Observability, Rate Limits, Authentifizierung und Integration in bestehende MLOps-Prozesse.
Ein häufiger Fehler ist, ein Modell im Notebook zu testen und daraus Produktionsannahmen abzuleiten. Latenz unter Last, Speicherverbrauch, parallele Nutzer, lange Kontexte und Fehlerbehandlung verändern die Bewertung erheblich.
Fünf Fragen zur Modellauswahl
- Welche Daten dürfen das Unternehmen verlassen, und welche nicht?
- Welche Sprache, Domäne und Fehlertoleranz hat der Workload?
- Ist Latenz, Qualität, Kosten oder Souveränität der wichtigste Constraint?
- Benötigen wir Fine-Tuning, RAG, Tool-Use oder reine Inferenz?
- Können wir das Modell mit eigenen Testsets kontinuierlich evaluieren?
Was europäische Teams besonders beachten sollten
Für europäische Unternehmen ist Open Source nicht nur eine Kostenfrage. Es ist auch eine Frage von Datenresidenz, strategischer Unabhängigkeit und regulatorischer Nachvollziehbarkeit. Ein offenes Modell kann helfen, Abhängigkeiten zu reduzieren, aber nur dann, wenn Datenflüsse, Evaluation, Logs und menschliche Kontrollprozesse ebenfalls sauber gestaltet sind.
Ein selbst gehostetes Modell ohne robuste Evaluation ist keine souveräne Lösung. Teams müssen nachweisen können, dass das Modell für den vorgesehenen Zweck funktioniert, bekannte Grenzen hat, bei kritischen Fällen eskaliert und kontinuierlich überwacht wird.
Empfohlener Auswahlprozess
Beginnen Sie mit einer klaren Workload-Definition. Danach erstellen Sie eine Shortlist von drei bis fünf Modellen. Testen Sie diese auf einem kleinen, repräsentativen Datensatz mit menschlicher Bewertung. Messen Sie Qualität, Latenz, Kosten, Halluzinationen, Formatstabilität, Sprache und Ausfälle. Erst danach lohnt sich ein Infrastruktur- oder Fine-Tuning-Projekt.
Für regulierte oder sensible Anwendungen sollte die Evaluation dokumentiert werden: Version des Modells, Prompting-Strategie, Testdaten, menschliche Reviewer, Metriken, Fehlerkategorien und Entscheidungskriterien. Diese Dokumentation ist später für Governance, Einkauf und Compliance wertvoll.
Fazit
Das beste Open-Source-LLM 2026 gibt es nicht. Es gibt das beste Modell für einen konkreten Workload, unter konkreten Daten-, Kosten-, Sprach-, Lizenz- und Souveränitätsbedingungen. Europäische Teams sollten deshalb weniger auf globale Rankings und mehr auf eigene, domänenspezifische Evaluation setzen.
DataVLab unterstützt Teams bei LLM-Benchmarking, Human Evaluation, RAG-Goldsets, Präferenzdaten und qualitativer Fehleranalyse. Wenn Sie offene Modelle für produktive europäische Workloads vergleichen möchten, kontaktieren Sie uns.
