LLM (Large Language Model)
LLM (Large Language Model): Definition, Funktionsweise und Einsatz im Kundenservice
Definition.
Ein Large Language Model (LLM) ist ein KI-Sprachmodell, das auf riesigen Textmengen trainiert wurde, um menschliche Sprache zu verstehen und zu generieren. Es erkennt statistische Muster in Sprache und sagt darauf basierend das wahrscheinlichste nächste Wort in einer Antwort voraus. Bekannte Beispiele sind GPT-4o, Mistral und Llama. Im Kundenservice bilden LLMs die technische Grundlage moderner AI Agents und Chatbots.
Ein LLM beantwortet keine Fragen, indem es in einer Datenbank nachschlägt. Es generiert Text, Wort für Wort, basierend auf Wahrscheinlichkeiten, die es aus Milliarden von Trainingsbeispielen gelernt hat. Genau das macht LLMs vielseitig einsetzbar, bringt aber auch eine bekannte Schwäche mit sich: Ohne zusätzliche Absicherung können sie Informationen erfinden, die plausibel klingen, aber falsch sind.
Wie funktioniert ein LLM?
Ein LLM zerlegt Text in kleine Einheiten, sogenannte Tokens, und lernt anhand riesiger Textmengen, welche Tokens statistisch am wahrscheinlichsten aufeinanderfolgen. Beim Generieren einer Antwort sagt das Modell Token für Token voraus, was als Nächstes folgt, und setzt daraus zusammenhängende Sätze zusammen.
Wichtig für das Verständnis ist das Kontextfenster. Es beschreibt, wie viel Text (Konversation, Dokumente, Anweisungen) ein LLM gleichzeitig verarbeiten kann, bevor ältere Informationen aus dem Blick geraten. Größere Kontextfenster erlauben längere Gespräche und mehr Hintergrundwissen pro Anfrage, was gerade im Kundenservice relevant ist, wenn ein AI Agent den bisherigen Gesprächsverlauf berücksichtigen muss.
Welche LLMs gibt es aktuell?
GPT-4o von OpenAI gehört zu den bekanntesten LLMs und wird sowohl in Consumer-Produkten wie ChatGPT als auch in Business-Anwendungen eingesetzt. Mistral ist ein europäisches Modell, das häufig wegen seiner Effizienz und der Möglichkeit zum Hosting innerhalb der EU gewählt wird. Llama von Meta ist ein offen zugängliches Modell, das Unternehmen auf eigener Infrastruktur betreiben können. Claude von Anthropic wird ebenfalls zunehmend im professionellen Umfeld eingesetzt, unter anderem wegen seines Fokus auf zuverlässiges Verhalten. Für DACH-Unternehmen ist bei der Anbieterwahl relevant, wo das jeweilige Modell gehostet wird, denn das beeinflusst die DSGVO-Konformität direkt.
LLM oder Chatbot: Wo liegt der Unterschied?
Ein LLM ist die zugrunde liegende Technologie, ein Chatbot oder AI Agent ist die Anwendung, die ein LLM nutzt. Ein klassischer, regelbasierter Chatbot arbeitet mit vordefinierten Entscheidungsbäumen und kann nur auf Fragen antworten, die vorab einprogrammiert wurden. Ein LLM-gestützter Chatbot dagegen versteht auch unbekannte Formulierungen und kann flexibel auf neue Fragen reagieren, weil er Sprache generiert statt nur Regeln abzuarbeiten. Der Unterschied zeigt sich besonders bei Sonderfällen: Ein regelbasierter Bot scheitert an unerwarteten Formulierungen, ein LLM-basiertes System interpretiert die Absicht dahinter und formuliert eine passende Antwort. Eine ausführliche Gegenüberstellung findest du im Artikel AI Agents vs. Chatbots.
Wo liegen die Grenzen von LLMs?
Die bekannteste Schwäche von LLMs sind Halluzinationen. Das Modell generiert dabei Aussagen, die sprachlich korrekt und selbstbewusst klingen, inhaltlich aber falsch sind, weil es Lücken im eigenen Wissen mit statistisch plausiblen, aber erfundenen Informationen füllt. Ein zweiter Punkt ist die Aktualität: Ein LLM kennt nur die Informationen aus seinen Trainingsdaten und weiß standardmäßig nichts über Ereignisse danach, etwa aktuelle Preise, Lagerbestände oder Firmenrichtlinien. Drittens verarbeitet ein LLM nur, was innerhalb seines Kontextfensters liegt. Bei sehr langen Gesprächen oder umfangreichen Dokumenten kann relevanter Kontext verloren gehen.
Wie werden LLMs im Kundenservice eingesetzt?
Im Kundenservice bilden LLMs das Sprachverständnis von Chatbots und AI Agents. Damit sie zuverlässig und faktenbasiert antworten, kombinieren die meisten professionellen Anbieter das LLM mit Retrieval-Augmented Generation (RAG). Dabei greift das Modell gezielt auf eine geprüfte, unternehmenseigene Wissensdatenbank zu, statt frei aus seinem Trainingswissen zu antworten. Das reduziert Halluzinationen deutlich, weil das LLM nur noch Informationen verarbeitet, die tatsächlich zum Unternehmen gehören. Anbieter wie melibo setzen dieses Prinzip ein, um AI Agents im Kundenservice an aktuelle Bestelldaten, Retourenstatus oder Vertragsinformationen anzubinden, statt sich auf das allgemeine Weltwissen des zugrunde liegenden LLMs zu verlassen. Mehr zur technischen Funktionsweise erklärt der Glossareintrag Retrieval-Augmented Generation (RAG).
Was bedeuten DSGVO und EU AI Act für den Einsatz von LLMs?
Sobald ein LLM personenbezogene Daten verarbeitet, was im Kundenservice praktisch immer der Fall ist, greift die DSGVO. Unternehmen benötigen einen Auftragsverarbeitungsvertrag (AVV) mit dem Anbieter, und Kundendaten dürfen nicht zum Training fremder Modelle verwendet werden. Wie du Chatbots konkret DSGVO-konform in deinem Unternehmen einsetzt, erklärt der melibo-Artikel Wie du Chatbots im Unternehmen DSGVO-konform einsetzen kannst. Zusätzlich schreibt der EU AI Act gemäß Art. 50 (Verordnung 2024/1689) eine Transparenzpflicht vor: Nutzer müssen erkennen können, dass sie mit einem KI-System sprechen. Für sensible Branchen empfiehlt das BSI explizit Hosting innerhalb der EU, idealerweise in Deutschland, um Datenschutzrisiken zu minimieren.
Fazit
Ein LLM ist die Sprachtechnologie hinter modernen Chatbots und AI Agents, nicht die Anwendung selbst. Es generiert Antworten auf Basis statistischer Wahrscheinlichkeiten und kann deshalb sowohl überraschend flexibel als auch fehleranfällig sein, insbesondere bei Halluzinationen und veralteten Informationen. Für den Einsatz im Kundenservice ist deshalb entscheidend, wie ein Anbieter das LLM absichert: über Retrieval-Augmented Generation, eine geprüfte Wissensdatenbank und DSGVO-konformes Hosting innerhalb der EU. Anbieter wie melibo verbinden das LLM genau auf diese Weise mit unternehmenseigenen Daten, sodass Antworten faktenbasiert bleiben statt frei erfunden zu werden. Wer ein KI-System für den Kundenservice auswählt, sollte deshalb nicht nur fragen, welches LLM im Hintergrund läuft, sondern vor allem, wie es an die eigene Wissensbasis angebunden ist.
