Was ist ein LLM?
Ein LLM (Large Language Model) ist ein großes Sprachmodell: eine KI, die mit sehr vielen Texten trainiert wurde und daraus gelernt hat, Sprache zu verstehen und passende Antworten zu formulieren.
Chatprogramme haben LLMs bekannt gemacht. Im Unternehmen stecken sie zunehmend in Werkzeugen, die Texte zusammenfassen, E-Mails vorformulieren oder Telefonate führen.
Funktionsweise in Kürze
Ein LLM berechnet, welches Wort am wahrscheinlichsten als Nächstes folgt – sehr schnell und unter Berücksichtigung des gesamten bisherigen Gesprächs. Gesteuert wird es durch Anweisungen, die festlegen, welche Rolle es einnimmt, welche Informationen es nutzen darf und welche Themen tabu sind. Über Schnittstellen kann es Aktionen auslösen, etwa einen Termin anlegen.
Rolle im Telefonassistenten
Im KI-Telefonassistenten ist das LLM das Gehirn zwischen Spracherkennung (Speech-to-Text) und Sprachausgabe. Es versteht das Anliegen, entscheidet über Rückfragen und formuliert die Antwort. Wie Leitfaden und Wissen dafür vorbereitet werden, beschreibt der Ratgeber KI-Telefonassistent einführen.
Grenzen kennen
Sprachmodelle können überzeugend klingende, aber falsche Aussagen erzeugen. Im Kundenkontakt sollten sie deshalb nur freigegebene Informationen verwenden und bei Unsicherheit an Menschen übergeben. Ebenso wichtig: wo das Modell betrieben wird und was mit den Gesprächsdaten passiert.
Eigenes Modell oder Dienst eines Anbieters?
Die wenigsten Unternehmen trainieren ein eigenes Sprachmodell. Üblich ist, ein vorhandenes Modell über einen Dienst zu nutzen und es mit eigenen Anweisungen und Wissen auszustatten. Entscheidend sind dann Vertragsfragen: Werden Ihre Daten zum Training verwendet, wo stehen die Server, und wie lange werden Anfragen gespeichert? Diese Punkte gehören vor jedem Einsatz geklärt.
Passt oft dazu
KI sinnvoll einsetzen?
Weitere Einsatzfelder beschreibt der Ratgeber KI im Mittelstand.