Halluzination: Definition, Ursachen und Gegenmaßnahmen
Warum der Begriff zählt
Wer einen KI-Assistenten in den Kundenkontakt oder in interne Prozesse stellt, haftet für dessen Aussagen. Eine erfundene Preisauskunft oder eine falsche Rechtsangabe kann teuer werden. Deshalb ist die zentrale Frage nicht, ob ein Modell klug klingt, sondern ob seine Antworten belegbar sind. Ein umsetzbarer Prototyp zeigt genau hier seinen Wert, weil er das Halluzinationsrisiko an echten Fällen sichtbar macht, bevor gebaut wird.
Wann es relevant ist
- Der Assistent gibt Auskünfte, auf die Menschen Entscheidungen stützen.
- Fachwissen, Preise oder Vertragsdaten fließen in die Antworten ein.
- Antworten sollen belegbar sein, nicht nur plausibel.
- Eine falsche Aussage hätte rechtliche oder finanzielle Folgen.
Wann nicht
Bei rein kreativen Aufgaben wie Ideensammlung, Textentwürfen oder Brainstorming ist eine gewisse Erfindungsfreude erwünscht und keine Gefahr. Auch wenn ein Mensch jede Ausgabe ohnehin gegenprüft, bevor sie wirkt, sinkt das Risiko. Kritisch wird es erst dort, wo die Antwort ungeprüft nach außen geht oder eine Handlung auslöst.
Branchen, die das nutzen
- Versicherungen: Auskünfte zu Tarifen und Deckungen müssen belegbar sein, sonst entstehen Fehlberatungen mit Haftung.
- Gesundheitswesen: Erfundene Dosierungen oder Studienangaben sind gefährlich, deshalb braucht jede Aussage eine geprüfte Quelle.
- Öffentliche Verwaltung: Bürgerauskünfte müssen dem geltenden Recht entsprechen, freie Interpretationen sind nicht tragbar.
- Finanzdienstleistung: Zahlen und Bedingungen dürfen nicht geraten werden, weil daraus verbindliche Entscheidungen folgen.
Typische Anwendungsfälle
- Ein Support-Assistent zitiert nur aus freigegebenen Dokumenten und markiert, wenn er nichts findet.
- Ein Rechercheassistent verlinkt jede Aussage auf die genutzte Textstelle.
- Ein interner Wissensbot antwortet mit ich weiß es nicht statt zu raten.
- Ein Angebotsgenerator zieht Preise aus einer geprüften Datenquelle statt aus dem Modellgedächtnis.
- Eine Prüfschleife lässt ein zweites Modell die erste Antwort auf Belege kontrollieren.
Entscheidungshilfe
| Signal | Gegenmaßnahmen nötig | Alternative |
|---|---|---|
| Antworten stützen Entscheidungen | Retrieval plus Quellenzwang einbauen | freies Modell nur mit Mensch als Kontrolle |
| Rein kreative Nutzung | leichte Absicherung genügt | Standardmodell ohne Zusatz |
| Hohe Haftung im Fehlerfall | strenge Prüfschleife und Logging | Fall gar nicht automatisieren |
| Wissen ändert sich oft | Anbindung an aktuelle Datenquelle | keine statische Modellantwort |
Beispiel
Ein Energieversorger will Tarifauskünfte automatisieren. Im Workshop wird ein Prototyp gebaut, der ausschließlich aus dem freigegebenen Tarifkatalog antwortet und jede Zahl auf die Quelle verlinkt. An echten Anfragen zeigt sich, wo das Modell ohne Anbindung frei erfand und wo die Quellenbindung greift. Das Beispiel beschreibt die Vorgehensweise, keine behauptete Kundenkennzahl.
Verbindung zu Services
Der passende Einstieg ist der KI-Workshop, in dem das Halluzinationsrisiko an echten Fällen geprüft wird, danach KI-Entwicklung und KI-Implementierung.
Quellen
Diese Einordnung beschreibt gängige Praxis im Umgang mit Halluzinationen bei Sprachmodellen. Technische und rechtliche Details hängen vom konkreten Modell, den Daten und dem Einsatz ab und sollten dort geprüft werden.