#89: Generative vs. Diskriminative KI in der Textanalyse – Warum ChatGPT bei der Themenfindung scheitert

In dieser Folge von #CXEinfachMachen tauchen Sebastian und Lukas tief in ein Thema ein, das die Marktforschungs- und CX-Welt bewegt: Wie gut funktioniert generative KI wirklich bei der Textanalyse? Lukas stellt die Ergebnisse eines umfangreichen Benchmarks vor, den licili seit drei Jahren kontinuierlich aktualisiert – basierend auf über 3.000 echten E-Commerce-Reviews, analysiert mit ChatGPT 5.2.

Wir sprechen über:

  • Drei Benchmark-Tests im Detail – Verkodung zu vorgegebenen Themen, eigenständige Themenfindung und Interpretation bereits vercodeter Daten

  • 94 % Konsistenz bei der Klassifizierung – Warum generative KI bei Ja/Nein-Zuordnungen hervorragend abschneidet

  • Nur 52 % Reproduzierbarkeit bei Themenfindung – Warum fünf identische Durchläufe völlig unterschiedliche Ergebnisse liefern

  • Der Kaskadeneffekt – Wie Casual Language Modeling durch die Vorhersage des nächsten Wortes minimale Abweichungen kaskadiert

  • Architektur- statt Modellproblem – Warum auch GPT-6 oder GPT-7 diese Limitierung nicht lösen werden

  • Reihenfolge-Effekt – Wie allein die Sortierung der Daten die Ergebnisse um weitere 7 % verschlechtert

  • Transparenz als Grundsatz – Warum es erschreckend ist, wenn Anbieter nicht zeigen, welche Verbatims hinter den Themen stecken

  • Praxis-Tipps – Kleine Batches, explizite Codepläne und Beispielvercodungen als Schlüssel für bessere Ergebnisse

Außerdem: Ein kurzer Rückblick auf die Succeet 2026, das neue Podcast-Format mit Anke Schramm zu Behavioral Economics und Sebastians kommendes SOR-Webinar zu AI Applications in CX Research. Viel Spaß beim Reinhören!

Benchmark: https://ressourcen.licili.de/benchmarking

Sebastian: https://www.linkedin.com/in/sebastian-syperek-cx-fit/

Lukas: https://www.linkedin.com/in/lukas-kauderer/

CXEinfachMachen: www.cxeinfachmachen.de

CXEinfachMachen – ein Podcast von Lukas Kauderer (CEO licili) und Sebastian Syperek (Principal UX Research – Kaiser X Labs, eine Tochtergesellschaft der Allianz). In 30-45-minütigen Podcast-Folgen sprechen die beiden über grundlegende Themen rund um die Customer Experience, zeigen Tools und Methoden der Marktforschung auf und erzählen von ihren eigenen Erfahrungen.

Schreibe einen Kommentar