#94: Plausibel heißt nicht richtig – Warum der Marktforschung die Benchmarks für KI-Analysen fehlen

In dieser Folge von #CXEinfachMachen wird es entspannt und gleichzeitig methodisch tief: Sebastian berichtet von drei intensiven Tagen auf der Sawtooth Software Conference in Berlin – rund 80 ausgewählte Teilnehmer aus aller Welt, von Utah bis Europa, und ein Programm voller aktueller Methodik-Trends. Daraus entwickelt sich mit Lukas eine spannende Diskussion über die vielleicht wichtigste offene Frage der Branche: Woher wissen wir eigentlich, ob ein KI-Ergebnis nicht nur plausibel klingt, sondern auch stimmt?

Wir sprechen über:

  • Synthetische Daten & Digital Twins – warum das Boosten kleiner Zielgruppen schon ganz gut funktioniert, vollständig synthetische Panels (Ipsos, NIQ, Experimente aus Stanford und Columbia) aber mehr Fragezeichen als Antworten liefern

  • Shapley Values statt Regression – wie „Rewards and Penalties“-Analysen die Schwächen klassischer Treiberanalysen umgehen und warum die Kombinations-Explosion bei vielen Variablen jede Software an ihre Grenzen bringt

  • Driver CBC & adaptive Conjoints – wie SKIM Marken- und Produktattribute in einem Modell zusammenbringt und was hinter ACBC und „bespoke“ Conjoints steckt

  • Die Idee eines CX-/Marktforschungs-Benchmarks – welche Tests von Standardverkodung über Treiberanalyse bis Regression ein LLM-Benchmark für die Branche enthalten müsste

  • Plausibel ≠ richtig – warum LLM-Ergebnisse überzeugend wirken, aber kaum jemand sie gegen eine manuelle Berechnung gegenprüft

  • Das Prompt-Repository-Problem – warum Research- und CX-Teams ihre Prompts, anders als Developer, viel zu selten dokumentieren und speichern

  • Die neue Rolle der Researcher – wenn Fachabteilungen ihre Treiberanalysen während eines Meetings selbst bauen, wird das Einordnen sinnvoller Methoden zur eigentlichen Aufgabe

  • Themenreine Modelle – warum Sales- und Service-Transkripte nicht in einen Topf gehören und gutes Pre-Processing über die Qualität der Analyse entscheidet

  • Auf das „Warum“ hören – wie Lukas‘ Team aus dem eigenen Kundenfeedback nicht ein Feature nach dem anderen baut, sondern erst den eigentlichen Pain versteht und dann den Lösungsraum öffnet

Außerdem: Lukas startet in vier Wochen Elternzeit (es wird also fleißig vorproduziert), Sebastian kündigt sein kommendes Webinar an – und beide spielen mit dem Gedanken, einen eigenen LLM-Benchmark fürs Research direkt aus dem Podcast heraus aufzusetzen. Holger, falls du das hörst… Viel Spaß beim Reinhören!

Sebastian: https://www.linkedin.com/in/sebastian-syperek-cx-fit/

Lukas: https://www.linkedin.com/in/lukas-kauderer/

CXEinfachMachen: www.cxeinfachmachen.de

CXEinfachMachen – ein Podcast von Lukas Kauderer (CEO licili) und Sebastian Syperek (Principal UX Research – Kaiser X Labs, eine Tochtergesellschaft der Allianz). In 30-45-minütigen Podcast-Folgen sprechen die beiden über grundlegende Themen rund um die Customer Experience, zeigen Tools und Methoden der Marktforschung auf und erzählen von ihren eigenen Erfahrungen.

Schreibe einen Kommentar