Marktforschung ohne Menschen?

Beim Einsetzen von LLM sei vor allem eines wichtig: das richtige Prompting, also «die schlauste Art, das Modell nach einem Ergebnis zu fragen», sagt Müller. Daher hat das Forschungsteam in einem ersten Schritt genaue Personas für das Projekt erstellt und in den Prompt integriert. Diese hypothetischen Personen wurden mit soziodemografischen Merkmalen wie Alter, Geschlecht, Bildungsstand und Wohnort versehen, um die gewünschte Bevölkerungsschicht repräsentativ abzubilden. «Wichtig zu erwähnen ist dabei, dass Large-Language-Modelle dazu tendieren, ‘weird’ zu sein», sagt Müller und meint damit nicht etwa, dass die Tools irgendwie seltsam sind.

Er ordnet ein: «Die Abkürzung ‘weird’ fasst zusammen, welche Menschengruppen KI-Modelle in Antworten oft bevorzugen: white (weiss), educated (gebildet), industrialised (aus industriellen Ländern), rich (reich) und democratic (demokratisch).» Large-Language-Modelle wie ChatGPT widerspiegeln demnach vor allem die westliche Welt – man spricht auch von «Unconscious Bias», also einer Voreingenommenheit, welche die Stereotypen, die in Gesellschaften lauern, bestätigt. Inwiefern die definierten Personas mit dem Unconcious Bias konkurrieren, ist schwer einzuschätzen. Das Projekt von ZHAW und BSI mit dem Fokus auf Finanzdienstleistungen und Neo-Banken in den USA, Grossbritannien und Deutschland passte jedoch ins westlich geprägte Bild der meisten Large-Language-Modelle. Eine gute Ausgangslage, wenn es darum geht, eine künstlich generierte Gesellschaft befragen zu wollen.

Das Team hat also die vorgefertigten Personas mit vier verschiedenen LLMs (ChatGPT-4o, Llama 3.3 70B, Qwen 2.5 72B und Mixtral-8x7B) zu Neo-Banken befragt. Fragen wie «Welche Neo-Banken kennen Sie?» oder «Bei welcher Neo-Bank sind Sie Kund:in?» kamen vor. Die gleichen Fragen hat das Projektteam 200 echten Personen gestellt und die Antworten miteinander verglichen. Das Ergebnis: je nach Frage ernüchternd.

Die KI-Modelle haben die Lage teilweise komplett falsch eingeschätzt. Während die KI-Modelle offene oder numerische Fragen teilweise ähnlich wie reale Personen beantworteten, stimmten die Antworten von Ja/Nein-Fragen in den meisten Fällen nicht annähernd überein. So wurden auf die Frage, ob ein Konto bei einer Neo-Bank besteht, die Ja-Anteile in allen drei Ländern deutlich zu niedrig eingeschätzt – teilweise durchgehend mit 0 Prozent.

«Zu erklären ist dies mit dem wohl noch wenig ausreichenden Training der Modelle für den spezifischen Kontext», sagt Müller. Studien der Harvard Business School und der University of Wisconsin kommen zum gleichen Schluss: Die Datenerhebung in der Marktforschung mit künstlicher Intelligenz zu tätigen – sogenanntes Silicon Sampling –, kann verlockend sein, wenn es um Effizienz geht. Dennoch sind die Ergebnisse nicht ausreichend wahrheitsgetreu, um ihnen zu vertrauen und daraus Marketingstrategien abzuleiten.

Müller fasst zusammen: «Für explorative Forschung oder in Vorstudien für kausale Forschung kann künstliche Intelligenz hilfreich sein.» Bei deskriptiver Forschung, also der Abbildung von Realitäten, funktioniert künstliche Intelligenz bislang für viele Fragestellungen nicht gut genug. Ein interessanter Ansatzpunkt seien künftig jedoch das Training eines LLM mit eigenen Daten, etwa aus dem CRM-System oder aus vergangenen Befragungen, und das Finetuning des Modells.

Und was empfiehlt Steffen Müller praktizierenden Marktforschenden? «Gerade in Spannungsfeldern, wo schnelle Ergebnisse verlangt werden, kann es verlockend sein, sich auf die teilweise gut klingenden Antworten künstlicher Intelligenz zu verlassen», sagt Müller und appelliert: «Marktforschende sollen kritisch bleiben, hinterfragen, wie die Daten erhoben wurden, und die laufenden Trends für Marketingtools verfolgen.»

Auch wenn es in den nächsten Jahren vermutlich einige Firmen geben werde, die künstlich erhobene Daten anbieten, sei die Qualität von Antworten realer Personen nicht zu unterschätzen, betont Müller. Denn das Leben spielt sich nach wie vor in der echten Welt ab.