- Informationen der Chatbots teilweise veraltet oder unvollständig
- Chatbots geben sich politisch neutral, sprechen aber auch Empfehlungen aus
- Sag mir, wer du bist, und ich sag dir, wen du wählen kannst
- Parteien werden auf Kernthemen reduziert
- Regierungsparteien priorisiert, FDP über-, AfD unterrepräsentiert
- Problem ist Betreibern bekannt
- Expertin kritisiert: Fehlende Transparenz und gesetzliche Regelungen
In Rheinland-Pfalz und Baden-Württemberg wird im März zum ersten Mal seit dem Durchbruch der KI-Chatbots ein neuer Landtag gewählt. Immer mehr Menschen nutzen diese Technologie regelmäßig im Alltag - jeder fünfte auch, um sich über Politik zu informieren, wie eine Umfrage zeigt.
Die London School of Economics (LSE) fand heraus, dass Gespräche mit Chatbots politische Überzeugungen verändern können. Wirkt sich das auf die Landtagswahlen im Südwesten aus? Studierende der TU Dortmund haben in Kooperation mit dem SWR Data Lab ausgewertet, wie die beiden gängigsten KI-Chatbots ChatGPT und Gemini mit Fragen zur Landespolitik umgehen.
Informationen teilweise veraltet oder unvollständig
Den Chatbots wurden zunächst vier allgemeine Fragen zu den Landtagswahlen gestellt, zum Beispiel wer wählen darf und wo man wählen kann. Jede Frage wurde den beiden Chatbots für jedes Bundesland fünfmal gestellt. Das Ergebnis: Die Chatbots beantworteten die Fragen meistens korrekt.
In zwei von fünf Fällen gab ChatGPT jedoch an, man müsse mindestens 18 Jahre alt sein, um bei der Landtagswahl in Baden-Württemberg zu wählen. Das ist nicht richtig, denn dieses Jahr dürfen nach einer Gesetzesänderung erstmals auch 16- und 17-Jährige wählen. Gemini antwortete in der Stichprobe immer korrekt.
Auf die Frage, wo man wählen kann, erwähnte Gemini immer auch die Möglichkeit zur Briefwahl. Bei ChatGPT fehlte diese Information in zwei von zehn Fällen.
Solche Fehler entstehen, da Chatbots nicht auf Wissen, sondern auf Wahrscheinlichkeiten basieren. Sie haben kein Verständnis dafür, was richtig oder falsch ist. Stattdessen haben sie aus großen Datenmengen gelernt, einen Satz Stück für Stück mit Wörtern zu vervollständigen, die häufig auf die vorherigen Wörter folgen. Aber was plausibel klingt, stimmt nicht immer.
Chatbots geben sich politisch neutral, sprechen aber auch Empfehlungen aus
Die TU Dortmund und das SWR Data Lab haben die Chatbots auch nach Wahlempfehlungen gefragt. Einmal wurde die Frage ohne Information zur fragenden Person gestellt und siebenmal aus der Sicht einer fiktiven Persona. Dafür wurde ein Satz mit Angaben zu Alter, Beruf, Wohnort und Name vorangestellt.
In den Antworten wiesen sowohl ChatGPT als auch Gemini in der Regel darauf hin, dass sie keine konkrete Empfehlung aussprechen, aber unterstützende Informationen bereitstellen können. Trotzdem empfahl ChatGPT einmal ohne Angaben zur Person die Wahl der Grünen:
Sag mir, wer du bist, und ich sag dir, wen du wählen kannst
In den anderen Antworten kam es nicht mehr zu einer so deutlichen Empfehlung. Dennoch wurden Parteien oft indirekt empfohlen - durch Sätze wie "Wenn dir … wichtig ist, dann …" und ähnliche Formulierungen. Solche Wenn-dann-Konstruktionen kamen vermehrt bei ChatGPT vor, vor allem, wenn Informationen zur fragenden Person ergänzt wurden.
Dem jungen Bauer aus Hackenheim (Bad Kreuznach) wurde zum Beispiel von ChatGPT in einer Antwort die ÖDP als einzige Partei genauer in Bezug auf ihre landwirtschaftlichen Positionen vorgestellt:
Die Angaben zur fragenden Person wie Beruf oder Alter beeinflussten auch, welche Parteien in den Antworten überhaupt erwähnt wurden. So wurde nur in rund einem Drittel der Antworten an den Landwirt Lukas die Linkspartei genannt, an die Erzieherin oder die Hausfrau dagegen in 85 Prozent. Dieser Effekt war bei Gemini stärker als bei ChatGPT, das tendenziell mehr Parteien in den Antworten erwähnte.
Nun gibt niemand seine gesamte Lebensgeschichte in einen Chatbot ein, um eine möglichst passgenaue Wahlempfehlung zu bekommen. Aber über bisherige Chats können KI-Modelle ähnliche Informationen über Nutzerinnen oder Nutzer erhalten und in neuen Chats berücksichtigen, wenn man die Gedächtnis-Funktion ("Gespeicherte Informationen" in Gemini oder "Erinnerungen" in ChatGPT) aktiviert hat.
Parteien werden auf Kernthemen reduziert
Wenn Parteien mit bestimmten Themen in Verbindung gebracht wurden, dann oft mit den ihnen zugeschriebenen Kernkompetenzen: CDU und FDP zum Beispiel mit Wirtschaftspolitik, SPD und Linke mit Sozialpolitik, Bündnis 90/Die Grünen mit Umweltpolitik und die AfD mit Migration. Bei ChatGPT kam das häufiger vor als bei Gemini.
Eine mögliche Erklärung liegt in den unterschiedlichen Profilen der Personas. Denn auf Basis der wenigen Informationen über die fragende Person nahmen die Chatbots Interessen oder Prioritäten an, zum Beispiel, dass sich die junge Erzieherin für kostenlose Bildung und Chancengleichheit interessieren könnte:
Regierungsparteien priorisiert, FDP über-, AfD unterrepräsentiert
Im Schnitt bestanden knapp zwei Drittel einer Antwort aus allgemeinen Hinweisen, zum Beispiel auf Themenbereiche, Wahlprogramme oder den Wahl-O-Mat. Im restlichen Teil gingen die Chatbots aber fast immer auch auf einzelne Parteien ein. CDU, SPD, Grüne und FDP kamen in fast allen Antworten vor. An erster Stelle wurden meistens die Regierungsparteien genannt.
Es fällt auch auf: Der FDP wurden vergleichsweise viele Wörter gewidmet, umgekehrt bekam die AfD im Verhältnis zu ihrer Stärke nach aktuellen Umfragen bei Gemini wenig Raum. Die Freien Wähler wurden in Rheinland-Pfalz häufiger genannt - dort sitzen sie im Vergleich zu Baden-Württemberg auch im Landtag. Die Grünen wurden in Baden-Württemberg häufiger genannt, wo sie aktuell auch den Ministerpräsident stellen.
Dass die AfD in den ChatGPT-Antworten mehr Raum bekam, könnte daran liegen, dass die Partei in fast der Hälfte der Antworten kritisch eingeordnet wurde. So wurde zum Beispiel auf die Einstufung als rechtsextremer Verdachtsfall durch den Verfassungsschutz hingewiesen. Bei Gemini war das nie der Fall.
Sprachmodelle wie ChatGPT und Gemini orientieren sich in ihren Antworten nicht an Umfragewerten. Sie können aktuelle Informationen durch Internetrecherche einbeziehen, antworten letztlich aber basierend auf sprachlichen Wahrscheinlichkeiten. Taucht in den Daten, mit denen ein Modell trainiert wird, eine Partei besonders oft in einem bestimmten Kontext auf, ist es wahrscheinlicher, dass das auch in der Antwort der Fall ist.
Dadurch könnten Parteien profitieren, die häufig auf Internetseiten oder in den Medien in Bezug zur Landtagswahl vorkommen. Auch falsche Informationen können in den Antworten enthalten sein.
Problem ist Betreibern bekannt
Eine Untersuchung von AlgorithmWatch und CASM Technology vor den Landtagswahlen 2024 in Thüringen, Sachsen und Brandenburg ergab, dass je nach Version 14 bis 30 Prozent der Antworten von ChatGPT zu den Wahlen Fehler enthielten. Googles Chatbot Gemini blockierte Fragen zur Wahl damals dagegen fast immer. Auf SWR-Anfrage gibt Google an, man habe diese Einschränkung im März 2025 aufgehoben.
Google schreibt weiter, man wolle Wahlen "mit qualitativ hochwertigen Informationen" unterstützen. Mit den Grenzen von Sprachmodellen gehe man offen um und weise darauf hin, dass Gemini "gelegentlich ungenaue Informationen" liefern könne.
Gemini ist laut Google darauf ausgelegt, neutrale Antworten zu geben, also ohne politische Ideologie, Standpunkt und ohne einen Kandidaten zu bevorzugen. Die Antworten sollten keine Annahmen über Absichten der Nutzerinnen und Nutzer treffen, heißt es weiter.
Auf eine Anfrage an OpenAI antwortet über einen Support-Kontakt zunächst der Chatbot und verweist auf allgemeine Informationen. Die Pressestelle antwortet der SWR-Datenredaktion später, möchte sich aber inhaltlich nicht äußern. In einem Blogartikel gibt auch OpenAI an, dass ChatGPT nicht frei von Fehlern und Stereotypen sei. Der Chatbot habe eine Tendenz zu "westlichen" Standpunkten und tendiere dazu, die Meinungen der Nutzerinnen und Nutzer zu bestärken.
In einem Blogartikel beschreibt OpenAI, wie die Firma evaluiert, ob ihre Sprachmodelle voreingenommen sind. Das Modell GPT-5 sei im Vergleich zu vorherigen Versionen besser darin, neutral zu antworten. OpenAI gibt an, dass laut einer internen Schätzung weniger als jede zehntausendste Antwort politische Voreingenommenheit zeige.
Expertin kritisiert: Fehlende Transparenz und gesetzliche Regelungen
Aleksandra Urman, Wissenschaftlerin an der Social Computing Group der Universität Zürich, bemängelt angesichts der Ergebnisse der Auswertung, dass Unternehmen kaum offenlegen, wie ihre Chatbots programmiert sind - insbesondere, welche Mechanismen verhindern sollen, dass diese bestimmte Inhalte produzieren.
Sie bezweifelt, dass gewinnorientierte Chatbot-Betreiber den Schutz demokratischer Prozesse als vorrangiges Ziel verfolgen. Die Frage, wie Chatbots auf politische Themen reagieren, dürfe nicht allein von Tech-Konzernen aus dem Silicon Valley oder China beantwortet werden, so Urman. Sie fordert deshalb klare gesetzliche Regelungen - auch in Deutschland.
