„Ich habe eigentlich nur eine normative Forderung: Software sollte nur dort verwendet werden, wo sie technisch das Gewünschte leisten kann. Ich bin mir gar nicht sicher, ob das eine ethische Forderung ist. Ich glaube, das ist eher eine Forderung des gesunden Menschenverstandes. Eine Technologie sollte man nur da einsetzen, wo sie funktionieren kann. Viele KI-Modelle werden mit der Erwartung aufgeladen, objektiv oder optimal zu sein. Das sind sie aber nicht.“
„Wenn wir uns zum Beispiel die neueren Large Language Models anschauen, also Sprachmodelle wie ChatGPT, haben diese im Grunde dieselben Schwächen wie ihre Vorgänger. Sie erfinden manchmal Dinge, sie konfabulieren: Sie füllen Lücken, statt einfach ‚Ich weiß es nicht‘ zu sagen.“
„Die Software hat keine Vorstellung davon, was wahr oder falsch ist. Sie rechnet mit Wahrscheinlichkeiten und erkennt Muster in Texten. Aber sie versteht die Welt nicht, sie kann nicht nachdenken oder Zusammenhänge begreifen. Und das liegt an der Technologie, die dahinter steht.“
„Ein Beispiel: Wenn ich mitten im Satz aufhören würde zu …, – dann hätten Sie gedacht: Oh, da fehlt was. Viele würden „reden“ einsetzen, manche „sprechen“. Genau das machen Sprachmodelle: Sie raten, welches Wort am wahrscheinlichsten als nächstes kommt. Das haben sie aus Millionen Texten gelernt. Die Maschine wird trainiert, indem man Texte künstlich verkürzt, das nächste Wort wegnimmt und sie raten lässt. Ob sie richtig lag oder nicht, beeinflusst dann, wie ihre inneren Stellschrauben angepasst werden. Das sind keine festen Algorithmen, also Prozeduren, die mathematisch beweisbar zu bestmöglichen Ergebnissen führen, sondern Heuristiken – Annäherungen. Also eine Idee, wie die Maschine es das nächste Mal besser machen könnte. Ein Sprachmodell tastet sich schrittweise in die richtige Richtung.“
„Es gibt eine wichtige Variable: die sogenannte Temperatur. Das ist ein Parameter, den man für das Erstellen von Texten einstellen kann – also nicht beim Trainieren des Modells, sondern für das Generieren der Antworten. Entwicklerinnen und Entwickler können damit festlegen, wie stark die Maschine vom wahrscheinlichsten nächsten Wort abweichen darf. Wenn die Temperatur 0 ist, nimmt die Maschine immer das wahrscheinlichste Wort. Da kommen Texte raus, die sind ein bisschen dröge, wiederholen sich schnell. Bei 2 nimmt sie irgendein Wort – das kann japanisch sein, dann arabisch, dann wieder englisch, deutsch, völlig durcheinander. Bei Sprachmodellen ist der Wert meistens auf 0,7 bis 0,9 gestellt, bei ChatGPT auch mal 1. Dann ist genug Kreativität drin, dass es sich angenehm liest. Aber verlässlich ist das nicht.“
„Sprachmodelle verarbeiten rein sprachliche Formen. Also Texte ohne einen echten Bezug zur Wirklichkeit. Aber genau der Bezug zur realen Welt wäre entscheidend, wenn man möchte, dass solche Systeme wirklich etwas für uns tun – zum Beispiel im Internet selbstständig handeln oder Entscheidungen vorbereiten. Large Language Modelle sollen als digitale Assistenten zunehmend solche Aufgaben für alle Lebenslagen erfüllen. Aber es ist zum Beispiel keine gute Idee, ein Sprachmodell als eigenständigen Assistenten für die Reiseplanung zu benutzen. Vergangenes Jahr wollte ich eine Reise nach Budapest buchen. Der Zug fiel kurzfristig aus, die Bahn bot mir eine Verbindung mit viermal Umsteigen mit jeweils wenigen Minuten Umsteigezeit an. Als jemand mit gesundem Menschenverstand weiß ich: Das wird nicht funktionieren, ich nehme lieber das Auto. Die Maschine hätte vielleicht einfach den Vorschlag der Bahn-Webseite übernommen. Sie denkt nicht mit, wie wir es tun.“
„Ich benutze KI zum Beispiel als kreativen Sparringspartner, lasse mir beim Coden helfen oder bei Recherchen, das funktioniert oft großartig. Aber: Wir sollten sie nur dort einzusetzen, wo wir die Antworten selbst nachvollziehen und überprüfen können.“
„Die Maschine produziert Texte, die nur so aussehen, als hätten sie Sinn. Dafür verwendet mein RPTU-Kollege und Linguistikprofessor Jan Georg Schneider den Begriff ‚intelligible Texturen‘. Aber es sind wir Menschen, die die Texte deuten und mit Intelligenz füllen – weil wir sie mit unserem Verstand lesen. Auf Seite der Maschine gibt es kein Verstehen, sondern nur aneinander gefügte Wortteile. Wenn ich das weiß, kann ich entscheiden, wofür ich dies einsetzen will und wofür nicht.“
„Bereits seit einigen Jahren unterstützen algorithmische Systeme dabei, Entscheidungen über Menschen zu treffen. Etwa: Wer bekommt einen Kredit? Wie schätzt eine Versicherung das Risiko eines Schadens ein? In den USA sogar, welches Rückfallrisiko jemand hat, der vor Gericht steht. Das sind hochsensible Entscheidungen, die das Leben von Menschen verändern.“
„Es geht zum einen viel um die Frage: Wie reden wir eigentlich über KI? Warum fällt es uns so leicht zu sagen, eine Maschine denkt oder versteht uns oder fasst einen Text zusammen? Meinen wir damit wirklich denselben Vorgang wie bei Menschen? Wenn wir die gesellschaftlichen Auswirkungen auf uns Individuen und die Gesellschaft erforschen wollen, ist KI-Forschung nicht nur ein Thema der Informatik, sondern wir brauchen interdisziplinären Austausch. Ich arbeite eng mit Kolleginnen und Kollegen aus der Psychologie, Philosophie, Linguistik und Politikwissenschaft zusammen. So entwickeln wir eine gemeinsame Sprache, um überhaupt beschreiben zu können, was KI-Systeme tun. Was heißt ‚Verstehen‘ bei einer Maschine? Was ist ‚Entscheiden‘ im algorithmischen Sinn – und was im menschlichen?“
„Ein Projekt in unserem Algorithm Accountability Lab an der RPTU ist TrADeMaS – das steht für Transparenz von Algorithmic Decision Making Systems. Wir untersuchen, wie sich algorithmische Entscheidungssysteme nachvollziehbar machen lassen. Solche Systeme werten mit Hilfe von maschinellem Lernen Muster aus Daten aus der Vergangenheit und treffen auf dieser Grundlage Entscheidungen über die Zukunft – zum Beispiel, ob jemand kreditwürdig ist oder für eine Stelle infrage kommt. Die DSGVO und auch die geplante EU-KI-Verordnung sehen vor, dass Betroffene verstehen können, warum eine Entscheidung zustande gekommen ist. Dafür gibt es sogenannte explainable AI-Ansätze, die die KI erklärbar machen sollen. Wir prüfen, ob diese Ansätze wirklich Transparenz schaffen oder nur eine Art Scheintransparenz.“
„Wir betrachten das Thema aus zwei Richtungen: Mathematisch – wie robust sind diese Ansätze? Können sie Fehler oder Manipulationen erkennen – oder lassen sie sich austricksen, sodass die Maschine ‚Alles in Ordnung‘ sagt, obwohl etwa Diskriminierung vorliegt? Und zweitens psychologisch: Wie gut verstehen Menschen die Erklärungen, die sie von einer Maschine erhalten? Nur weil wir als Informatikerinnen und Informatiker glauben, dass etwas eine gute Erklärung ist, heißt das noch lange nicht, dass es für Nutzerinnen und Nutzer verständlich ist. Und wir sehen: Vieles, was wie eine Erklärung aussieht, ist keine.“
„In einem früheren Projekt haben wir uns mit algorithmischen Entscheidungssystemen im Strafjustizbereich beschäftigt. Diese kommen in manchen Ländern bereits zum Einsatz, um Richterinnen und Richtern bei der Einschätzung zu helfen, ob jemand rückfällig werden könnte. Auch hier haben wir interdisziplinär gearbeitet – mit Forschenden aus den Bereichen Informatik, Psychologie, Jura und Politikwissenschaft – und gefragt: Wo liegen die Grenzen solcher Systeme? Kann man Verantwortung an eine Maschine abgeben, wenn es um Freiheit oder Haft geht? Wir gehen davon aus, dass das Strafrecht viel zu komplex ist, um Entscheidungen Maschinen zu überlassen. In Gerichtsverfahren spielen rechtliche Feinheiten, moralische Abwägungen und soziale Kontexte eine Rolle – Dinge, die Algorithmen heute nicht erfassen können. Solche Systeme können Richterinnen und Richter unterstützen, aber sie dürfen keine Urteile fällen.“
„Meine Mission ist, dass möglichst viele Menschen verstehen, wie KI funktioniert und was Software kann und was nicht. Damit jeder und jede selbst entscheiden kann: Will ich das nutzen oder nicht? Das ist für mich der einzige Weg, mit der Entwicklung Schritt zu halten.“
Zweig: Weiß die KI, dass sie nichts weiß?, Heyne Verlag München, 2025, ISBN: 978-3-453-21907-6, Leseprobe
Zweig, Krafft, Klingel & Park: Sozioinformatik – Ein neuer Blick auf Informatik und Gesellschaft, Hanser-Verlag GmbH, München, 2021
Zweig: Ein Algorithmus hat kein Taktgefühl, Heyne Verlag München, 2019, ISBN: 978-3-453-20730-1, Leseprobe
Montag, Lachmann & Zweig: Addictive features of social media/messenger platforms and freemium games against the background of psychological and economic theories. International journal of environmental research and public health 16 (14), 2612, 2019
Katharina Zweig auf dem Roten Sofa, NDR, Januar 2026
Deutsches Museum, Katharina Zweig gestaltet einen Vortrag der Reihe Wissenschaft für jedermann, November 2025
Katharina Zweig zu Gast im Scobel Podcast, Dezember 2025
