Wie fair ist Künstliche Intelligenz?

KI-Systeme sind längst im Alltag präsent, allerdings zumeist im Hintergrund. Wie fair diese Algorithmen arbeiten, ob sie Menschengruppen und Länder bevorzugen oder benachteiligen, ist wenig bekannt und untersucht. Cem Kozcuer entwickelte in seiner Masterarbeit im Studiengang Data Science an der Berliner Hochschule für Technik (BHT) ein neues Evaluationsverfahren für KI-Systeme. Damit lässt sich die Fairness von KI-Algorithmen zur Katastrophenerkennung in sozialen Netzwerken untersuchen. Eine Jury zeichnete seine Masterthesis, die von Prof. Dr. Felix Bießmann, Fachbereich VI, betreut wurde, im vergangenen Jahr mit dem ersten Platz des Tiburtius-Preises aus. Ein Gespräch mit Cem Kozcuer, der zurzeit am BHT-Forschungsverbund Data Science +X promoviert:

Herr Kozcuer, in Ihrer Masterarbeit haben sie zur Fairness von KI geforscht. Das Wort „Fairness“ bezeichnet anständiges Verhalten gegenüber anderen Menschen. Wie fair kann eine KI sein?

Bei „Fairness“ handelt es sich um einen Begriff, der sich im Bereich Machine Learning etabliert hat. Andere Disziplinen verwenden dafür Wörter wie „Ungleichheit“ oder „Diskriminierung“. Die Forschung zu Machine Learning befasst sich unter dem Stichwort Fairness mit der Frage, inwiefern KI-Systeme Individuen oder sozioökonomische Gruppen gleichbehandeln. Was Gleichbehandlung genau bedeutet, hängt immer vom Kontext ab. Diesen Aspekt gilt es auch bei der Entwicklung von KI-Software mitzudenken, da KI in der Praxis oft einen Bezug zu Menschen hat. Es muss eine Art Vereinbarung geben, was „fair“ bedeutet. Davon ausgehend kann man zu evaluieren versuchen, ob eine KI fair agiert oder nicht.

Sie haben dabei zu KI-Modellen geforscht, die auf Social-Media-Plattformen in Zusammenhang mit Katastrophen zum Einsatz kommen. Was hat es damit auf sich?

In meiner Masterarbeit habe ich mich mit Systemen für die Katastrophenhilfe, sogenannten Disaster Response Systems, auseinandergesetzt. Sie finden Anwendung bei Katastrophen, um Social-Media-Inhalte auszuwerten. Erschüttert beispielsweise ein schweres Erdbeben eine Region, posten Nutzer auf Plattformen wie „X“ Fotos aus dem Unglücksgebiet. KI-Systeme werten diese Bilddaten automatisiert aus. So lässt sich nachverfolgen, wo was und in welchem Umfang geschieht. Die Hilfsorganisationen können sich darauf abstimmen, damit etwa die am schwersten betroffenen Orte zuerst Hilfe erhalten. Die Systeme für die Notfall-Katastrophenhilfe funktionieren sehr gut. Ich habe mich allerdings gefragt, ob sie überall auf der Welt gleich gut arbeiten. In meiner Abschlussarbeit setzte ich auf der Ebene der Nationalstaaten an. Werden Länder oder Gruppen von Ländern benachteiligt? Was sind Gründe? Wie lässt sich Benachteiligung überhaupt messen? Zu diesen Fragen habe ich eine Untersuchungsmethode entwickelt, was es bis dahin im Machine Learning so nicht gab.

Wie sind Sie in dem konkreten Anwendungsfall vorgegangen?

Für meine Ungleichheitsanalyse habe ich mit einem Datensatz gearbeitet, bestehend aus 70.000 Fotos, die verschiedene Katastrophen zeigen und allesamt von Social-Media-Plattformen stammen. Mit diesem Datensatz werden normalerweise KI-Anwendungen für die Notfall-Katastrophenhilfe trainiert. Die Modelle sollen schließlich anhand der Bilder einzuschätzen lernen, um was für eine Katastrophe es sich handelt, wie schwer die Schäden sind, ob es Verletzte gibt oder ob und wo Rettungskräfte bereits aktiv sind. Die Daten habe ich mit sozioökonomischen Angaben zu den Ländern ergänzt. Dabei habe ich mich auf Entwicklungsindizes bezogen wie den Human Development Index der Vereinten Nationen, den Democracy Index des Verlags The Economist Group und den Information and Communciation Technology Development Index. Die Indizes sind so ausgewählt, dass sie relevante ökonomische, technologische, politische, kulturelle und gesundheitliche Faktoren widerspiegeln. Anhand dieser sozioökonomischen Daten konnte ich drei Ländergruppen definieren, die sich hinsichtlich der Faktoren ähneln. Die Güte des Disaster Response Systems habe ich daraufhin im Hinblick auf die Ländergruppen untersucht. Neu an der Methode ist, dass einer Ungleichheitsdiskussion für KI-Systeme zwischen Ländergruppen sozioökonomische Daten zugrunde gelegt werden.

Welchen Ergebnissen haben Sie gewonnen?

Die Analyse offenbart Missstände zwischen den Ländergruppen, allerdings in sehr differenzierter Form. Aussagen sind nur für einzelne Kategorien zu treffen. Aus den Bilddaten lassen sich beispielsweise Erdbeben in wirtschaftlich und infrastrukturell hochentwickelten Ländern sehr gut erkennen. Schlecht funktioniert dies hingegen bei Hurrikanen und Fluten. Bei Ländern, die von wirtschaftlicher oder politischer Instabilität geprägt sind, verhält es sich genau umgekehrt. Ein weiteres Beispiel: Das KI-System erfasst menschliche Opfer in der Ländergruppe mit ökonomischen und gesellschaftlichen Instabilitäten gut, was für Länder, die wirtschaftlich weit entwickelt sind, nicht der Fall ist. Dies bestätigt ein Paradox, das aus der Literatur bekannt ist: Katastrophen führen in wirtschaftsstarken Ländern zu immensen finanziellen Schäden, vor allem an der Infrastruktur, die Opferzahlen sind vergleichsweise gering. In ökonomisch schwachen Ländern sind die menschlichen Verluste weitaus dramatischer als die Sachschäden.

Zur Person: Cem Kozcuer

Cem Kozcuer ist Softwareentwickler, Datenexperte und Künstler. Entsprechend vielfältig präsentiert sich der Lebenslauf des gebürtigen Westfalen. An der Fachhochschule Bielefeld schloss er 2012 ein Studium der Gestaltung ab, worauf eine künstlerisch-praktisch Lehre an der Universität Potsdam im Fachbereich Kunst für Lehramtsstudiengänge folgte. Als Künstler experimentierte Kozcuer mit Fotos und Videoelementen, die er mit Installationen und Performances kombinierte. Mit der Zeit weckte die künstlerische Auseinandersetzung sein Interesse an Software und Medien. „Die Gestaltung hat für mich einen Weg zur Informatik geöffnet, weil das Arbeiten mit Fotografie und Video mein Interesse für Bildmedieninformatik weckte“, sagt Kozcuer. So studierte er an der Hochschule für Technik und Wirtschaft Berlin im Bachelor Medieninformatik. Nach einer fünfjährigen Tätigkeit als Softwareentwickler folgte das Studium an der BHT im Master Data Science. Seit September 2023 promoviert er als wissenschaftlicher Mitarbeiter im Forschungsverbund Data Science +X. Kozcuers Tätigkeit als Künstler ist in den vergangenen Jahren in den Hintergrund getreten. Er wolle sich ganz auf seine Doktorarbeit konzentrieren, sagt er. „Privat beschäftige ich mich noch sehr viel mit Kunst, auch an der Schnittstelle zwischen Machine Learning und Design.“