Sie sind überall und doch unsichtbar: Systeme, die automatisierte Entscheidungen treffen, beeinflussen den Alltag von Millionen Menschen – nicht immer zum Positiven. Die Nichtregierungsorganisation Algorithmwatch will dieses Problem angehen. Ihr neuestes Projekt heißt Unding und will Hinweise über fehlerhafte Entscheidungen sammeln und an zuständige Stellen weiterleiten, um Nachbesserungen und mehr Transparenz zu erreichen. Die SZ sprach mit Projektmanagerin Anna Lena Schiller über das Vorhaben.

Frau Schiller, warum ist es so wichtig, zu wissen, was ein Algorithmus ist?

Nehmen wir als Beispiel die Schufa, eine Firma, die finanzielle Informationen über uns alle sammelt und daraus einen Punktwert, den Score, errechnet. Deren Fragestellung lautet: Sind Sie kreditwürdig? Um den Score errechnen zu können, braucht es Daten. Das könnten Ihr Gehalt, Ihre bisherige Zahlungsmoral und dergleichen mehr sein. Im Laufe des Prozesses werden verschiedene Fragen beantwortet – etwa die, ob Ihr Gehalt ausreicht, um den Kredit zurückzahlen zu können. Sind alle Fragen beantwortet, steht am Ende eine Entscheidung für oder gegen die Kreditvergabe. Dieser Prozess mit den darin enthaltenen Entscheidungen, das ist der Algorithmus. Um es ins Alltägliche zu übersetzen, könnte man sagen, dass auch ein Rezept einen Algorithmus darstellt. Sie haben Butter, Mehl und Wasser, aber es steht noch nicht fest, was am Ende daraus wird. Sie können eine Mehlschwitze, aber auch einen Teig daraus machen. Die Zubereitungsschritte sind auch ein Algorithmus.

Wie und wo werden Menschen nun durch automatisiert getroffene Entscheidungen benachteiligt?

Bleiben wir beim Schufa-Score: Wollen Sie eine Wohnung mieten, einen Handyvertrag abschließen oder einen Kredit beantragen, müssen Sie Ihre Bereitschaft erklären, dass Ihr Vertragspartner eine Schufa-Auskunft einholt. Doch der Score darin ist nicht immer richtig. Infos können veraltet sein, oder der Wert wurde falsch berechnet. Daraus können konkrete Probleme resultieren. Sie bekommen beispielsweise die gewünschte Wohnung nicht. Es ist aber enorm schwierig, zu erfahren, woran die Ablehnung gelegen hat. Die Schufa hat zwar eine Ombudsstelle, aber richtig transparent ist sie nicht.

Würden Sie sagen, dass Algorithmen in vielen Bereichen unseres Lebens inzwischen normal sind?

Viele denken, Algorithmen sind nur in bestimmten digitalen Prozessen hinterlegt. Was bedeuten würde, dass es diejenigen weniger betrifft, die „nicht so digital leben“. Aber das ist ein Trugschluss. Algorithmen werden überall eingesetzt. Man sieht sie nur nicht, oder nicht so gut. Nehmen wir einen Fall, den jeder kennt: Es ist Stau, und Ihr Navi rät, die Autobahn an der nächsten Anschlussstelle zu verlassen. Tun Sie das, finden Sie sich kurz darauf in einer Kolonne auf schmalen Dorfstraßen wieder und wundern sich, wo all die anderen Autos herkommen. Das hat mit automatisierten Entscheidungen zu tun. Navi-Geräte oder -Apps suchen immer den kürzesten, schnellsten, effizientesten Weg, um den Stau zu umgehen. Oder die Terminvergabe für Covid-19-Impfungen: Da setzt sich ja niemand hin und sagt, erst kommt Gertrude Müller und dann Gisela Müller. Sondern ein Algorithmus legt fest, wer wann an der Reihe ist, und bezieht dabei Faktoren wie Alter oder Vorerkrankungen ein. Wir müssen unsere Aufmerksamkeit schulen, um zu verstehen, wo überall automatisierte Entscheidungen getroffen werden.

Wäre dafür nicht Hilfe vonnöten?

Ich bin gerade in Kontakt mit der Stadtverwaltung von Amsterdam. Die haben eine spannende Initiative gestartet, indem sie ein Algorithmenregister geschaffen haben. Da informiert also eine Kommune, wo sie überall Algorithmen einsetzt. Zum Beispiel in der Verkehrsüberwachung. Parkscheine werden in Amsterdam online ausgestellt und Parksünder durch den Einsatz mobiler Kamerapatrouillen erfasst. Knöllchen-Empfänger können sogar automatisiert Einspruch erheben. Um all diese Services kümmert sich nicht die Stadt, sondern ein externer Dienstleister. In Deutschland fehlt es noch an dem Bemühen, Transparenz beim Einsatz von Algorithmen herzustellen. Viele Akteure haben Bedenken, die Leute mit einem solchen Hinweis zu verschrecken – und sagen deshalb gar nichts.

Wo sehen Sie algorithmenbasierte Entscheidungen besonders zwiespältig?

Es gibt keinen Themenbereich, wo Algorithmen per se unkompliziert oder von vornherein nur schwierig sind. Es kommt auf den Kontext an oder darauf, wer die Technik wie einsetzt. Wir haben zum Beispiel vor wenigen Tagen gesehen, dass Google Maps die Echtzeitverkehrsinfos für die Ukraine ausgeschaltet hat. Das hat damit zu tun, dass man sowohl Truppen- als auch Fluchtbewegungen nachvollziehen konnte. Gleichzeitig läuft dieser Service im Rest der Welt weiter, und die Leute navigieren unkompliziert von A nach B.

Sind Sie selber schon mal in einer Situation gewesen, bei der sich im Nachhinein herausgestellt hat, dass Sie von einer automatisierten Entscheidung benachteiligt worden sind?

Ja. Ich war damals noch Studentin und wollte ein Bankkonto eröffnen. Das wurde per Standardbrief abgelehnt. Darin stand, dass man mir das Konto leider nicht einrichten könne und ich bitte von weiteren Nachfragen absehen möge. Ich war total verunsichert. War ich nicht kreditwürdig? Wahrscheinlich hatte mich der Computer aussortiert, weil ich Studentin war. Doch die Info gab es nicht. Mir hätte der schlichte Hinweis genügt, dass man momentan keine Studenten als Kunden haben möchte. Bei einer anderen Bank konnte ich das Konto problemlos eröffnen.

Solche Fälle, in denen Verbraucher den Verdacht hegen, von Algorithmen unzulässig benachteiligt worden zu sein, sammeln Sie jetzt im Rahmen des Unding-Projekts?

Genau. Es sind inzwischen fünf Falltypen online, darunter der erwähnte Navi-Stress oder Probleme mit dem Schufa-Score. Ein drittes Beispiel sind Fotoautomaten für biometrische Passbilder, die daran scheitern, schwarze Menschen zu erkennen.

Wie kann das sein?

In den Geräten, die zum Beispiel in Bürgerämtern stehen, stecken Kameras mit Gesichtserkennungssoftware. Die meldet immer wieder mal, sie fände nichts. Die zuständige Behörde erklärt dann auf Nachfrage, vielleicht sei das Gesicht nicht gut genug ausgeleuchtet gewesen. Wahrscheinlicher ist aber, dass die Software mit zu wenig Daten von dunkelhäutigen Menschen gefüttert worden ist. In den USA sind solche Probleme schon häufig dokumentiert worden. Grundsätzlich gilt: Je weiblicher und dunkelhäutiger, desto schlechter die Gesichtserkennung, je weißer und männlicher, desto besser. Wir sehen hier eine gesellschaftliche Frage: Akzeptieren wir, dass ein Algorithmus nur für 98 Prozent der Bevölkerung funktioniert, oder bestehen wir bei so wichtigen Dingen wie der Beantragung eines Ausweises auf 100 Prozent?

Das Unding-Projekt läuft erst seit Mitte Januar. Ist Ihnen seitdem ein Thema gemeldet worden, das Sie noch gar nicht auf dem Schirm hatten?

Ein völlig neues eigentlich nicht. Wichtig ist für uns, dass sich Verdachtsmomente bestätigen. Aber wir sind auch dankbar für jedes weitere „Unding“, das uns gemeldet wird. Wir schauen auf ein breites Themenportfolio: Medizin, Sicherheit, Verkehr, Kredit- und Finanzwirtschaft, Versicherungen. Weil die Probleme aber sehr feingliedrig sind, hoffen wir auf möglichst viele Rückmeldungen. So wollen wir beispielsweise genauer wissen, auf welchen Plattformen es mit bestimmten Bezahlmethoden – etwa dem Kauf auf Rechnung – hakt. Stellt sich in der Recherche heraus, dass das Problem auch andere betrifft, stellen wir es zu den vorhandenen Falltypen und ermöglichen so, dass man sich auch zu dieser Thematik bei der zuständigen Stelle beschweren kann.

Gibt es Bereiche, aus denen Ihnen nichts gemeldet worden ist, obwohl Sie annehmen, dass es dort auch hakt?

Wir haben zum Thema Onlineformulare eine Umfrage gemacht und sie wirklich breit gestreut. Es kam keine Rückmeldung. Wir überlegen nun, woran es liegen könnte, da wir ziemlich sicher sind, dass es Fälle von Diskriminierung durch Algorithmen gibt. Etwa, wenn kleinwüchsige Menschen ihre Körpergröße eingeben, aber die Fehlermeldung „Keine gültige Größe“ erhalten, weil sie als Wert 1,35 Meter angegeben haben. Das System nimmt wahrscheinlich an, es handele sich um ein Kind, der Service soll aber erst ab 18 verfügbar sein.

Sehen Sie politischen Regelungsbedarf, wenn es um den Einsatz algorithmenbasierter Entscheidungen geht, und falls ja, wo?

Ja. Und es läuft ja schon was. Einerseits gibt es auf europäischer Ebene den Artificial Intelligence Act. Hier kümmert sich die EU um grundlegende Regelungen für den Einsatz Künstlicher Intelligenz. Auch wir von Algorithmwatch mischen dort mit. Andererseits ist auf EU-Ebene der Digital Service Act zu erwähnen, also das Gesetz über digitale Dienste. Dieses Regelwerk soll den Nutzern beispielsweise die Entscheidungshoheit darüber geben, ob sie den Einsatz von Algorithmen in einem Anwendungsszenario akzeptieren oder nicht.

Auch hierfür bitte ein Beispiel.

Wenn Sie heute soziale Medien nutzen, wird Ihr persönlicher Feed algorithmisch definiert. Das heißt, der Feed wird aufgrund Ihres bisherigen Verhaltens automatisch angepasst. Eigentlich sollten Sie aber selber wählen können, ob Sie das wollen oder nicht. Auf Twitter geht das. Dort können Sie sich auch einen linearen Verlauf von Postings anzeigen lassen. Instagram denkt so etwas auch an, Facebook dagegen meines Wissens noch nicht.

So melden Sie ein Unding

• Schritt 1: Auf unding.de/neu die Schaltfläche „Unding melden“ anklicken. Dann den zutreffenden Falltyp (etwa „Fragezeichen Schufa“) auswählen oder unter „Unding vorschlagen“ eine neue Kategorie aufmachen.
• Schritt 2: Details, zum Beispiel das Datum des Vorfalls oder den vermuteten Fehler, nennen/schildern.
• Schritt 3: Am Ende des Dialogs wird ein automatisiertes Schreiben, eine Art Meldeformular, erstellt. Dies lässt sich ohne Angabe einer eigenen Mailadresse direkt über die Seite an die zuständige Behörde oder Firma abschicken. Bei fehlerhaften SchufaScores ist das die hessische Datenschutzbehörde, bei Fotoautomaten in Behörden, deren Gesichtserkennung bei schwarzen Menschen nicht funktioniert, das Bundesamt für Sicherheit in der Informationstechnik (BSI) als Lizenzgeber für die Geräte. Kommt keine Antwort, haken die Betreiber des Unding-Projekts nach.
• Alternative: Mitte Januar hat Algorithmwatch die Verbraucherzentralen für eine Kooperation gewonnen. Auch über www.verbraucherzentrale.de können Fälle gemeldet werden. (rnw)