Algorithmen begegnen uns überall im Alltag. Sie bestimmen unsere Google-Suchergebnisse, unsere Timeline in sozialen Netzwerken und die Film- und Musikempfehlungen in unseren Streaming-Apps. Aber Algorithmen haben auch Einfluss auf unsere Chancen auf dem Arbeitsmarkt und darauf, ob wir einen Kredit bekommen. Im DiFü-Podcast „D wie Digital“ spricht Leonie Dorn von AlgorithmWatch darüber, wie Algorithmen kochen, warum auch Computersysteme diskriminieren können und was es braucht, um mit Algorithmen die Welt zu verbessern. Hier ist das Interview zum Nachlesen.

difue.de: Leonie Dorn, wir wollen heute über Algorithmen sprechen. Den Begriff haben viele sicher schon einmal gehört, können aber vielleicht nicht unbedingt etwas damit anfangen. Deshalb sollten wir vielleicht erst einmal klären: Was ist überhaupt ein Algorithmus?

Wo überall begegnen uns denn diese Algorithmen, die Sie zuletzt genannt haben? Wo nehmen sie Einfluss auf unseren Alltag?

In der Interaktion im Internet ist es immer relativ offensichtlich. Wir interagieren mit Computern, da wissen wir eher automatisch, dass hier ein Maschinenwerk im Hintergrund aktiv ist. Das Online-Formular ist schon ein Algorithmus, aber auch der Chatbot, der mich durch eine Webseite durchführt.

Allerdings gibt es auch noch weitere Bereiche, in denen uns Algorithmen beeinflussen und die für viele Nutzer:innen nicht so offensichtlich sind. Gemeint sind die Interaktionen mit Behörden oder mit ganz anderen gesellschaftlich relevanten Institutionen wie Banken oder Versicherungen. Das hat viel stärker zugenommen in den letzten Jahren, Jahrzehnten und jetzt auch durch die voranschreitende Digitalisierung während der Pandemie.

Diese Bereiche haben eine ganz wichtige Relevanz. Denn diese Interaktionen mit Banken auf dem Wohnungsmarkt, zum Beispiel Bonitätsprüfungen (Credit Scoring Systeme), können wir nicht umgehen. Das Gleiche gilt für die digitale Terminvergabe beim Bürgeramt oder jetzt die Terminvergabe bei den Impfzentren.

Dabei geht es nicht nur darum, dass 100 Menschen automatisch auf 50 Termine verteilt werden. Vielmehr geht es darum, dass die Daten, die wir in dieses System entweder füttern oder die die Versicherung schon über uns weiß, dass die relevanter werden für den Output der Entscheidungen dieses Systems.

Ja, da greifen Sie schon einen Punkt vorweg, den ich im späteren Gesprächsverlauf nochmal ansprechen wollte. Aber bleiben wir zunächst beim Bild mit dem Kochen. Wo sind wir Menschen denn in diesem Bild, welche Rolle übernehmen wir? Sind wir die Köche, oder geben wir nur die Zutaten zu? Wer kocht?

Der Koch ist sozusagen der Algorithmus, der Computer und die Zutaten kommen aus der Umwelt. Das sind die Daten, die wir liefern oder die das System über uns hat. Das Gericht ist dann sozusagen die Auswirkung auf die Gesellschaft. Wir müssen die Suppe sozusagen auslöffeln, wenn man das so plakativ sagen möchte.

Das heißt, ein Koch kann nur so gut sein wie die Daten, die er verarbeitet. Und wir? Wir essen das Gericht. Aber im Endeffekt wissen wir nicht, was da alles drin ist. Weil wir nicht wirklich sehen, wie der Koch gekocht hat.

Obwohl wir dem Koch doch selbst die Zutaten zur Verfügung stellen.

In gewisser Weise schon, aber wir wissen nicht, welche Zutaten es eigentlich sind. Also zum Beispiel ist es ja bei der Schufa so, dass die Bonitätsprüfung Informationen über uns hat. Wir wissen allerdings nicht genau, wie viele. Denn die Daten holt sie sich ja von verschiedenen Unternehmen und Handelspartnern, etwa die Informationen darüber, wie oft wir schon umgezogen sind.

Und wir können das dann anfragen über die Datenschutzgrundverordnung. Aber wir wissen nicht, was genau die Schufa von uns weiß und auch nicht, in welchem Verhältnis diese Zutaten zueinander stehen. Also wird da mehr, viel mehr Salz verwendet oder mehr Curry? Oder wird die Gemüsebrühe vielleicht auch weggelassen? Die Relevanz von bestimmten Daten ist uns auch nicht klar.

Und das ist eben das, was auch den Algorithmus ausmacht, die Kategorisierung der Daten und die Bewertung der Daten, sprich: die Gewichtung. Ist es zum Beispiel relevanter, dass ich eine Frau bin? Oder ist es relevanter, dass ich Mitte 30 bin oder dass ich in Neukölln wohne? Denn vielleicht ist es, dass in Berlin, Neukölln, in dem bestimmten Bereich mit der Postleitzahl, die ich mit anderen Menschen teile, die Chance niedriger ist, dass Menschen ihren Kredit zurückbezahlen.

Das sind einfach Sachen, auf die ich keinen Einfluss habe und was ich eben nicht sehe. Also die Bewertung und die Relevanz dieser Daten sind super wichtige Fragen, in die wir keinen Einblick haben.

Da sprechen Sie einen großen Kritikpunkt an, der zuletzt ja auch etwa im Zusammenhang mit Facebook geäußert wurde. Wir füttern algorithmische Systeme mit Unmengen an Daten, aber niemand weiß so richtig, was dann damit passiert. Gibt es überhaupt einen Weg, das herauszufinden? Wie die kochen, sozusagen?

Das ist sehr schwierig. Algorithmen sind schon grundsätzlich Black Boxes – ein Begriff, den man in diesem Zusammenhang immer gern verwendet. Man kann da nicht richtig reinschauen in die Details, in den Maschinenraum. Selbst die Entwickler:innen, die die Software programmieren, haben keinen hundertprozentigen Einblick in die Algorithmen.

Es werden Zielvorgaben gemacht und Regelungen festgelegt. Und dann wird verarbeitet: Input zu Output. Und wir sehen dann auch wieder oder können theoretisch sehen, was der Output ist. Und die Social-Media-Plattformen sehen das natürlich. Aber wir als Öffentlichkeit, als Forschende, als Zivilgesellschaft sehen das eben nicht. Und das ist eben ein großer Kritikpunkt.

Was wir von AlgorithmWatch auch fordern, ist die Transparenz von diesen Daten, damit die Auswirkungen und die Funktionsweisen dieser Plattform besser verstanden werden können und klar wird, was das überhaupt für Risiken birgt. Für die Gesellschaft, also bei Facebook oder bei sozialen Medien, ist das grundsätzlich die öffentliche Debatte, die ja ganz stark davon beeinflusst wird.

Nun ist vor kurzem das europäische Gesetz zu digitalen Diensten in Kraft getreten, der Digital Service Act. Das sieht ja auch vor, dass große Social-Media-Plattformen die Funktionsweisen ihrer Algorithmen offenlegen sollen. Was versprechen Sie sich von dieser Regelung?

Ja, wir haben uns im Kontext des Digital Services Acts lange und intensiv dafür eingesetzt, dass zum Beispiel Forschende und auch zivilgesellschaftliche Organisationen Zugang bekommen zu diesen Produktivdaten, um damit Forschung betreiben können zu den Auswirkungen von algorithmischen Regeln.

Bezieht sich das dann auch auf die Berechnungen im Hintergrund, die bei Versicherungen, Kredit, Scoring, Schufa, Behörden, Banken etc. passieren? Oder ist das noch mal ein anderer Bereich?

Das ist ein etwas anderer Bereich. Bei der Schufa gab es auch schon ein Gerichtsurteil, das offiziell den Schufa-Algorithmus als Geschäftsgeheimnis eingestuft hat. Also bestimmte Kämpfe haben wir auch schon verloren. Beim Digital Services Act geht es größtenteils um Plattformen.

Es gibt aber auch noch ein weiteres Gesetz, das auf der EU-Ebene in der Mache ist. Das ist die KI-Verordnung bzw. der EU AI Act. Und da geht es grundsätzlich um die Regulierung von algorithmischen Systemen und wie diese angewendet werden. Da geht es dann auch wieder um Transparenz, Pflichten, um Offenlegung der Systeme in Datenbanken. Und da geht es dann auch viel konzentrierter nochmal auch um öffentliche und staatliche Behörden, die bestimmte Systeme anwenden.

Sie haben es gesagt, etwa bei staatlichen Behörden oder bei Kreditvergabe-Systemen, wo dann etwa meine Postleitzahl, mein Alter oder mein Geschlecht ausreicht, um mich auszuschließen. Haben Sie noch weitere Beispiele, wo solche automatisierten Entscheidungen im Hintergrund etwa diskriminierende Folgen haben können?

Ja, auf jeden Fall. Eines der bekanntesten Beispiele kommt in dem Kontext aus Österreich. Es ging um den AMS-Algorithmus, das System, das Arbeitsmarktchancen von Arbeitssuchenden berechnet hat.

Was dann eine Verfestigung des Klischees ist, oder der schon sowieso bestehenden strukturellen Ungleichbehandlung.

Richtig. Wenn man es ganz grundsätzlich sagt, sind auf Daten basierte Algorithmen immer konservativ. Sie zementieren immer tendenziell bestehende Strukturen, weil sie die Realität betrachten, die natürlich ganz viel strukturelle Diskriminierung enthält und davon lernt und darauf aufbaut. Es ist also immer auch eine Frage der Zielsetzung der Software bzw. der Entwickler:innen.

Bei einem Arbeitsamt können Sie sich natürlich fragen: Wie hoch sind die Chancen von Person XY am Arbeitsmarkt? Sie könnten aber auch die Frage stellen: Was brauchen Bewerber:innen, um bessere Chancen am Arbeitsmarkt zu bekommen? Jedes algorithmische System, jede Handlungsanweisung ist immer mit einem Ziel verbunden. Wofür ist diese App eigentlich gut? Was soll die eigentlich leisten? Was ist ein gewünschter Output von diesen Daten? Und entsprechend dieser Ziele werden dann natürlich auch die Inputs, also die Daten, die wir geben, gewichtet.

Also zurück zu diesem Rezept- oder Koch-Beispiel: Wer sagt da beispielsweise: „Okay, nimm mehr Salz, lass die Gemüsebrühe weg, denn die ist nicht wichtig“? Es steht also immer die Frage nach dem Ziel, nach dem Ziel des Gerichtes.

Haben Sie denn das Gefühl, dass wir da auf Augenhöhe sind? Also laufen wir den technischen Möglichkeiten eigentlich hinterher oder beherrschen wir sie?

Es kommt so ein bisschen darauf an, was wir mit „wir“ meinen. Wenn es natürlich jetzt um Gesetzgebungsverfahren geht und Regulierung, hinken wir natürlich total hinterher. Der Bereich ist noch total neu und da liegt die Latte echt am Boden. Deswegen beginnen wir ja auch damit, erstmal Transparenz zu fordern, um besser forschen zu können, um dann halt auch Plattformen zum Wohle der Gesellschaft besser zu regulieren.

Dafür müssen wir eigentlich erstmal verstehen, welche Bedrohung sie darstellen. Deswegen ist wirklich wichtig, von ganz unten anzufangen, um dann zu gucken, wie sieht überhaupt eine sinnvolle Regulierung aus in diesem Bereich? Und gerade weil der Bereich so unreguliert ist, wird auch vieles auch erstmal angewendet.

Es gibt kaum Verpflichtungen, Impact Assessments zu machen, das heißt, die Auswirkungen der Systeme überhaupt erstmal zu überprüfen und einzuschätzen. Welche Schäden könnten denn entstehen für die Anwender:innen oder für die Gesellschaft oder für die Betroffenen?

Haben Sie denn das Gefühl, dass sich diejenigen, die Algorithmen einsetzen, darüber Gedanken machen? Oder geht es vor allem um Effizienz und Arbeitsreduzierung?

Das kommt natürlich sehr auf die tatsächlich Einsetzenden an und es ist immer eine Frage der Ziele oder natürlich auch der Geschäftsmodelle der jeweiligen Unternehmen. Wenn man jetzt grundsätzlich das kapitalistische Wirtschaftssystem kritisiert und automatische Entscheidungs-Systeme in diesem System eingebettet sind oder grundsätzlich in dieser Gesellschaft mit struktureller Diskriminierung, dann können wir diese Technik davon natürlich nicht frei denken, weil es immer soziotechnische Systeme sind.

Wichtig ist, dabei zu bedenken, dass wir uns Ziele setzen, um Partizipation und Interaktion zu fördern. Es gibt ja zum Beispiel ganz viele Möglichkeiten, Technologie zu nutzen, um Menschen mit Behinderungen zu helfen oder bessere Teilhabe an der Gesellschaft zu ermöglichen. Es ist immer die Frage, welche Ziele wir uns setzen und ob die Personen, die die Software entwickeln, sich Feedback von Betroffenen holen, die die Software dann nutzen oder die der Software ausgesetzt ist, zum Beispiel bei der Kalkulation von Sozialhilfebeiträgen.

Es wäre natürlich wünschenswert, wenn Betroffene, also die Empfänger:innen von Sozialhilfebeiträgen auch konsultiert werden würden und die Mitarbeiter:innen in den Ämtern, die das dann umsetzen. Haben die Menschen, die die Software programmiert haben, überhaupt Erfahrungen mit Diskriminierungen? Können die sich überhaupt darauf einlassen, bestehende Risiken vielleicht auch wahrzunehmen?

Das liegt ja auch in der Natur der Sache, dass Menschen gar nicht so viel einschätzen und bewerten und hinterfragen sollen, sondern dass eben diese ganzen Prozesse von einer Software übernommen werden sollen. Deshalb werden solche Prozesse ja automatisiert.

Genau. Es ist in gewisser Weise ein Abgeben von Entscheidungen und damit geht auch immer ein bisschen Kontrollverlust einher. Ziel sollte sein, dass das nicht in das eine oder das andere Extrem abschweift, also dass wir die komplette Kontrolle abgeben und in gar keine Prozesse Einblick haben oder alles selber machen.

Es ist nur gerade so, dass wir gar keine Transparenz haben und gar keine demokratische Kontrolle. Man kann trotzdem algorithmische Systeme zum Wohle der Gemeinschaft verwenden. Wir müssen nur Einsicht darin haben, um sie eben auch immer wieder zu verbessern, um Risiken besser einschätzen zu können und um nachsteuern zu können.

Der Ausblick auf potenziell diskriminierungsfreie algorithmische Systeme ist ja auch wirklich sehr vielversprechend.

Genau das ist das theoretische Potenzial. Da ist aber oft auch ein Missverständnis, dass Computer objektivere oder neutralere Entscheidungen treffen. Die sind natürlich nicht unbedingt so persönlich vorurteilsbehaftet wie eine Person hinter einem Schalter mit einem Stempel. Aber wir haben trotzdem ja auch immer wieder Kontrollmechanismen in Behörden und mit Mitarbeiter:innen. Und so weiter. Und die haben wir eben bei einem Algorithmus aktuell nicht. Da liegt der Unterschied.

Und außerdem wollen wir immer davor warnen, dass ein Computer eben nicht komplett wertfrei und neutral ist. Wie schon angesprochen: Welche Daten fließen da rein? Die sind leider nicht wertfrei. Die Programmier:innen haben bestimmte blinde Flecken zu den Kontexten, in denen die App dann tatsächlich wirkt und kulturelle, unbewusste Werte.

Weltanschauungen fließen immer in Technologie ein. Das heißt, wir können nicht darüber reden, dass Technik komplett neutral oder wertfrei ist, sondern wir müssen eben gucken, wie können wir diese Entscheidungen, die da getroffen werden, besser verstehen, besser kontrollieren? Welche Machtpositionen geben wir im Endeffekt diesen Systemen und können wir uns zur Wehr setzen, wenn wir benachteiligt wurden?

Gibt es Möglichkeiten, bei solchen Fällen von automatisierter Diskriminierung vor Gericht zu ziehen? Können wir uns über das Allgemeine Gleichbehandlungsgesetz zur Wehr setzen und da Beschwerde an bestimmten Stellen einreichen? Das sind auch alles ganz wichtige Fragen, die wir noch bearbeiten müssen, weil die noch nicht geklärt sind.

Wir haben jetzt schon viele wichtige Punkte angesprochen. An dieser Stelle möchte ich Sie bitten, nochmal Revue passieren zu lassen. Was ist aus Ihrer Sicht das wichtigste, was unserer Hörer:innen aus unserem Gespräch mitnehmen können?

Ich denke, es ist unmöglich, algorithmische Systeme jenseits von Gesellschaft, von Kultur, von Politik oder auch von Profitinteressen zu denken. Es sind Werkzeuge, die zu bestimmten Zielen entwickelt wurden. Und es ist viel, viel wichtiger, diese Ziele auch zu hinterfragen und ebenso die Ziele der Akteure, die sie einsetzen, um die Auswirkungen zu verstehen.

Und diese Objektivität, diese mechanische Objektivität, die wir automatisierten Entscheidungssystemen zuschreiben, dieses Bild, das müssen wir Stück für Stück abbauen und immer hinterfragen. Woher kommen die Daten, also die Zutaten, mit denen der Koch kocht? Woher kommt der persönliche Geschmack, den er hat? Welche Aspekte des Arbeitsmarktes, der öffentlichen Debatte oder der Sozialhilfe werden von dem System wichtiger erachtet als andere?

Die Zielsetzung von Technologie kann durchaus sein, die Gesellschaft zu verbessern. Aber dann müssen diese Ziele auch so explizit formuliert werden, und dann muss die Gewichtung von Daten entsprechend herrschen. Und dann haben wir auch das Potenzial, mit algorithmischen Systemen die Welt zu verbessern. Aber wir müssen das explizit wollen und sie nicht einfach auf die Welt loslassen.