Algorithmische Entscheidungssysteme: Herausforderungen für das Antidiskriminierungsrecht aus deutscher und französischer Perspektive

Eine rechtsvergleichende Analyse zum deutschen und französischen Recht

Ob in Bewerbungsverfahren, im Personalwesen, auf dem Immobilienmarkt, der Kreditvergabe oder bei der Berechnung von Versicherungstarifen - Der Einsatz von auf künstlicher Intelligenz basierenden algorithmischen Entscheidungssystemen (AES, im englischen: Algorithmic decision making systems/ADM-Systems) nimmt in immer mehr Lebensbereichen zu. Diese Systeme, die auf großen Datenmengen und komplexen mathematischen Modellen basieren, versprechen Effizienz und Objektivität. Doch gleichzeitig bringen sie Herausforderungen – insbesondere im Bereich des Antidiskriminierungsrechts - mit sich. Während AES vermeintlich neutral agieren, können sie bestehende gesellschaftliche Ungleichheiten verstärken und neue Formen der Diskriminierung schaffen. Die probabilistische Natur dieser Systeme, die auf Mustererkennung und statistischer Differenzierung basiert, birgt ein hohes Diskriminierungspotenzial, wie Studien und Fachgespräche belegen. So betonte Bernhard Franke, der kommissarische Leiter der Antidiskriminierungsstelle des Bundes, dass AES Menschen in ihren Chancen und Möglichkeiten erheblich benachteiligen können.

Diese Entwicklung stellt das Antidiskriminierungsrecht vor enorme Herausforderungen, da herkömmliche Mechanismen des Rechtsschutzes häufig nicht auf die spezifischen Risiken und intransparenten Entscheidungsprozesse von Algorithmen ausgelegt sind. Das Antidiskriminierungsrecht bedarf folglich einer besseren Anpassung an diese technischen Entwicklungen.

Welche Formen der Diskriminierung gibt es?

Diskriminierung kann vielseitig erfolgen. Ob unmittelbar – durch direkte Anknüpfung an ein geschütztes Merkma (wie Alter, Geschlecht oder Herkunft), mittelbar – wenn etwa neutrale Kriterien verwendet werden, die in der Praxis überwiegend eine bestimmte Gruppe benachteiligen (Im Bereich algorithmenbasierter Diskriminierung spricht man auch von “Proxy-Diskriminierung” oder “Stellvertreterdiskriminierung”: Das System sucht sich hier stellvertretend für eine unbekannte Variable – etwa Arbeitserfahrung für Alter und Geschlecht – einen anderen Indikator (Proxy), um Wahrscheinlichkeiten zu berechnen) oder intersektional -wenn eine Person aufgrund mehrerer zusammenfallender Diskriminierungsmerkmale benachteiligt wird die "Proxydiskriminierung" knüpft somit an Merkmale an, die vermeintlich neutral sind, jedoch in enger Beziehung zu den Diskriminierungsmerkmalen stehen. Antidiskriminierungsvorgaben können auf diese Weise bewusst oder unbewusst umgangen werden. Das Problem bei algorithmischer Diskriminierung ist, dass die Grenzen der Diskriminierungsformen ineinander verschwimmen.

In welchen Formen manifestiert sich die Diskriminierung in AES?

1.        „Garbage in, garbage out „

Die größte Ursache für Diskriminierungsrisiken im Umgang mit KI ist die Qualität von Daten. AES können nur so gute Entscheidungen treffen, wie es die Qualität der zugrunde liegenden Daten zulässt („Garbage in, garbage out“).

Wenn also fehlerhafte, verzerrte (/nicht repräsentative), stereotypisierende, unvollständige – kurzum nicht-diskriminierungsfreie - Daten in einen Algorithmus eingegeben werden („Garbage in“), führt dies denklogisch zu unzuverlässigen oder diskriminierenden Ergebnissen („Garbage out“).

So verhielt es sich beispielsweise bei dem Bewerbungsroboter von Amazon. Die zugrundeliegenden Daten waren Lebensläufe der angenommenen Bewerber, die der KI seit 2014 vorgelegt wurden und überwiegend von Männern stammten. Der Algorithmus untersuchte diese dann auf 50.000 Begriffe. Da das Programm hauptsächlich mit Daten männlicher Bewerber gefüttert wurde, wurden auch die Ergebnisse zugunsten des männlichen Geschlechts verzerrt. Das Problem war also, dass in der Technikbranche Frauen stark unterrepräsentiert sind. Aus einem Leitfaden des Labratoire d’égalité geht hervor, dass nur 27% der Frauen im Tech-Bereich arbeiten und nur 17% im Bereich der digitalen Technologien.

Aufgrund der statistischen Datenlage schlussfolgerte das AES, dass Männer sich mehr für Amazon begeistern können, weswegen Frauen eher herausgefiltert wurden.

Somit spielt auch die Abhängigkeit der AES von alten Datensätzen – die oft auch historische Vorurteile und Ungerechtigkeiten widerspiegeln - eine große Rolle für das Diskriminierungspotenzial.

2.        „Blackbox“

Weiterhin spielen auch die Kriterien zur Entscheidungsfindung eine wichtige Rolle.

Vor Allem wenn die AES auf maschinellem Lernen basieren (Deep-learning-Algorithmen können teils unzählige nichtlineare Beziehungen erzeugen) oder es sich um proprietäre IT handelt, ist das Ergebnis oft intransparent und aufgrund der Komplexität schwer nachvollziehbar. Es handelt sich hierbei um die sogenannte „Black box Problematik“. Diese Problematik erschwert auch die Beurteilung über die Qualität der zugrunde gelegten Daten, was zu einer unmittelbaren Verbindung zur „Garbage in, garbage out“-Problematik führt. Selbst wenn es gelingen sollte, Daten In- und Output zu identifizieren, so bleibt der Datenverarbeitungsprozess für die Adressaten und Verwender von AES oft im Verborgenen. Auch dabei kann es allerdings zu Problemen kommen. So könnten beispielsweise die Entwickler unbewusste Vorurteile (Bias) bei der Modellierung eines Algorithmus einfließen lassen, welche diskriminierende Effekte verstärken. Wird dann zum Beispiel ein Bewerber aufgrund eines algorithmischen Modells abgelehnt, ist oft unklar, welche Variablen und Muster zu dieser Entscheidung geführt haben.

Im Antidiskriminierungsrecht ist jedoch Transparenz entscheidend, um diskriminierende Praktiken zu erkennen und zu bekämpfen. Ohne die Möglichkeit, die Entscheidungsgrundlage eines AES zu überprüfen, können potenziell diskriminierende Mechanismen unentdeckt bleiben.

Es besteht daher die Notwendigkeit, rechtliche Rahmenbedingungen zu schaffen, die Transparenz bei algorithmischen Entscheidungen gewährleisten und somit die Durchsetzung von Antidiskriminierungsbestimmungen gewährleisten.

Wie sieht der Rechtsrahmen für Antidiskriminierung in Deutschland aus?

In Deutschland stellt das Allgemeine Gleichbehandlungsgesetz (AGG), welches am 18. August 2006 in Folge der Umsetzung von EU Richtlinien in Kraft getreten ist, den zentralen Rechtsrahmen für Schutz vor Diskriminierung dar. Es verhindert, dass Menschen aufgrund von rassistischen Gründen, der ethnischen Herkunft, der Religion und Weltanschauung, einer Behinderung, dem Alter, der sexuellen Identität und dem Geschlecht (vgl. § 1 AGG) benachteiligt werden. Als zentrale Behörde für den Schutz vor Diskriminierung ist hier die Antidiskriminierungsstelle des Bundes (ADS) zuständig. Sie wurde 2006 mit dem Allgemeinen Gleichbehandlungsgesetz (AGG) ins Leben gerufen und bietet umfassende Beratung und Unterstützung für Menschen, die sich diskriminiert fühlen und arbeitet aktiv daran, das Bewusstsein für Diskriminierung in der Gesellschaft zu schärfen. Grundsätzlich ist das AGG zwar auf AES anwendbar, um Schutz vor Diskriminierung zu gewährleisten. Allerdings enthält es keine spezifischen Regelungen, die auf die besonderen Herausforderungen von AES eingehen.

Wie sieht der Rechtsrahmen für Antidiskriminierung in Frankreich aus?

In Frankreich erfolgte, anders als bei der einheitlichen Kodifizierung Deutschlands, eine fragmentierte Umsetzung der Antidiskriminierungsrichtlinien im Gesetz Nr. 2008/496, dem Arbeits (Code du travail) - und dem Strafgesetzbuch (Code Pénal). In Frankreich sind mit 25 Merkmalen wesentlich mehr und über die europäischen Richtlinien hinausgehende Merkmale (vgl. Art. 21 Charta der Grundrechte der europäischen Union) antidiskriminierungsrechtlich geschützt (wie z.B. Staatsangehörigkeit, Sprache, Hinweisgeber, familiäre Situation und wirtschaftliche Verletzbarkeit).

Die zentrale Rolle im Kampf gegen Diskriminierung übernimmt hier die Défenseure des Droits (Claire Hédon). Die unabhängige Institution wurde 2011 ins Leben gerufen und hat ein breites Mandat, das über die reine Diskriminierungsbekämpfung hinausgeht. So befasst es sich auch mit der Wahrung der Bürgerrechte, dem Schutz der Kinderrechte sowie den Rechten von öffentlichen Bediensteten und Hinweisgebenden („whistleblower“). Angesichts der bereits bestehenden guten Zusammenarbeit mit der CNIL (Comission nationale de l’informatique et des libertés), welche als unabhängige Datenschutzbehörde eine zentrale Rolle im Umgang mit algorithmischer Diskriminierung spielt, forderte die Défenseure des droits in einer Stellungnahme vom 28.09.2023 die Ernennung der CNIL zur nationalen Aufsichtsbehörde für die Anwendung der neuen KI-Verordnung.

Welche Lösungsansätze und Reformvorschläge gibt es im deutschen Recht?

Der aktuelle Rechtsrahmen in Deutschland bietet keinen ausreichenden Schutz. Ursprünglich für menschliche Diskriminierungsformen geschaffen, weist das AGG deutliche Lücken im Bezug auf AES auf. So erschwert die Black box Problematik bereits, dass Betroffene überhaupt erkennen können, dass sie benachteiligt wurden.

Die Herausforderungen bei der Rechtsdurchsetzung bestehen einerseits in der mangelnden Transparenz, da es an ausreichenden Auskunfts- und Offenlegungspflichten fehlt, die Einblick in die konkreten Funktionsweisen und Datengrundlagen eines AES ermöglichen. Andererseits erschweren die eng gefassten Bestimmungen des AGG den effektiven Schutz vor Diskriminierung durch AES.

Das AGG muss folglich an die Herausforderungen, die mit AES einhergehen, angepasst werden.

Lösungsvorschläge beziehen sich zum einen auf einen auf die Ausweitung des AGG. So wird beispielsweise eine Ergänzung der Diskriminierungstatbestände gefordert. §1 AGG soll so ausgestaltet werden, dass die Proxy-Diskriminierungen besser erfasst werden. Denkbar wäre die Einführung des Merkmals “Beziehungen”. Auch soll der Adressatenkreis angepasst/erweitert werden. Ähnlich wie im Datenschutzrecht sollen also auch die hinter den Nutznießern stehenden Dienstleister als Adressaten erfasst werden.

Weiterhin wird zur Auslösung der Beweislastumkehr im Rahmen des § 22 AGG vorgeschlagen, dass bereits der Nachweis über den Einsatz eines AES ausreicht. Dann müssten also nicht die Betroffenen, sondern jene (Unternehmen und Institutionen), die AES einsetzen, in der Pflicht stehen nachzuweisen, dass ihre Systeme keine diskriminierenden Entscheidungen getroffen haben.

Dafür bedarf es Anpassungen bezüglich der Transparenzanforderungen.

Es wird gefordert, dass diese Akteur-Innen verpflichtet werden, den Betroffenen Einblicke in die Funktionsweise der verwendeten Systeme zu gewähren (White box approach). Dies umfasst sowohl die verwendeten Daten als auch die Entscheidungslogik der Algorithmen. Nur so können Betroffene nachvollziehen, ob sie möglicherweise diskriminiert wurden, und gegebenenfalls Rechtsmittel einlegen.

Diese Transparenz würde erheblich der Informationsasymetrie entgegenwirken, die der typischen Funktionsweise von AES zugrunde liegt. Praktisch diskutiert werden aktuell eine Hinweispflicht über die Verwendung von AES sowie eine unabhängige Zertifizierung über den Best-Practice-Standard des Systems. Genügt das AES den Anforderungen nicht, würde also die Beweislastumkehr greifen.

Darüber hinaus sollten auch institutionelle Mechanismen gestärkt werden:  

So wird beispielsweise die Einführung eines Verbandsklagerechts diskutiert, um systemische Diskriminierungen aufzudecken und zu bekämpfen. Dieses würde Antidiskriminierungsorganisationen ermöglichen, im Namen der Betroffenen zu klagen. Das wäre insbesondere für jene von Bedeutung, die aufgrund der technischen Komplexität der AES nicht in der Lage sind, ihre Rechte selbstständig durchzusetzen.

Auch der Antidiskriminierungsstelle des Bundes (ADS) könnte trotz ihrer engen staatlichen Verbindung ein Klagerecht eingeräumt werden. Das drohende systematische Rechtsschutzdefizit bei Diskriminierung durch AES, die Vermeidung von Rechtsstreitigkeiten bis hin zum EuGH sowie die Tatsache, dass die ADS trotz ihres öffentlich-rechtlichen Charakters in gewissem Maße unabhängig ist, könnte dies rechtfertigen. Denkbar wären auch Kompetenzerweiterungen der ADS bezüglich umfassenderer Untersuchungs- und Auskunftsrechte sowie der Einräumung einer gesetzlichen Prozessstandschaft, um diskriminierende Praktiken von AES besser zu identifizieren und in eigenen Namen Rechte von diskriminierten Personen geltend zu machen.

Zusätzlich wird vorgeschlagen, dass die ADS, die ja ohnehin den Charakter einer Vermittlungs- und Unterstützungsstelle hat, auch mit einem gesetzlich geregelten Schlichtungsrecht ausgestattet wird. So könnten Streitigkeiten im Zusammenhang mit algorithmischer Diskriminierung noch geklärt werden, bevor es zu einem gerichtlichen Verfahren kommt. Da die schwere Beweisführung für die Betroffenen eine besonders große Herausforderung darstellt und den Verwendern der AES in die Karten spielt, könnte das Schlichtungsverfahren für letztere einseitig verpflichtend ausgestaltet sein.

Welche Lösungsansätze und Reformvorschläge gibt es im französischen Recht?

Die französischen Lösungsvorschläge zur Bekämpfung algorithmischer Diskriminierung ähneln den deutschen Ansätzen, indem sie die Notwendigkeit von rechtlichen Anpassungen, um Transparenz und Nachvollziehbarkeit zu gewährleisten, betonen.

Es wird darauf hingewiesen, dass die bestehenden Regelungen oft unzureichend sind.

Es braucht folglich auch hier rechtliche Anpassungen, um sicherzustellen, dass AES gesetzlich kontrolliert werden und Nutzer Rechte zur Überprüfung und Anfechtung von Entscheidungen haben. Dabei wird vor allem der Grundsatz der „Loyauté“ (Loyalität) gegenüber den Nutzern betont, der sicherstellen soll, dass Algorithmen im Sinne der Allgemeinheit arbeiten.

Diese gesetzliche Verpflichtung könnte in der französischen Debatte eher durch freiwillige Initiativen und Mechanismen zur „Erreichbarkeit“ ergänzt werden, sodass Nutzer leicht Kontakt zu den Verantwortlichen aufnehmen und Fragen stellen können.

Besonders im öffentlichen Sektor wird bereits länger von dem französischen Datenschutzgesetz (Loi Informatique et Libertés) und der Datenschutzbehörde CNIL mehr Transparenz gefordert. Es werden gesetzliche Verpflichtungen zu einer white-box-ausgestaltung vorgeschlagen, die durch freiwillige bzw. private Initiativen und Mechanismen zur „Erreichbarkeit“ ergänzt werden, sodass Nutzer-Innen leicht Kontakt zu den Verantwortlichen aufnehmen und Fragen stellen können.

Gleichzeitig sollen Unternehmen durch Mediationsprozesse und Nutzerdialoge die Verständlichkeit ihrer Algorithmen fördern, um Vertrauen und Verantwortlichkeit zu stärken. Auch das Design der AES soll so angepasst werden, dass die „Blackbox“-Struktur vermieden wird. Als Beispiel und Vorbild hierfür dient das „Politoskop“, das die Aktivitäten politischer Gruppen auf sozialen Netzwerken sichtbar macht und so Transparenz und demokratischen Zugang zu Informationen fördert. Darüber hinaus hat die FING (Fondation Internet Nouvelle Génération) das Konzept der “Spielbarkeit” für Designs von AES vorgeschlagen, welches es den Nutzern ermöglicht, mit den Systemen zu „spielen” indem sie die Parameter variieren um verschiedene Ergebnisse zu testen, was ihre Handlungsfähigkeit deutlich verbessert.

In Frankreich wird die Schaffung einer nationalen Plattform zur Überprüfung von Algorithmen vorgeschlagen, um deren Konformität mit dem Gesetz und ihre Fairness sicherzustellen. Diese Plattform soll es ermöglichen, Algorithmen insbesondere im Hinblick auf Transparenz und die Vermeidung von Diskriminierung zu auditieren. Zertifizierte private Auditunternehmen könnten diese staatlichen Audits ergänzen. Zudem werden freiwillige „Label“-Lösungen vorgeschlagen, die Unternehmen dazu ermutigen, ihre Algorithmen auf Transparenz und Fairness hin zu überprüfen. Ein zentraler Ansatz Frankreichs besteht darin, seine Führungsrolle in der ethischen KI durch Forschung zu stärken. Dies umfasst Techniken wie Reverse Engineering sowie den Aufbau sicherer Datenräume für die Entwicklung von KI-Algorithmen, ohne den Datenschutz zu gefährden. Außerdem betont Frankreich die Einführung eines „Datenübertragbarkeitsrechts“, das Bürgern ermöglicht, ihre von privaten Akteuren gesammelten Daten für gemeinnützige Forschungsprojekte bereitzustellen.

Aus einem CNIL-Bericht vom Dezember 2017 geht hervor, dass die Anpassungen der (gesetzlichen) Rahmenbedingungen nicht der einzige Hebel sein können und gute Lösungsvorschläge eine Mobilisierung aller Akteure erfordert. Auffällig ist somit, dass in Frankreich noch in einer ganz anderen Dimension angesetzt wird: Sensibilisierung der Öffentlichkeit und der Unternehmen für die Risiken von algorithmischer Diskriminierung durch Schulungsprogramme und Aufklärungsinitiativen in Ethik und Bildung. So sollen alle Beteiligten der “algorithmischen Kette” – von den Bürgern und Bürgerinnen als zentrale Akteure der AES über die Entwickler bis hin zu den Fachleuten und öffentlichen Akteuren, die AES im Rahmen ihrer Tätigkeiten anwenden - für die möglichen Diskriminierungspotenziale sensibilisiert werden und diese bei der Entwicklung und Anwendung solcher Systeme berücksichtigen. Darüber hinaus könnten Ethikkomitees eingerichtet werden, die mögliche Risiken und Unregelmäßigkeiten frühzeitig erkennen und kontinuierlich überwachen um dann den Dialog zwischen Unternehmen, externen Experten und betroffenen Gemeinschaften fördern.

Fazit

Da Algorithmische Anwendungen bkanntlich keine nationalen Grenzen kennen zeigt sich, dass sowohl Deutschland als auch Frankreich vor erheblichen Herausforderungen stehen, wenn es darum geht, Diskriminierung durch AES effektiv zu bekämpfen. Beide Länder erkennen die Risiken solcher Technologien, insbesondere im Hinblick auf Transparenz, Datenqualität und die „Blackbox“-Problematik. Während Deutschland bereits durch konkrete Vorschläge im AGG, um nachbessern will, setzt Frankreich derzeit weniger auf konkrete Gesetzesänderungen sondern stärker auf eine intensivere Zusammenarbeit mit Datenschutzbehörden und auf Sensibilisierung zu ethischen Rahmenbedingungen, die den Schutz der Nutzenden verbessern sollen.

Beide Länder unterstreichen die Dringlichkeit rechtlicher Reformen und die Bedeutung eines kontinuierlichen Dialogs zwischen Technologieentwicklern, Gesetzgebern und der Zivilgesellschaft, um Diskriminierung durch AES zu minimieren und gerechtere und transparente Entscheidungsprozesse zu gewährleisten.

Erstrebenswert wäre eine neue europäische Antidiskriminierungsrichtlinie, die einen harmonisierten und umfassenden Schutz in der gesamten EU gewährleisten könnte.

Der Artikel wurde von Christina Sargsjan im Rahmen ihres Praktikums im September/Oktober 2024 im Cabinet ELAGE verfasst und von RA Sylvia Cleff Le Divellec supervisiert.

Christina Sargsjan studiert im 4. Studienjahr deutsche und französische Rechtswissenschaften an der Johanes Gutemberg Universität Mainz. Sie hat 2023 einen Master 1 im europäischen Recht an der Universität Paris Créteil absolviert.

Cabinet ELAGE (Paris) ist spezialisiert auf die Prävention und juristische  Behandlung von Benachteiligung/ Diskriminierung, Belästigung sowie Mobbing am Arbeitsplatz.

Das Bild wurde von Christina mit dem kostenlosen KI-Bildgenerator von Microsoft Designer erstellt.