Fragen der ethischen Nutzung und des rechtssicheren Einsatzes von KI
Der AI Act der Europäischen Union steht vor dem Abschluss.
So wie seit mehr als 50 Jahren die elektronische Datenverarbeitung und seit etwa 20 Jahren das Cloud Computing alle Bereiche des Alltags durchdrungen und geprägt haben, werden KI-gestützte Anwendungen zunehmend Privat- und Berufsleben verändern. Lange Zeit schienen gerade die Gerichte und Behörden in Deutschland bei der Digitalisierung hinterherzuhinken. Hinzu kommen die allfälligen Probleme der Gerichte und Behörden bei der Personalgewinnung. Die EU-Kommission hat zuletzt 2023 im Rechtsstaatlichkeitsbericht gerügt, dass Deutschland sich mehr anstrengen müsse, um „angemessene Ressourcen“ für die Justiz sicherzustellen. Dazu gehöre auch die Besoldung der Richterinnen und Richter. Gleichzeitig steigen die Fallzahlen und die massenhafte Geltendmachung von Rechtsbehelfen (teils mit Legal-Tech-Mitteln) bei immer komplexeren und technischeren Sachverhalten. Da mag eine effizientere Ressourcennutzung und -einsparung durch KI-Anwendungen wie ein Heilsbringer wirken.
Isabell Conrad | Rechtsanwältin | Fachanwältin für Informationstechnologierecht | https://csw.partners/
Die EU-Kommission hatte schon in ihrem Entwurf der KI-Verordnung („AI Act“) aus April 2021 (Erwägungsgrund 40) – noch bevor ChatGPT in aller Munde war – im Blick, welches Potenzial KI-Anwendungen für die Rechtspflege und die öffentliche Verwaltung haben können. In Deutschland kämpfen viele öffentliche Stellen des Bundes und der Länder noch mit der OZG-Umsetzung. Währenddessen haben im November 2023 das Europäische Parlament und der Rat eine vorläufige Einigung über das „Gesetz für ein interoperables Europa“ erzielt, um eine bessere Vernetzung der digitalen öffentlichen Verwaltungen, Beschleunigung des digitalen Wandels und hohe Interoperabiliät im öffentlichen Sektor zu erreichen. Einer der großen Diskussionspunkte bei diesem EU-Gesetz war die Kohärenz mit den Bestimmungen des AI Act und mit der EU-Datenschutz-Grundverordnung („DS-GVO“) in Bezug auf die Einrichtung von Reallaboren.
Der Einsatz von KI-Anwendungen anstelle einer Richterin oder eines Richters kommt nicht in Betracht, die richterliche Unabhängigkeit ist verfassungsrechtlich geschützt – auch gegenüber einem etwaigen Nutzungszwang von KI. Erwägungsgrund (40) des AI Act stellt klar, dass KI-Systeme in der Justiz nur eine unterstützende Funktion haben dürfen, sodass immer ein Mensch das Urteil fällen muss. Anderenfalls wäre das Recht auf den gesetzlichen Richter bedroht und es bestünde ein Widerspruch zum Verbot der automatisierten Einzelentscheidung (Art. 22 DS-GVO). KI-Systeme können zum Beispiel unbestimmte Rechtsbegriffe nicht eigenständig auslegen, das heißt, sie können keine freien Wertungsentscheidungen treffen. KI-Systeme dürfen nur helfen, die menschliche Entscheidungsfindung vorzubereiten, indem vor allem die zugrundeliegenden Informationen (einschließlich Rechtsprechung) besser aufbereitet und strukturiert werden. Für KI-Systeme, die von alternativen Streitbeilegungsstellen eingesetzt werden, und für KI-Systeme im Rahmen von demokratischen Prozessen oder öffentlichen Diensten und Leistungen gilt Entsprechendes (siehe Annex III des AI Act in der im Januar 2024 geleakten Fassung). Ob dies in der Praxis der überlasteten Gerichte und Behörden, vor allem bei sogenannten Massenverfahren, tatsächlich eingehalten wird, dürfte aber für die beteiligten Anwälte im konkreten Fall nur sehr schwer kontrollierbar sein.
„Der neue AI Act … stuft KI-Systeme, die dazu bestimmt sind, von einer Justizbehörde oder in deren Auftrag eingesetzt zu werden, … als Hochrisiko-KI ein“
Der neue AI Act, der sich auf der Zielgerade befindet, stuft KI-Systeme, die dazu bestimmt sind, von einer Justizbehörde oder in deren Auftrag eingesetzt zu werden, um eine Justizbehörde bei der Erforschung und Auslegung von Tatsachen und Recht sowie bei der Anwendung des Rechts auf einen konkreten Sachverhalt zu unterstützen, oder die in ähnlicher Weise bei der alternativen Streitbeilegung eingesetzt werden, als Hochrisiko-KI ein. Solche Hochrisiko-KI kann zulässig sein, wenn sie die Anforderungen des AI Act für Hochrisiko-KI-Systeme einhält (etwa Einrichtung und Umsetzung von Risiko- Management-Verfahren) und eine Ex-ante-Konformitätsbewertung passiert.
Zu den Anforderungen des AI Act für Hochrisiko- KI zählt insbesondere die Verwendung hochqualitativer Trainings-, Validierungs- und Testdatensätze (die u. a. relevant und repräsentativ sein müssen). Training und Tests von KI, unter anderem zur Vermeidung von Verzerrung („Bias“), erfordern große Datenmengen und gute Datenqualität. Datenmengen, die durch Anonymisierung oder Pseudonymisierung verändert wurden, reichen für das primäre Training von Basismodellen (etwa Large Language Models) regelmäßig nicht aus. Werden Daten durch Crawler im Internet gesammelt, befinden sich in den Datensätzen auch personenbezogene Daten oder gar besondere Kategorien personenbezogener Daten nach Art. 9 DS-GVO. Der EuGH hat den Kreis der Art. 9 DSGVO- Daten in seiner Rechtsprechung der letzten Jahre erheblich ausgedehnt (etwa C-184/20 und C-252/21). Der Numerus clausus der Rechtsgrundlagen für die Verarbeitung von Art. 9 DS-GVO-Daten ist eng – häufig zu eng für das Training von KI. Nur im Einzelfall kann eine Rechtsgrundlage in Art. 9 Abs. 2 lit. e), g) oder j) DS-GVO gefunden werden. Auch bei „normalen“ personenbezogenen Daten kämpfen die Datenverarbeiter mit Rechtsunsicherheiten, etwa bei Art. 6 Abs. 1 lit. f DS-GVO, auf den sich Behörden regelmäßig nicht berufen können, bei Fragen der Rechtmäßigkeit der Zweckänderung und der Informationspflichten bei Zweckänderung (Art. 14 DSGVO). Ist der Kunde, der vortrainierte KI-Modelle auf eigene Bedürfnisse anpassen, einbauen und einsetzen will, im Hinblick auf das Training des Basismodells mit dem Anbieter datenschutzrechtlich gemeinsam Verantwortlicher (Art. 26 DS-GVO)? Es ist nicht erforderlich, dass alle gemeinsam Verantwortlichen Zugang zu den personenbezogenen Daten haben, sofern die Verarbeitung (hier das Training) zu gemeinsamen Zwecken und im Interesse des KI-Kunden erfolgt.
Im Ergebnis stellt die Einhaltung des Datenschutzes gerade beim Training von Basismodellen eine fast unlösbare Aufgabe dar. Kleiner sind diese Hürden bei der Verifizierung von KI-Output (etwa mittels anonymer Vektor-Datenbanken) sowie bei Tests mit gegebenenfalls pseudonymisierten Datensätzen – wobei unter den europäischen Gerichten nicht abschließend geklärt ist, wann Datensätze anonym oder pseudonym sind (EuGH C-413/23). Allerdings gibt es beim KI-Einsatz ein Damokles- Schwert, das für das KI-Training weniger relevant ist: Art. 22 DSGVO. Die meisten der gemäß AI Act verbotenen KI-Anwendungen mit unannehmbarem Risiko dürften bereits aufgrund Art. 22 DS-GVO verboten sein. Allerdings geht Art. 22 DS-GVO viel weiter. Beim Schufa- Scoring hat der EuGH insoweit sehr restriktiv geurteilt (C-634/21, C-26/22, C-64/22).
„Der risikobasierte Ansatz des AI Act ist ebenso zu begrüßen wie die Berücksichtigung von KI-Modellen mit allgemeinen Verwendungszwecken wie ChatGPT“
Der Grundrechtsschutz muss häufig bereits bei Entwicklung und Training der KI (also zeitlich weit vorgelagert) berücksichtigt werden. Der risikobasierte Ansatz des AI Act ist ebenso zu begrüßen wie die Berücksichtigung von KI-Modellen mit allgemeinen Verwendungszwecken wie ChatGPT. KI ist eine rasant durchschlagende Technologie, so dass eine schnelle politische Einigung notwendig war. Ein spezielles KI-spezifisches Datenschutzrecht als Lex specialis zur DS-GVO ist dabei weitgehend auf der Strecke geblieben (trotz entsprechender Forderungen des DAV, Stellungnahme Nr. 74/2023 dav-sn-74-2023-trilog-ki-verordnung20231018-2-4. pdf). Nun bleibt zu hoffen, dass die Datenschutzbehörden ihre Handreichungen (Checklisten) für KI-Projekte fortsetzen, auch wenn feststeht, wer in Deutschland die nationalen KI-Behörden werden. Grundrechtsschutz beim Einsatz von KI ist ebenso wichtig wie eine Vermeidung von Überregelungsansätzen und Innovationshinderung. Die Fragen nach den ethischen und rechtlichen Grenzen von KI in Rechtspflege und Justiz sind genauso wichtig wie die Frage nach einer rechtssicheren Ermöglichung der Entwicklung und des Einsatzes von KI. Im strategischen Wettbewerb mit autokratischen Staaten ist die Bedeutung des KI-Einsatzes durch die Rechtspflege und öffentliche Verwaltung nicht hoch genug einzuschätzen.
