KI verstehen, nutzen, kontrollieren

Einstieg

Abseits der juristischen und technischen Details: Erinnern Sie sich an einen Moment, vielleicht bei der Nutzung einer App oder beim Lesen einer Nachricht, in dem die Fähigkeiten einer KI Sie zum ersten Mal so richtig ins Staunen versetzt oder verschreckt haben?

Zuletzt habe ich gestaunt, wie einfach es geht, den Inhalt einer komplizierten Betriebsanleitung als Podcast ausgeben zu lassen – und der Ausgabeton einer der beiden, die den Podcast dann moderiert haben, erinnerte mich zudem an eine mir bekannte Stimme. Nach dem kurzen Erstaunen habe ich aber festgestellt, dass die Art und Weise, wie der Podcast dann durchgetaktet ist, doch mit extrem vielen Floskeln durchdrungen ist. Hier zeigt sich auch ein Aspekt von KI: Der Output ist oft gefällig, geradezu affirmativ. Und was Stimmen angeht: Als Datenschützer schauen wir gerade sehr genau hin, wie zum Beispiel Hersteller von KI mit dem Urheberrecht umgehen. Das Urheberrecht und das Datenschutzrecht haben eine gewisse Schnittmenge.

In Ihrem Amt müssen Sie komplexe Sachverhalte oft auf den Punkt bringen. Welches ist das hartnäckigste Missverständnis über KI, das Ihnen im Alltag immer wieder begegnet, und was erwidern Sie darauf?

Schauen Sie sich die Titel unserer vergangenen KI-Wochen an: Im Jahr 2022 lautete der Titel: „Was heißt hier Selbstbestimmung?“, im Jahr 2023 war es „Menschendaten. Die Maschine spricht – wer verantwortet KI?“ – und wir haben in dem Jahr u.a. herausgearbeitet, dass viele den KI-Anwendungen Fähigkeiten unterjubeln, die sie in Wirklichkeit nicht haben. KI kann eben nicht sprechen/denken, sondern generiert Output, der auf Wahrscheinlichkeiten basiert. Sie denkt nicht, sie fühlt nicht, sie handelt nicht. 2024 lautete der Titel der KI-Woche: „Wer trainiert die Zukunft“, in diesem Jahr lautet der Titel: „Wer/m nutzt KI?“

Zusammengefasst: Ein zentrales Missverständnis ist es, von einer KI-Anwendung etwas zu erwarten, was sie nicht leisten kann und darf: Nämlich Menschlichkeit. KI ist nicht menschlich, und wo immer eine Anwendung herkommt – sie wurde hergestellt. Das heißt: Es gibt immer einen Verantwortlichen. KI-Anwendungen werden gemacht, sie sind kein naturgesetzliches Phänomen. Wenn wir das einmal akzeptiert haben, dann können wir uns konkret mit KI befassen. 

Transparenz und Bürgerrechte

Vertrauen in den Staat entsteht nur, wenn sein Handeln nachvollziehbar ist. Gerade beim Einsatz von KI, die oft als „Blackbox“ empfunden wird, sind Transparenz und die unkomplizierte Wahrnehmung von Grundrechten essenziell.

Als Bürger*in begegnet man KI oft mit einem Gefühl der Ohnmacht. Können Sie sich an eine Situation erinnern, inder Sie dachten: „Hier hätte ein einfacher Hinweis oder ein klarer Ansprechpartner den Unterschied gemacht“?

Klar, das kommt öfter vor. Nicht ohne Grund erwartet die DSGVO in Art. 13 und 14 Datenschutzhinweise.

Genau dieses Gefühl der Ohnmacht soll durch klare Rechte abgefedert werden. Fangen wir am Ende des Prozesses an: Wenn etwas schiefgelaufen ist, welche barrierefreien Zugänge für KI-bezogene Beschwerden bietet das Land an, und wie wird proaktiv über das gerichtliche Rechtsmittel nach drei Monaten Untätigkeit gemäß Art. 78 Abs. 2 DSGVO informiert?

Datenschutzbeschwerden einzureichen, ist ohne Hürden möglich, auf unterschiedlichen Wegen, etwa über unser Online-Formular. Über Rechtsmittel weisen wir in den Schreiben an Beschwerdeführer hin. Aber auch ohne Hinweis „verliert“ der Beschwerdeführer zunächst nichts, denn ohne Hinweis auf Rechtsmittel erhöht sich die Frist für Rechtsmittel auf ein Jahr statt drei Monaten. Interessant ist aber auch die sogenannte KI-Rüge aus Schleswig-Holstein, bei der eine KI-Entscheidung voraussetzungslos von einem Menschen überprüft werden muss, wenn dieser es wünscht.

Soweit gegen die Bestimmungen der KI-Verordnung verstoßen wird, kann eine Beschwerde bei der betreffenden Marktüberwachungsbehörde eingereicht werden. Dies wird voraussichtlich die Bundesnetzagentur sein. Die Beschwerde kann dann von der Martküberwachungsbehörde berücksichtigt und behandelt werden. In der KI-Verordnung ist auch ein Recht auf Erläuterung der Entscheidungsfindung im Einzelfall vorgesehen.

Damit es überhaupt zu einer gezielten Beschwerde kommen kann, müssen die Menschen aber erst einmal erkennen, dass sie mit einer KI interagieren. Welche Vorkehrungen trifft Baden-Württemberg, damit alle KI-Angebote des Landes und der Kommunen gut sichtbar gemäß Art. 50 der KI-Verordnung gekennzeichnet sind, inklusive eines Kontakts für Nachfragen und einer Erklärung in Leichter Sprache, einer vereinfachten Sprachform für besseres Verständnis?

Für KI-Anwendungen in Baden-Württemberg gelten dieselben Vorschriften wie in der EU insgesamt. In der KI-Verordnung und in der DSGVO ist geregelt, wie die auszusehen haben.

In der Artikel 50 KI-Verordnung steht:

Die Anbieter stellen sicher, dass KI‑Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI‑System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich.

Wird dagegen verstoßen, kann man sich an seine entsprechende Aufsicht bzw. Marktüberwachungsbehörde wenden.

Diese Transparenz wird besonders dann kritisch, wenn es nicht nur um eine Interaktion, sondern um einen rechtlich bindenden Verwaltungsakt geht. Das Recht, nicht einer rein maschinellen Entscheidung unterworfen zu werden, ist in Art. 22 DSGVO verankert. Wie wird in der Praxis sichergestellt, dass bei Verwaltungsakten stets menschliches Eingreifen sowie eine menschliche Begründung erfolgen?

KI-Kompetenz der Mitarbeitenden spielt hier eine große Rolle und die Mitarbeitenden müssen entsprechend geschult werden.

KI-Anwendungen sollten nur bei entsprechender Eignung von der Behörde freigegeben werden und dazu gehört, dass die menschliche Entscheidung in der Anwendung bzw. im Prozess verankert wird. Das ist auch gesetzlich geregelt, manches kann eine KI machen, hierfür werden in Baden-Württemberg gerade die gesetzlichen Grundlagen geschaffen.

In Bezug auf Artikel 22:

Hierzu gibt es Rechtsprechung des EuGH, ich rate sehr, diese ernst zu nehmen. Wo immer angezeigt und nötig, werden wir im Rahmen unserer Zuständigkeiten aktiv und gehen Beschwerden nach oder kontrollieren von Amts wegen.

Wir setzen aber grundsätzlich darauf, dass man auf uns zukommt und mit uns spricht, unsere Beratung in Anspruch nimmt als verantwortliche Stelle, damit der Betrieb einer Anwendung von Anfang an rechtskonform ist.

Um all diese Rechte wirksam wahrnehmen zu können, benötigen die Bürgerinnen und Bürger verständliche Informationen. Stellt das Land hierfür den Verwaltungen verpflichtende Mustertexte zu den Betroffenenrechtenbereit, die im Sinne einer barrierefreien und mehrsprachigen Kommunikation gestaltet sind?

Ich kann etwas zu uns sagen: Wir bieten Schulungen in unserem hauseigenen Bildungszentrum BIDIB an. Wir organisieren Workshops und Veranstaltungen wie die KI-Woche. Wir gehen auch auf Messen wie die Didacta, um mit möglichst vielen Menschen ins Gespräch zu kommen und zu informieren. Wir veröffentlichen zudem Orientierungshilfen, Handreichungen und stimmen uns innerhalb der Datenschutzaufsichten in ganz Deutschland ab und liefern einheitliche rechtliche Hilfen.

Aus unserer Sicht ist es enorm wichtig, dass informiert wird. Im Übrigen erwartet die DSGVO, dass wir informieren, aufklären und sensibilisieren. Und die KI-Verordnung verlangt AI-Literacy der KI einsetzenden Mitarbeitenden. Wissensvermittlung, Information und Aufklärung sind kein nice to have, sondern ein Muss.

Schutz vor Diskriminierung und faire Verfahren

Wenn die grundlegende Transparenz und die Rechte der Bürger*innen geklärt sind, rückt eine zentrale inhaltliche Frage in den Fokus: die Fairness der algorithmischen Verfahren. KI-Systeme sind nicht neutral; sie lernen aus Daten, die gesellschaftliche Vorurteile widerspiegeln können. Ohne aktive Gegenmaßnahmen besteht dieGefahr, dass algorithmische Entscheidungen Ungleichheiten verstärken.

Wie lassen sich Bias, die bereits beim Training von KI-Systemen entstehen, erkennen und mindern und welche Ansätze versprechen dabei langfristig eine größere Wirkung?

Die Bias-Problematik ist relevant. Die Wissenschaftlerin Paola Lopez und der Wissenschaftler Carsten Orwat haben dazu bei uns Vorträge gehalten, die man auch auf unserem PeerTube-Server nachschauen kann. Wir befassen uns regelmäßig mit der Frage, wie KI-Anwendungen trainiert werden. Jüngst hat die Datenschutzkonferenz ein Papier veröffentlicht zu RAG-Systemen.

Diskriminierung ist ein ernstes Thema. Um dieser Gefahr der Voreingenommenheit systematisch zu begegnen, empfiehlt die Datenschutzkonferenz Kontrollen. Setzt Baden-Württemberg daher auf partizipative Bias-Tests, alsosystematische Prüfungen auf Diskriminierung, unter Einbeziehung von Selbstvertretungen marginalisierter Gruppen?

Man kann Maßnahmen treffen, die helfen, Bias zu reduzieren oder ihnen frühzeitig zu begegnen. Vanessa Hanschke hat einmal bei uns einen Vortrag dazu gehalten. Sie hat sich wissenschaftlich damit auseinandergesetzt, wie man gemeinsam mit Entwicklerteams von KI- und Datenanwendungen Methoden entwickeln kann, um Überlegungen zu ethischen und sozialen Auswirkungen in die technische Arbeit einzubeziehen. Im Prinzip ethics by design also. Dazu gehören auch die von Ihnen genannten Bias-Tests. Die KI-VO fordert bei Hochrisiko-KI-Anwendungen geeignete Maßnahmen zur Erkennung, Verhinderung und Abschwächung möglicher Verzerrungen (Bias).

Ein möglicher, aber heikler Weg zur Korrektur von Bias ist die Nutzung sensibler Daten nach Art. 9 DSGVO. Wenn die Verwaltung diesen schmalen Grat beschreitet, wie stellt sie sicher, dass Betroffene prägnant und in Leichter Sprache über Zweck, Rechtsgrundlage, Dauer und die getroffenen Schutzmaßnahmen informiert werden?

Das ist ein Zielkonflikt, ja. Einerseits braucht es viele unterschiedliche Trainingsdaten, um Bias zu verhindern, andererseits sollten möglich wenige Menschen betroffen sein. Es gibt Überlegungen, synthetische Daten zu nutzen statt „echte“ personenbezogene Daten. Aber es ist auch denkbar, dass man valide personenbezogene Daten nutzt für das Training von bestimmten Anwendungen. Das kann aber nur in einem klaren Rahmen und unter engmaschiger Kontrolle laufen – dafür könnte man KI-Reallabore nutzen.

Die datenschutzrechtliche Rechtsgrundlage für die Nutzung sensibler Daten nach Art. 9 DSGVO zur Korrektur von Bias wird in der KI-VO geschaffen, aber die Anforderungen der DSGVO werden dabei nicht aufgehoben. D.h. die betroffenen Personen müssen über die Verarbeitung gemäß den Anforderungen der DSGVO informiert werden und dies muss sichergestellt werden.

Governance und verbindliche Standards in der Praxis

Ein robuster rechtlicher Rahmen entfaltet seine Wirkung erst durch klare administrative Vorgaben und konsequente Kontrollen. Dieser Abschnitt geht darauf ein, wie das Land sicherstellt, dass Regeln nicht nur existieren, sondern inder Praxis gelebt werden.

Regeln für KI zu schaffen, ist oft wie der Versuch, ein Flugzeug zu reparieren, während es fliegt. Welche Begebenheit fällt Ihnen ein, bei der eine gut gemeinte Regel von der rasanten technischen Entwicklung überholtwurde, noch bevor sie richtig greifen konnte?

Die KI-Verordnung selbst. Auf den letzten Metern vor der Abstimmung im EU-Parlament wurden noch Regelungen zu Sprachmodellen aufgenommen, weil ChatGPT plötzlich den Weg für Sprachmodelle weit geöffnet hatte.

Grundsätzlich: Sowohl die DSGVO als auch die KI-Verordnung sind technologieneutral gefasst, sodass diese Regelungen viele neue Entwicklungen abdecken können. Der Nachteil ist, dass das Gesetz nicht alles bis zum Letzten regelt. Man muss sich als Verantwortlicher und als Aufsichtsbehörde also die Mühe machen und die jeweilige Anwendung rechtlich sauber prüfen. Das ist so in unserem Rechtsstaat.

Die Alternative wäre ein hoher Output an Gesetzen, die sehr kleinteilig Dinge regeln. Das will, glaube ich, kaum jemand. 

Trotz dieser Dynamik gibt es klare rote Linien, die der Gesetzgeber gezogen hat. Die KI-Verordnung verbietet Praktiken wie Social Scoring, bei dem Menschen aufgrund ihres Verhaltens bewertet werden. Wie wird aktiv überwacht, dass keine Landes- oder Kommunalstelle verbotene KI-Systeme einsetzt, etwa durch Audits, Meldepflichten oder Sanktionen?

Das ist noch nicht geklärt. Es wird eine Aufsicht geben, die KI-Anwendungen kontrolliert.

Wer die Aufsicht führt, wird politisch entschieden, dabei macht die KI-Verordnung bestimmte Vorgaben. Derzeit ist die Bundesnetz-Agentur im Gespräch für die Marktüberwachung. Wir sind mit Blick auf landesspezifische Themen wie Bildung, Polizei und Wahlen von der KI-Verordnung adressiert. Die Digitalministerium des Bundes hat ein Durchführungsgesetz vorgelegt und will, dass die Datenschutzaufsichtsbehörden keine Rolle bei der KI-Marktüberwachung spielen. Die KI-Verordnung sieht das anders. Wir Datenschützer*innen auch.

Neben diesen klaren Verboten gibt es aber auch grundlegende Gestaltungsprinzipien, die von Anfang an gelten müssen. Gilt der Grundsatz des Datenschutzes durch Technikgestaltung (Art. 25 DSGVO) mit sparsamen Voreinstellungen als verbindlicher und kontrollierter Standard für alle KI-Projekte?

Der Grundsatz gilt für alle Verarbeitungen personenbezogener Daten, auch für KI. Die Frage ist hier beispielsweise, ob es zwingend erforderlich ist, alle Daten aus dem Internet für das Training einer KI zu verwenden. Wenn dies der Fall ist, kann auch das dem Grundsatz der Datenminimierung entsprechen.

Und wenn das Risiko selbst bei guter technischer Gestaltung hoch bleibt, greift ein weiteres Instrument: die Datenschutz-Folgenabschätzung (DSFA), eine verpflichtende Risikobewertung für die Rechte von Personen. Wird in Baden- Württemberg bei solchen Vorhaben standardmäßig eine DSFA durchgeführt und, entscheidend für die Öffentlichkeit, eine verständliche Kurzfassung veröffentlicht?

Die Veröffentlichung einer Kurzfassung ist keine rechtliche Vorgabe, aber Best Practice. Ob eine DSFA bei KI-Anwendungen erforderlich ist, kann auch nicht pauschal beantwortet werden. Die spezifischen Risiken der KI-Anwendung müssen betrachtet werden und bei Vorliegen hoher Risiken eine vollständige DSFA durchgeführt werden. Daher sind auch klare Regeln erforderlich, für welche Bereiche KI-Anwendungen eingesetzt werden dürfen und für welche nicht. Nur so können KI-Anwendungen mit hohem Risiko verhindert werden. Auch muss dies aktiv kontrolliert werden.

Konkrete Anwendungsfälle: F13 in Schulen und JANO in der Justiz

Die abstrakten Prinzipien müssen sich in der Praxis bewähren. Die Landesprojekte F13 im Bildungsbereich und JANO in der Justiz sind hierfür entscheidende Prüfsteine.

Wenn man von KI in der Schule oder bei Gericht hört, klingt das oft nach Science- Fiction. Aber die Realität ist meist viel bodenständiger. Was hat Ihnen in der Auseinandersetzung mit F13 oder JANO gezeigt, wie weit der Weg von der großen Vision bis zum wirklich hilfreichen, alltagstauglichen Werkzeug noch ist.

KI-Anwendungen sind hochkomplexe Systeme und mit Blick auf die großen Anbieter können Landesprojekte nur mit deutlich geringeren Ressourcen aufwarten. Das führt auch zu Unterschieden in der Qualität der KI-Anwendungen.

Auch was automatisierte Entscheidungen oder Hochrisiko-KI-Anwendungen angeht, besteht noch Abstimmungsbedarf und Schulungsbedarf der Mitarbeitenden, also KI-Kompetenz, so wie es die KI-Verordnung vorsieht.

Klare Nutzungsrichtlinien in beispielsweise den Schulen sollten hier der Standard werden. 

Lassen Sie uns diesen Weg von der Vision zur Realität am Beispiel des KI- Assistenten F13 nachzeichnen. Wenn dieses Werkzeug in die Digitale Bildungsplattform SCHULE@BW integriert wird, welche konkreten Schutzregeln gelten hier für Schüler*innendaten, insbesondere zur Zweckbindung, zum Ausschluss vonProfiling für Sanktionen und zur Speicherung im Landesrechenzentrum BITBW?

Erlaubte Anwendungen müssen hier durch Nutzungsrichtlinien vorgegeben werden. Die besten Vorsätze bringen allerdings wenig, wenn diese nicht auch kontrolliert werden können. Daher ist hier auch die Möglichkeit einer Kontrolle vorzuhalten, um bei begründetem Verdacht die Nutzung der KI-Anwendung nachvollziehen zu können.

Neben diesen internen Regeln bietet der Open-Source-Ansatz von F13 eine Chance für externe Kontrolle. Nutzt das Land diese Möglichkeit aktiv, indem es öffentliche Kontrollen nach dem Prinzip der Responsible Disclosure, einer verantwortungsvollen Offenlegung von Sicherheitslücken, erlaubt und Prüfberichte offenlegt?

F13 ist als Open-Source Software auf der openCode-Plattform verfügbar. Dies begrüßen wir sehr.

Von der Schule in den Gerichtssaal: Ein anderes hochsensibles Feld ist die Justiz, wo im JANO-Pilotprojekt KI zur Anonymisierung von Urteilen erprobt wird.

Welche Fehlerraten werden hier toleriert, wer prüft die Ergebnisse unabhängig, und welche Notfallregeln schützen Betroffene bei einem erhöhten Re-Identifizierungsrisiko?

Die DSGVO selbst sieht keine tolerablen Fehlerraten für eine KI-Anwendung vor. Die Ergebnisse müssen überprüft werden.

Die strategische Perspektive, Vorbereitung auf „AI 2027“

Abschließend blicken wir auf die langfristige strategische Ausrichtung. Als Anstoß dient das Szenario „AI 2027“, das einen sich selbst beschleunigenden KI-Fortschritt beschreibt, der zu einem geopolitischen Wettlauf und Kontrollrisiken führt. Das Szenario „AI 2027“ beschreibt, wie selbst Expert*innen immer wieder von der Geschwindigkeit des Fortschritts überrascht werden.

Können Sie zu diesem Szenario ein paar Worte zur Einordnung sagen?

Das ist nicht nur KI, sondern die gesamte Entwicklung im Digitalen Bereich, d.h. die EU-Gesetze im Digital Package und angrenzende, relevante Regelungen wie die Digitale-Inhalte- und Digitale-Dienstleistungen-Richtlinie, Warenkauf-Richtlinie, Produkthaftungs-Richtlinie etc., zeigen in welchem enormen Tempo Gesetze geschaffen werden, die ineinandergreifen und verstanden werden müssen – sowohl von den regulierten Stellen, als auch von den Aufsichtsbehörden.

Der Umfang dieser Aufgabe wird nach meinem Eindruck vom Gesetzgeber unterschätzt und es fehlen beispielsweise Konfliktregelungen und Regelungen für die Zusammenarbeit der verschiedenen Aufsichtsbehörden. Hier steht noch viel Arbeit an.

Wie plant die Landesregierung, die KI-Verordnung in den kommenden Jahren umzusetzen, insbesondere im Umgang mit Allzweck-KI-Modellen (GPAI-Modelle), für die besondere Anforderungen an Transparenz, Dokumentation und Kontrolle gelten?

Es sollten alle Möglichkeiten genutzt werden und zulässige KI-Anwendungen nur nach einem Whitelisting verwendet werden. Insbesondere die in der KI-Verordnung vorgesehenen KI-Reallabore können in diesem Zusammenhang eine wichtige Rolle spielen, also Testumgebungen, in denen KI-Anwendungen unter realen Bedingungen, aber mit klaren Schutzvorkehrungen ausprobiert werden können.

Wir danken Ihnen herzlich für Ihre Zeit und die ausführliche Beantwortung dieser Fragen.