Podcast Ethik Digital: Matthias Spielkamp von Algorithmwatch über den AI Act in Europa

Was bedeutet das für den AI Act?

Spielkamp: Da geht es darum, gut zu erfassen, dass diejenigen, die solche Systeme einsetzen, das auch in einem Rahmen tun, den wir für richtig und angemessen halten. Der AI Act ist ein Gesetz, das vor dreieinhalb Jahren von der EU-Kommission vorgeschlagen wurde, um die Künstliche Intelligenz zu regeln. Wir setzen uns hin und schauen uns diesen Gesetzesvorschlag an. Und dann gibt es verschiedene Möglichkeiten, darauf Einfluss zu nehmen.

Können Sie ein konkretes Beispiel nennen?

Spielkamp: Es gibt ja schon sehr lange die Videoüberwachung an öffentlichen Orten. Jetzt gibt es zusätzlich die Möglichkeit, mit Unterstützung dieser KI-Systeme auch eine Gesichtserkennung durchzuführen. Man hat also nicht nur ein Bild von einer Person, die durch eine Straßenbahn läuft, sondern kann feststellen, ob diese Person in einer Datenbank für Straftäter*innen registriert wurde. Wir halten es für hochproblematisch, diese Systeme unterschiedslos an öffentlichen Plätzen zu nutzen, einfach überall, denn das gibt einer Überwachungsgesellschaft Vorschub. Hier gibt es viel Missbrauchspotenzial.

Wir sagen nicht, dass Gesichtserkennung grundsätzlich verboten werden sollte, und wir sagen auch nicht, dass der Staat das System nicht nutzen darf. Aber es muss eben in einem sehr klar konturierten Bereich stattfinden, wo man auch sicher sein kann, dass unsere Grundrechte gewahrt werden. Werden wir jetzt überall, wo wir gehen und stehen, erkannt und können nachverfolgt werden? Um das zu verhindern, bauen wir Druck auf und versuchen dafür zu sorgen, dass unsere Forderungen am Ende im Gesetz stehen.

Ist das ein Kampf von David gegen Goliath?

Spielkamp: Es ist keine Übertreibung und keine Heroisierung der eigenen Situation, wenn ich das bejahe. Andererseits bekommen wir auch eine gute Aufmerksamkeit in der Politik.

Sowohl im europäischen Parlament als auch in der deutschen Bundesregierung gibt es etliche Menschen, die sich dafür interessieren, was denn so eine zivilgesellschaftliche Organisation wie wir oder auch andere - mit denen wir Koalitionen schließen, um wirksamer zu werden – von den Gesetzen halten und welche Positionen wir vertreten.

Wir glauben, dass wir eine Organisation sind, die einen Anspruch darauf hat, gehört zu werden. Von unserer Arbeit kann sich jeder ein Bild machen. Wir sind gemeinwohlorientiert und stark gewachsen. Aber dieses Lobbying in der Politik, das machen bei uns fünf oder sechs Leute. Wenn man sich jetzt anschaut, wie viele Hunderte von Lobbyistinnen und Lobbyisten die Unternehmen haben, dann ist das schon ein Kampf von David gegen Goliath.

Haben Sie das Vertrauen in die Politik, dass sich die besten Argument am Ende durchsetzen? Und dass ethische Argumente zählen?

Spielkamp: Ja, das hoffen wir. An manchen Stellen setzt man sich durch, an anderen Stellen eben nicht. Manchmal ist es auch nicht nachvollziehbar, warum etwas so oder so entschieden wird. Wir haben gerade eine riesige Auseinandersetzung darüber, wie diese neuen "Foundation models" reguliert werden sollen, also ChatGPT und vergleichbare Systeme. Wie kann man dafür sorgen, dass die Anwenderinnen und Anwender besser wissen, wie die Systeme funktionieren? Wie kann man Diskriminierungsrisiken vermeiden? Wie kann man dafür sorgen, dass ein Qualitätsmanagement gemacht wird?

Und da haben dann in einer für uns tatsächlich ziemlich überraschenden Bestimmtheit auf einmal sowohl Robert Habeck als auch Volker Wissing vehement dagegen argumentiert, dass da überhaupt irgendeine Art von Regulierung stattfinden darf, weil das ja den Wirtschaftsstandort Deutschland beschädigt. Ich meine, der Hintergrund dafür ist ganz klar: Es gibt ein sehr erfolgreiches KI-Unternehmen in Deutschland und der Wirtschaftsminister hat sich gerade bemüht, dafür ein Investitions-Konsortium zusammenzubekommen, um dieses Unternehmen zu stützen. Und dann weiß man natürlich, woher so eine Aussage kommt. Und das sind natürlich Zugänge, die wir nicht haben. Ich sitze nicht ständig mit dem Wirtschaftsminister beim Kaffee und bespreche mit dem meine Sorgen und Nöte. Aber der Unternehmens-Chef tut das halt.

Und gefährdet es den Wirtschaftsstandort, wenn man zu viele Verbote ausspricht?

Spielkamp: Auf jeden Fall, wir brauchen die Erzeugung von Produkten. Wir leben in einem System der Marktwirtschaft. Und wir sehen, dass in wohlhabenden Gesellschaften auch bestimmte Freiheiten eher zur Geltung gebracht werden können. Aber die Behauptung, dass Regulierung innovationsfeindlich ist, ist Quatsch.

Das sehen wir an der deutschen Automobilindustrie. Wo werden denn die Elektroautos gebaut? In Kalifornien und China. Da würden die Einen nun sagen, das liegt daran, dass da ganz wenig reguliert wurde. Die haben aber krasse Regulierungen für Verbrennermotoren. Das, was die deutsche Regierung seit zwanzig Jahren verhindert hat, ist politisch eine Katastrophe, die jetzt dazu geführt hat, dass die deutsche Automobilindustrie nicht in der Lage ist, auf diese Herausforderung zu reagieren.

Wenn man das überträgt auf das Feld KI, dann würde ich sagen: Eine kluge Regulierung kann dazu beitragen, dass eine zukunftsfähige Industrie entsteht. Aber das machen wir überhaupt nicht. Stattdessen lassen wir den Unternehmen freien Lauf.

Zurück zum EU AI Act: Wie ist der Stand der Dinge?

Spielkamp: Es ist sehr schwierig, den AI Act zusammenzufassen, weil dieses Gesetz einfach riesig ist. Es wurde gesagt, wir brauchen für diese neue Entwicklung der Künstlichen Intelligenz eine horizontale Regulierung. Was ist mit horizontal gemeint? Die EU hat gesagt, wir überlegen, wie KI eingesetzt werden kann, also eher wie ein Produkt. Dann wird ein Regulierungsinstrument eingesetzt, das für die Sicherheit von Produkten sorgen soll, das aber gleichzeitig Menschenrechte schützen soll. Und das ist eine schwierige Kombination.

Der Versuch, unsere Rechte zu schützen, soll gelingen, indem man den Produkten Qualitätsstandards mitgibt, die überprüft werden sollen. Die Kontrolle ist abgestuft – je nachdem, von welchem Risiko man von vornherein ausgeht. Dabei gibt es vier Risikoklassen: Es gibt zum Beispiel Anwendungen, die verboten sein sollten, etwa sowas wie das Social Scoring, was in China praktiziert wird, wo also versucht wird, alle Informationen über Menschen zusammenzuziehen, und dann ein so eine Art Vertrauenswürdigkeitsskala zu erstellen. Da wurde gesagt: Das darf es bei uns auf keinen Fall geben. Das ist also ein Risiko, das wir ausschließen wollen.

Zu Hochrisiko-Systemen gehört, dass KI eingesetzt wird für die Personalauswahl oder am Arbeitsplatz, um etwa Entscheidungen darüber zu treffen, ob Mitarbeiter*innen befördert werden sollen oder nicht. Solche Anwendungen müssen besonderen Anforderungen genügen und werden mit komplexen Verfahren überprüft. Diese müssen in den Unternehmen etabliert werden, basieren in den allermeisten Fällen auf einer Selbstkontrolle.

Wie das im europäischen Gesetzgebungsprozess so üblich ist, gibt es dann eine sehr lange und sehr harte Auseinandersetzung über solche Themen. Das Parlament findet eine Position zu einem Vorschlag der Kommission, auf der anderen Seite beraten die Mitgliedsstaaten. Und dann geht man in die Trilog-Verhandlungen, wo Kommission, Parlament und Mitgliedsstaaten am Tisch sitzen und versuchen, Einigungen zu finden. Das kann auch schon mal eskalieren, und dann wird 24 Stunden am Stück verhandelt.

Wenn die wichtigsten Verhandlungserfolge aufgeschrieben wurden, geht es in die sogenannten technischen Meetings, wo Expertinnen und Experten den konkreten Gesetzestext ausarbeiten. Da kommt es wirklich auf den Wortlaut an – und da können Änderungen noch sehr weitreichend sein.

Der AI Act wird weltweit sehr interessiert beobachtet – wie relevant wird er sein?

Spielkamp: Relevant ist der schon, denn alle, die in der EU Geschäfte machen wollen, werden sich an das Gesetz halten müssen, und das ist ein Markt mit einer halben Milliarde Menschen, die im weltweiten Vergleich sehr wohlhabend sind. Das spielt eine enorme Rolle, und deswegen betreiben die amerikanischen Unternehmen gerade so heftig Lobbying.

Sie wollen künftig Algorithmen auf systemische Risiken prüfen – und da geht es um Demokratie, Menschenrechte, Rechtsstaatlichkeit. Wie soll das aussehen?

Spielkamp: Da spielt vor allem der "Digital Services Act" eine Rolle, der auf Deutsch "Digitale- Dienste-Gesetz" genannt wird. Er bestimmt, dass die großen Plattformen besser Auskunft darüber geben müssen, welche Risiken von ihnen ausgehen. Hier geht es darum, eine Balance zu finden zwischen dem Austausch von Meinungen und der Frage nach Desinformation und Hassrede. Die Presse- und Meinungsfreiheit wird sehr hoch gewichtet, was ich auch absolut richtig finde. Auf der anderen Seite steht eben die Frage, wie ich in meiner Autonomie beschränkt werde oder in meinen Rechten, wenn ein wütender Mob auf mich einschlägt in Facebook-Gruppen. Und hier hat die EU-Kommission überlegt, dass es Risiken für unsere demokratische Gesellschaft gibt – zum Beispiel die Integrität von Wahlen oder von Menschenrechten –, die geprüft werden müssen.

Und wie soll das gehen?

Spielkamp: Die Unternehmen sollen selber selbst eine Risikoprüfung machen und dann Vorschläge liefern, wie man diese Risiken verringern könnte. Das ist sehr kompliziert, zumal generative KI in immer mehr Produkten verwendet wird.

Bei der Suchmaschine Bing gibt es einen "Kopiloten", einen Chatbot, den wir in einer Studie getestet haben. Wir haben den Chatbot vor den Wahlen in Hessen und Bayern befragt. Da kam nur Unsinn heraus, die Prognosen wurden falsch dargestellt und fasche Kandidaten genannt. Wir kamen zum Ergebnis, dass etwa 30 Prozent der Anfragen zu falschen oder irreführenden Antworten geführt haben. Und da fragen wir: Wird jemand eine andere Partei wählen, weil er eine falsche Antwort erhält? Wohl kaum. Aber es ist natürlich ein systematisches Risiko für die Integrität von Wahlen, wenn ein Drittel der Informationen, die die KI ausspuckt, falsch ist.

Wir haben die EU-Kommission dann darüber informiert, und diese geht jetzt den Verfahrensweg. Die müssen jetzt Microsoft damit konfrontieren, und wenn sie das Unternehmen dann wirklich zur Verantwortung ziehen wollen, muss es einen guten juristischen Fall geben. Da müssen wir also schauen, wie es weitergeht.

Welche Haftung sollte denn ein Anbieter von solchen Ki Systemen übernehmen, wenn irgendwas schief läuft?

Spielkamp: Wenn ich jetzt völlig marktliberal wäre, dann würde ich sagen, das wird sich dann schon zeigen. Die Leute werden die Produkte einfach nicht benutzen. Das ist mir natürlich viel zu wenig.

Denn wenn Schäden festzustellen sind, muss es auch Strafzahlungen geben und Entschädigungen. Das kann man dadurch befördern, dass wir kollektive Klagerechte einführen, damit nicht nur eine Person sich wehrt, sondern sich eine Verbraucherberatung für mehrere Menschen einsetzen kann.

Wir müssen uns alle informieren, über das, was da passiert. Da müssen die Medien ihren Beitrag leisten. Es muss Aufklärung stattfinden. Auch die Schule spielt da eine große Rolle. Wir müssen die Medienkompetenz stärken, damit die Menschen gut mit diesen Systemen umgehen können.