Künstliche Intelligenz – Segen oder Fluch?

Prof. Dr. phil. Dr. h. c. Julian Nida-Rümelin im Interview mit Matthias Machnig.

Matthias Machnig: Wir wollen heute über ein Thema diskutieren, das die Welt bewegt. Man könnte sogar sagen, ein Gespenst geht um in der Welt, in Europa, in Deutschland, in den USA, und das Gespenst heißt KI. Es werden ja im Moment intensiv Chancen und Risiken diskutiert. Wie sieht der Ethikrat die Chancen und Risiken von KI?

Prof. Dr. Julian Nida-Rümelin: Die Stellungnahme ist 280 Seiten dick. Es geht nicht primär um die empirischen Einschätzungen, sondern um normative Empfehlungen. Und die laufen im Kern darauf hinaus, dass wir digitale Technologien, wie andere Technologien auch, gezielt zur Erweiterung menschlicher Gestaltungskraft, menschlicher Handlungsfähigkeit, Autorschaft nutzen sollten und nicht in eine Art passive, rezeptive Haltung verfallen, als sei die technologische Dynamik ein Selbstläufer, den wir nur betrachten können, entweder verängstigt oder begeistert. Wir gestalten die rechtlichen Bedingungen, auch die ethischen, kulturellen, sozialen Bedingungen. Die Gesellschaft muss mitgenommen werden. Das ist die zentrale Botschaft dieser Stellungnahme, die ich sehr zur Lektüre empfehle. Sie befragen mich allerdings hier nicht als Stellvertretenden Vorsitzenden des Deutschen Ethikrats

In der Tat, uns geht es hier vor allem um ökonomische und politische Fragen. Es findet ja gegenwärtig geradezu ein Wettbewerb in der Welt statt: In den USA sind zwischen 2013 und 2022 249 Milliarden US-Dollar in KI investiert worden, in China 95 und in Deutschland sieben Milliarden. Zwei der ökonomisch stärksten Länder setzen voll auf KI. Muss Europa auch Anstrengungen unternehmen, diese Technologie eigenständig zu entwickeln?

Lassen wir China im Augenblick mal außen vor und schauen auf die USA. Wir haben in Europa eine vergleichbar hohe Kompetenz im Bereich KI, Kompetenz in Software, bei der Entwicklung und im Bereich Informatik, wie die USA. Dazu gibt es auch Untersuchungen. Es gibt allerdings einen Brain Drain aus Europa weg in die USA, weil wir zum Teil die Leute nicht halten können. Und wenn man auf die Höhe der Investitionen schaut, muss man immer unterscheiden, um welche Investitionen es geht und von wem sie kommen. Kommen die Investitionen z.B. von den Big Five des Silicon Valley oder kommen sie vom US-amerikanischen Staat? Ganz überwiegend kommen sie nicht vom Staat. Die staatlichen Investitionen in KI, auch in KI-Professuren, sind massiv in Europa und auch in Deutschland – wir haben die Fraunhofer-Institute, die Helmholtz-Institute, zahlreiche DFG-Forschungsprojekte, hunderte von neuen KI-Professuren, in Bayern das BIDT, in dessen Direktorium ich bin etc. Eher haben wir ein Transfer-Problem, dass Produkte bei uns mangels Risikokapitals und mangels Bereitschaft der Wirtschaft, sich auf neues Terrain zu begeben, oft nicht umgesetzt werden. Berühmt ist das Beispiel MP3, ursprünglich ein Fraunhofer-Produkt, das wir hier entwickelt haben.

Ich bin etwas skeptisch gegenüber den Forderungen, der Staat solle nun mit Milliardenbeträgen in die KI-Entwicklung eintreten. Wir brauchen günstige, innovationsfreundliche Bedingungen. Gleichzeitig bin ich fest davon überzeugt, dass die Haltung, die sich in den USA durchgesetzt hat, nämlich: „Wir lassen das mal einfach so laufen, stellen die Social-Media-Plattformen frei von jeder redaktionellen Verantwortung und schauen mal, was das für das informationelle Selbstbestimmungsrecht bedeutet“ korrigiert werden muss.

Du weist zurecht darauf hin: Deutschland ist gut im Bereich der Grundlagenforschung und auch Europa hat einiges vorzuweisen. Wenn es in die Anwendungsorientierung geht, sind wir schlecht und andere Länder uns weit voraus. Es geht auch nicht nur um öffentliche Mittel, sondern auch um Rahmenbedingungen.

 Muss Europa in dieser Schlüsseltechnologie eine eigenständige KI-Wissenschafts- und Ökonomie-Szene aufbauen? An der KI hängt ja zum Beispiel auch die Wettbewerbsfähigkeit industrieller Produktionsprozesse. Brauchen wir eigenständige Kompetenz und eine eigenständige Anstrengung, um nicht von chinesischen oder amerikanischen Unternehmen abhängig zu werden, wie das ja in vielen Bereichen heute der Fall ist?

Ich bin Realist im philosophischen und im politischen Sinne und zum Realismus gehört, dass wir uns in Europa in der Technologieentwicklung in den letzten Jahrzehnten de facto haben abhängen lassen. Die Big Five aus dem Silicon Valley haben eine massive Dominanz und haben gewaltige Summen an Kapital zur Verfügung – ohne Google ist keine Smart-City- Entwicklung mehr möglich. Die technologische Dynamik kommt nicht so sehr aus diesen Konzernen selbst, sondern sie kommt aus kleinen Initiativen, kleinen Startups, die dann von diesen Konzernen aufgekauft werden. Und sie kommen zum Teil aus der Wissenschaft. Diese Giganten sind selber nicht besonders innovativ, aber sie sind indirekt innovativ, dadurch dass sie das Kapital haben, um sich diese Innovationen zu kaufen. Und sie sind nur sehr gering reglementiert.

Da hinterherzulaufen und das nachmachen zu wollen und ein europäisches Silicon Valley schaffen zu wollen, halte ich für unrealistisch. Das wird nicht passieren. Sehr viel vernünftiger ist, gesetzliche Rahmenbedingungen zu schaffen, die eine Entwicklung von KI bzw. von digitaler Transformation insgesamt ermöglichen, die sowohl die ökonomische Dynamik voranbringen, als auch bestimmten Standards des humanen Umgangs mit diesen Technologien gerecht wird – unter anderem der Schutz des informationellen Selbstbestimmungsrechts. Wir verlieren dieses Recht weitgehend durch die Vereinbarungen, die wir treffen, wenn wir Plattformen nutzen. Das kann so nicht bleiben.

Jüngstes Beispiel: Ein italienisches Gericht hat ChatGPT verboten. Das hat einige aufgeschreckt. Aber es passte gut zu einem Artikel, den ich zu Beginn des ChatGPT-Hypes publiziert habe. Was macht denn ChatGPT? Die haben ein exzellentes Sprachmodell, das auf probabilistischen Berechnungen beruht und das wirklich beeindruckend funktioniert. Und sie nutzen Texte , die  im Netz verfügbar sind, ergänzt durch Statistiken usw. Wir wissen aber nicht, welche Texte eigentlich in die Antworten eingeflossen sind, die wir bekommen, wenn wir Fragen stellen. Das ist de facto eine gigantische Plagiats-Maschine ohne Quellenangaben. Das ist der Hintergrund, warum das italienische Gericht gesagt hat, so könne es nicht bleiben, da es eine Enteignung der Urheber sei.

Und das in eine vernünftige Dynamik hineinzubringen, bei der die Technologien, bei denen die Silicon-Valley-Konzerne vorne liegen, dann auch vernünftig genutzt werden, sollte möglich sein. Die werden sich auch an einen geänderten europäischen Rechtsrahmen anpassen; das haben sie auch in der Vergangenheit getan. Sogar in China haben sich die Giganten angepasst.

Jetzt gibt es Forderungen, selbst aus der KI-Gemeinde, ein Moratorium von sechs Monaten zu verhängen, weil man die Dynamik, in welche Richtung sich KI in den nächsten Monaten und Jahren entwickeln wird, nicht voraussehen kann. Ist ein solches Moratorium sinnvoll, notwendig und überhaupt realistisch?

Ich halte das nicht für sinnvoll. Sinnvoll ist, dass sich die verschiedenen Gesetzgebungsinstanzen, dazu gehört insbesondere die Europäische Union, aber auch die einzelnen Nationalstaaten in Europa und anderswo, ernste Gedanken machen darüber, wie ChatGPT gesetzlich gerahmt werden kann. Also kein Moratorium, sondern eine Rahmung, die sicherstellt, dass wir da nicht Entwicklungen bekommen, wie zum Beispiel die Enteignung von Urhebern, von Kreativität usw. Um mit dieser Herausforderung gut umgehen zu können, muss auch das Bildungssystem massiv umgestellt werden.

Ich will es mal ein bisschen polemisch sagen. Den Begriff „digitaler Humanismus“ habe ich in die Welt gesetzt und er hat unterdessen eine bemerkenswerte Karriere gemacht. Die EU-Kommission hat jetzt eine Forschungsausschreibung zu dem Thema gemacht. Die Hauptbotschaft dabei ist: Bei der sogenannten KI (als Eigenname mit großem „K“, denn es gibt keine künstliche Intelligenz mit kleinem „k“?„K“) gibt es keine Akteure. Da sind keine Personen. Es berät uns niemand. KI verfügt über keine Semantik, um es etwas philosophischer zu sagen, auch nicht ChatGPT. . Nicht einmal die Bedeutung der simpelsten Begriffe hat es in irgendeiner Weise verstanden. Ein berühmt gewordenes Beispiel: Wenn ChatGPT sagt, dass eine Tonne Stahl schwerer ist als eine Tonne Wolle, dann ist das nicht etwas Harmloses am Rande, sondern es zeigt, dass es keinerlei Verständnis dafür hat, was Gewichtsmaße sind. Sonst würde es so nicht antworten. Ein Kind schafft so etwas spielerisch. ChatGPT schafft so etwas nicht.

Wenn ich ChatGPT nach meiner eigenen Biografie frage, fängt es auf einmal an, zu phantasieren und sagt, ich hätte 2007 einen Sigmund Freud Preis gewonnen und mein Großvater sei Kulturphilosoph gewesen – völliger Quatsch. Da verselbstständigen sich diese Sprachmodelle nach Wahrscheinlichkeits-Operationen und fangen an, frei zu assoziieren, wobei „assoziieren“ hier nur metaphorisch gemeint ist, assoziieren können nur Menschen.

Zurück zu der Frage. Diejenigen, die wie  Yuval Harari oder Elon Musk zu denen gehören, die sich die disruptive Innovation der Gesellschaft, der Kultur, der Wirtschaft, der Zukunft durch die Künstliche Intelligenz herbeigesehnt haben, sind dieselben, die jetzt vor ihren eigenen Visionen Angst bekommen, z. B. dass sich KI mit ihren Intentionen gegen uns richtet. Das ist alles großer Unfug.

Gibt es nicht einen Punkt, den man erstnehmen muss? Sam Altman als auch Harari haben auf die Tatsache hingewiesen, dass KI das Potential hat, Wahlen zu manipulieren. Harari geht sogar weiter. Er sagt: Wenn ich nicht mehr unterscheiden kann, ob ich mit jemandem spreche, der ein Mensch ist oder eine KI, dann ist das das Ende der Demokratie. Siehst du das auch so oder sind das Horror-Szenarien?

Bei Harari bin ich etwas gereizt. In seinem Bestseller Homo Deus erzählt er uns genau das Gegenteil, nämlich, dass der Mensch ein schlecht funktionierendes Software-System sei, das irgendwann vielleicht auch mal überflüssig werden könnte. Dass derselbe Autor sich jetzt auf einmal humanistisches Gedankengut zu eigen macht, freut mich natürlich, aber es ist hochgradig konfus, was er da vorbringt.

Ich will das ganz präzise sagen. Alan Turing, der bedeutende Mathematiker und KI-Pionier, hat 1950 einen Aufsatz in der philosophischen Zeitschrift Mind veröffentlicht. Auf diesen Aufsatz geht der sogenannte Turing-Test zurück. Da hat er genau das gesagt, 1950 wohlgemerkt: Wenn ein Computer (heute würde man Chatbot sagen) Antworten gibt, die Menschen geben würden und diese Antworten nicht mehr unterscheidbar sind von menschlichen Antworten?, dann sollten wir diesem Computer dieselben Eigenschaften zuschreiben wie Menschen.

Das ist ein folgenschwerer Irrtum, denn wenn wir das tun, dann sind die Chatbots Personen, jedenfalls die hoch entwickelten, die wir jetzt haben. Und ChatGPT erweckt ebenfalls den Eindruck, auch wenn es das dann selber dementiert. Wenn man CHatGPT fragt, ob es ein Gewissen oder Gefühl habe, dann wird das verneint: „Nein, ich habe keine Gefühle.“ Das ist paradox. Wenn man von „ich“ spricht, setzt man ja voraus, dass man so etwas hat wie Gefühle, weil ein Ich-Bewusstsein ohne Gefühle nicht möglich ist.

Diesen Fehler hat jedoch nicht erst Harari gemacht, sondern schon Turing, der das Denken bis heute stark prägt mit diesem Vorstoß. Und deswegen bin ich der Auffassung, dass immer klar sein muss, ob man es mit einer Person oder einem Chatbot zu tun hat. Auch bei dem Friseur-Termin, den ich telefonisch vereinbaren möchte.

Es gibt jetzt nur ein Problem. Manche weisen darauf hin, dass der Einsatz von KI, auch für nicht gewollte Zwecke, leichter ist, als einen Regulierungsrahmen zu entwickeln, der ermöglicht, dass immer erkennbar ist, ob ich mit einer KI oder einem Menschen spreche. Ist das nicht ein Ungleichgewicht, das nur schwer zu lösen ist?

Das glaube ich nicht. Es sollte eine Auflage an die Entwickler sein. Ich leite zusammen mit einem Informatiker, Alexander Pretschner von der TUM, das Projekt Ethical Deliberation for Agile Processes, das am Bayerischen Forschungsinstitut für Digitale Transformation (bidt) läuft. Da geht es darum, in der Software-Entwicklung selbst genau diese Frage zu beantworten: Wie können wir die Menschen, die in der Software-Entwicklung sind, in die Lage versetzen, diese ethischen Aspekte mit zu berücksichtigen. Das ist möglich. Und das läuft auch sehr konform mit agile management. Das heißt, die Mitarbeiterinnen und Mitarbeiter sind nicht einfach Befehlsempfänger, sondern gestalten mit und übernehmen Verantwortung. Die Kompetenz in den Firmen ist ausreichend, um solche Auflagen zu erfüllen.

Es gibt nicht nur sprachliche Kommunikation, sondern auch bildliche Kommunikation. Es gibt technische Systeme, wie z.B. Text-Bild-Generatoren, die erlauben, dass wir einen verhafteten Donald Trump sehen. Damit entsteht so etwas wie eine gefakte virtuelle Welt. Wie können wir uns vor solchen Dingen schützen und welche Mechanismen kann es geben, um solche Entwicklungen zu kanalisieren?

Das ist sehr, sehr schwierig. Die Herausforderung ist groß. Rechtlich ist das nicht die primäre Problematik, weil das unter Umständen eine Straftat ist. Falsche Behauptungen über Personen aufzustellen, kann eine Straftat sein. Das lässt sich grundsätzlich regeln.

Schwieriger wird es, wenn solche Pseudoinformationen visueller oder sprachlicher Art anonym ins Netz gestellt werden. Man denke an den Fall Cambridge Analytica. In der Präsidentschaftskampagne Trump gegen Clinton hatte Facebook die Daten von 50 Millionen Nutzern zur Verfügung gestellt, die dann für Kampagnen genutzt wurden. Ungefähr ein Drittel aller Äußerungen pro Trump im Netz waren generiert durch Chatbots unter Einsatz auch von KI. Ein Fünftel immer noch bei Hillary Clinton, wie Untersuchungen gezeigt haben. Und das ist erst spät rausgekommen.

Das Verbot ist das eine, die Durchsetzung des Verbots ist etwas ganz anderes. Da ich kein Jurist bin, kann ich das nicht beurteilen.

Kommen wir zur ökonomischen Dimension. Auf der Hannover Messe in diesem Jahr war KI das große Thema im Kontext industrieller Anwendungen. Das Argument lautet: In der Produktion entstehen enorme Datenvolumina, die gar nicht handhabbar sind, wenn ich nicht auf KI zurückgreife, da sie mir die Analyse von Daten und das Erkennen von Mustern ermöglicht. Und darüber kann ich zur Optimierung von Produktionsprozessen kommen.

 Folgt daraus, dass eine weitere Digitalisierung ohne den Einsatz von KI gar nicht sinnvoll ist und an Grenzen stoßen wird? Ist KI-Nutzung in bestimmten Anwendungsfeldern deshalb alternativlos?

Ja.  Ich finde, wir brauchen einen Paradigmenwechsel. Der Datenschutz ist in Deutschland hochgradig dysfunktional geworden. Er schützt uns nicht vor den Big Five, den großen Datenkraken, die allen Nutzerinnen und Nutzern, die auf Plattformen sind, die Daten abgreifen und damit Marketing-Kampagnen und vielleicht auch anderes machen – wie man am Beispiel Cambridge Analytica gesehen hat, z.B. auch politische Strategien unterstützen.

Auf der anderen Seite verhindert es nach dem Paradigma der Datensparsamkeit, also möglichst wenig Daten zu generieren, eine vernünftige Nutzung für medizinische Forschung, für Forschung generell, für Smart-City-Entwicklung, für die Dynamik der Zivilgesellschaft usw. Jeder Vereinsvorsitzende weiß, wovon ich hier rede. Wenn zwei Sportvereine fusionieren, ist es nicht möglich, die Daten zusammenzulegen und die Mitglieder dieses fusionierten Sportvereins einzuladen.

Es war in der Corona-Pandemie nicht möglich, die Leute zu Impfterminen einzuladen, weil die überforderten staatlichen Stellen die Adresslisten nicht an private Unternehmen weitergeben konnten. Wir hatten keine wirklich funktionierende Corona App. Während Facebook und Google Maps unsere Ortungsdaten haben. Das ist hochgradig asymmetrisch. Wir geben unsere Daten ab, sind aber sehr skeptisch gegenüber Gesundheitsämtern, gegenüber Behörden, gegenüber der medizinischen Forschung. Die Daten können die Kliniken nicht verlassen usw.

Ich bin der Meinung, wir brauchen Daten-Opulenz im Gemeinwohlinteresse. Dazu gehört Forschung, dazu gehört Smart-City-Entwicklung, dazu gehört die Dynamik in der Zivilgesellschaft. Wir müssen Rahmenbedingungen schaffen, die es erlauben, gewaltige Datenmengen zu verwenden, unter anderem um Korrelationen herzustellen, damit die Bürgerinnen und Bürger eine Vorstellung davon haben, in welcher Gesellschaft sie eigentlich leben und was geschehen muss, damit diese Gesellschaft sich gut entwickelt. Dazu brauchen wir viele Daten. Und wir brauchen den massiven Einsatz Künstlicher Intelligenz, um in diesen riesigen Datenvolumen Strukturen aufzudecken und auch neue Theorien und Hypothesen zu ermöglichen.

Europa hat ja immer den Anschein erweckt, als würde es die Standards setzen. Die Europäische Datenschutzgrundverordnung war immer auch so gedacht, dass Europa den Standard für die Welt setzt. Ist es ein realistisches Szenario, dass Europa die Standards setzt? Und haben wir nicht das Problem – auch weil Du auf die Big Five hingewiesen hast -, dass es eine Ungleichzeitigkeit gibt zwischen technologischer Entwicklung und rechtlichen Rahmenbedingungen?

2016 hat mich die Virginia State University eingeladen, um dort unter anderem über digitale Transformation zu sprechen und ich habe mich da sehr kritisch gegenüber dem US-amerikanischen Laissez-Faire im Umgang mit Daten geäußert. Das hat auch viel Zustimmung gefunden und ich habe mich gefreut, dass sich die Europäische Union dann 2016 mit der Datenschutzgrundverordnung endlich durchgerungen hat, einen Rechtsrahmen zu schaffen. Im Großen und Ganzen halte ich sie für richtig. Über die Umsetzung im Detail mache ich mir jedoch Sorgen. Und da läuft es gerade in Deutschland nicht gut.

Wenn Europa es ernst meint mit dem Human Centered Approach und mit Transparent AI oder European Digital Sovereignty – und ich zitiere aus Dokumenten der Europäischen Kommission –, dann fordere ich ein, dass das konkreter wird. Was soll das denn genau heißen? Ich glaube nicht, dass sich Europa einen eigenen Raum der digitalen Entwicklung leisten kann. Wir sind hochgradig vernetzt insbesondere mit anderen westlichen Ökonomien, auch technologisch eng vernetzt. Wir sind auch in einem spannungsreichen Verhältnis zu China, dem zweitgrößten Player in diesem Bereich, der einen eigenen Weg einer staatlich kontrollierten digitalen Transformation geht mit massiven Kontrollmöglichkeiten der Bürgerinnen und Bürger, was aus demokratischer Sicht absolut inakzeptabel ist.

Ich fände es erfreulich, wenn Europa einen Weg geht zwischen der reinen Marktfixierung der USA und der reinen Staatsfixierung Chinas, indem es die Bürgerschaft, die wissenschaftliche Kompetenz, die politische Gestaltungskraft miteinbezieht.

Kamala Harris, die Vizepräsidentin der USA, macht sich große Sorgen und redet zum Beispiel von der Notwendigkeit der Zerschlagung der Big Tec Firmen. Es könnte sein, dass das Schule macht, vielleicht nicht in China, aber in Amerika.

Dieser Tage habe ich einen Artikel gelesen, in dem das Bild evoziert wurde, das Verhältnis zwischen der Entwicklung der Technologie im Bereich KI und der Entwicklung der politischen Rahmenbedingungen sei etwa wie der Kampf zwischen einer Vespa (Politik) und Überschall-Jets (Technologie).

 Gibt es nicht eine Ungleichzeitigkeit: Enorme Dynamik im Bereich der technologischen Entwicklung und auf der anderen Seite ein schwerfälliger Prozess bei den Rahmenbedingungen – im Übrigen auch mit Fehlentwicklungen, da häufig erst in Krisenzeiten reagiert und dann zum Teil überreguliert wird? Das ist der Widerspruch, in dem wir zum Teil leben. Brauchen wir schnelle und gezielte Rahmenbedingungen für das Thema Sicherheit, aber auch für die Entwicklung der Potenziale?

Die Politik sollte schneller werden, aber diejenigen, die sich darüber mokieren, dass die Politik wie eine Vespa gegenüber einem Überschallflugzeug der technologischen Entwicklung unterwegs ist, sind wahrscheinlich dieselben, die einen Schreck bekämen, wenn die Politik rasch reagierte und mit Regulierungen die technologische Entwicklung zu stark beeinflusste.

Ich halte es für richtig, dass sich die Politik erst ein Bild machen muss, wie sich ChatGPT beispielsweise entwickelt, bevor sie reagiert. Und die Vorstellung, die Politik habe da keine Möglichkeiten, ist definitiv falsch.

Ich war selber beteiligt an der Debatte und der Regulierung von Gentechnik in den 90er Jahren. Die Gentechnik hatte eine immense Dynamik, ähnlich wie jetzt KI, und die Wissenschaftler bekamen selbst Sorgen, schlugen 1984 ein Moratorium vor – ganz analog zu der Situation heute. Die Politik hat dann erst in den 1990er Jahren reagiert und hat zum Teil überreagiert und die biotechnologischen Entwicklungen in Deutschland eher zu stark restringiert, mit großen Ängsten, dass wir es demnächst mit Menschenklonen zu tun haben würden.

Ich habe immer für einen Weg der Mäßigung plädiert und davon abgeraten, es zu euphorisch zu sehen, aber gleichzeitig auch die Ängste und hysterischen Übertreibungen kritisiert und mich dafür ausgesprochen, das politisch, gesellschaftlich und ethisch human zu gestalten.

Da stecken wir mittendrin. Und die Politik hat massive Möglichkeiten einzugreifen, im Guten wie im Schlechten.

Herzlichen Dank für das spannende Gespräch.