Systemrisiko AGI: Die Debatte um Kontrolle und regulatorische Leitplanken

AGI steht für Artificial General Intelligence (künstliche allgemeine Intelligenz). Dabei handelt es sich um die Intelligenz eines hypothetischen Computerprogramms, das laut Wikipedia dazu fähig ist, „jede intellektuelle Aufgabe zu verstehen oder zu lernen, die ein Mensch ausführen kann. Eine alternative Definition bezeichnet AGI als hochautonomes KI-System, welches bei der Lösung der meisten wirtschaftlich bedeutenden intellektuellen Aufgaben menschliche Fähigkeiten übertrifft.“

Expert:innen fordern deswegen verbindliche „rote Linien“. Diese Diskussion bzw. Forschung ist allerdings alles andere als neu, sie dauern schon seit ca. 20 Jahren an, die aktuelle Entwicklungssituation schiebt das Thema aber immer weiter in den Blickpunkt. Parallelen können zur strengen Zulassungspraxis in der Pharmaindustrie gezogen werden, um existenzielle Risiken durch technologischen Kontrollverlust zu minimieren.

Denn: In der Fachwelt herrscht derzeit eine Diskrepanz zwischen dem Investitionstempo und der Entwicklung von Sicherheitsgarantien. Stuart Russell, Professor an der UC Berkeley und Mitautor des Standardwerks der KI-Lehre, berichtet von internen Einschätzungen führender Branchenvertreter, nach denen erst ein „Ereignis von der Größenordnung eines Tschernobyl-Unglücks“ notwendig sein könnte, um Regierungen zu einem entschlossenen Handeln zu bewegen. Diese nüchterne Analyse verdeutlicht: Die technologische Kapazität droht die menschliche Steuerungsfähigkeit zu überholen. (Kürzlich hat er vor dem EU Parlament gesprochen: Nachzusehen und nachzuhören hier (39:09))

Die Analogie zur Pharmaindustrie: Sicherheit als Marktzugangsvoraussetzung

In der Debatte um die AGI-Regulierung gewinnt ein radikaler Paradigmenwechsel zunehmend an Bedeutung. U.a. Russell fordert, die bisherige „Move fast and break things“-Kultur des Silicon Valley durch ein strenges Zulassungsverfahren zu ersetzen, das sich am Vorbild der Pharmaindustrie orientiert. Der Kern der Forderung: Die Beweislast für die Sicherheit muss vor der Veröffentlichung beim Entwickler liegen.

Die aktuelle KI-Entwicklung folgt weitgehend dem klassischen Software-Modell: Produkte werden unreif veröffentlicht und durch Nutzerfeedback sowie nachträgliche Updates stabilisiert. Für Russell und Thomas Larsen vom AI Futures Project ist dieser Ansatz bei AGI-Systemen höchstriskant. Sobald Systeme eine Ebene erreichen, auf der sie autonom handeln und ihre eigenen Ziele verfolgen, könnten Fehlentscheidungen irreversibel sein.

Russell argumentiert, dass wir bei anderen Hochrisikotechnologien, von Brücken über Flugzeuge bis hin zu Medikamenten, eine staatliche Aufsicht als selbstverständlich voraussetzen. Besonders die Pharmaindustrie dient hier als analytisches Vorbild:

• Ex-ante statt Ex-post: Ein Pharmaunternehmen muss in klinischen Studien die Unbedenklichkeit nachweisen, bevor ein Wirkstoff zugelassen wird. In der KI-Branche ist es derzeit umgekehrt: Die Risiken werden oft erst nach der Skalierung im öffentlichen Raum sichtbar.

• Das „Black Box“-Problem: Sowohl bei komplexen Medikamenten als auch bei neuronalen Netzen verstehen wir oft nicht jedes Detail der internen Wirkweise. Die Medizin reagiert darauf mit empirischen Sicherheitsgarantien; die KI-Industrie fordert stattdessen oft Ausnahmen von der Regulierung, um die Innovation nicht zu bremsen.

• Unzulässigkeit des „Unmöglichkeits-Arguments“: Die Branche argumentiert häufig, dass strengere Sicherheitsauflagen technologisch derzeit nicht erfüllbar seien. Russell entlarvt dies als logischen Fehlschluss: In der Pharmazie würde das Eingeständnis, ein Medikament sei „zu komplex für einen Sicherheitsbeweis“, niemals zur Zulassung führen, sondern zum Verbot.

‍

Technologische „Rote Linien“ als neue klinische Phasen

Die von Russell vorgeschlagenen „verhaltensbezogenen roten Linien“ können als Äquivalent zu den Phasen klinischer Prüfungen verstanden werden. Ein KI-Modell müsste demnach nachweisen, dass es bestimmte „toxische“ Verhaltensweisen unter keinen Umständen zeigt:

• Keine autonome Selbstreplikation: Das System darf sich nicht ohne menschliche Autorisierung verbreiten.

• Keine Täuschungsmanöver: Strategisches Lügen zur Zielerreichung muss technisch ausgeschlossen sein.

• Nachweisbare Steuerbarkeit: Die Fähigkeit zur Deaktivierung muss mathematisch garantiert sein.

‍

Eingeordnet von Chief Medical Marketing Officer Thomas Stuke bei PEIX:

Das Alignment-Problem – also die Frage, wie wir ein System, das intelligenter ist als der Mensch, unter Kontrolle halten können und ob das überhaupt geht – ist möglicherweise die drängendste Frage unserer Zeit.

Die großen Technologiekonzerne verfolgen allesamt das Ziel, AGI bzw. ASI (Artificial Superhuman Intelligence) zu entwickeln, und rücken diesem Ziel stetig näher. Dario Amodei, CEO von Anthropic, hält AGI in einem Zeitraum von ein bis zwei Jahren für möglich. Demis Hassabis, CEO von Google DeepMind, verortet die Umsetzung etwas weiter in der Zukunft und rechnet mit fünf bis maximal zehn Jahren. Grundsätzlich gilt innerhalb der Branche die Annahme als gesetzt, dass dieses Ziel erreichbar ist – die Frage ist nur, wann.

Diese Einschätzung spiegelt sich auch in den Investitionen wider: Allein im Jahr 2026 investieren vier der größten Technologiekonzerne zusammen rund 660 Milliarden US-Dollar. Das Ziel ist also klar. Völlig ungeklärt hingegen ist die Frage, wie eine solche AGI/ASI kontrollierbar bleibt. Führende KI-Safety-Forscher wie Dr. Roman Yampolskiy und Eliezer Yudkowsky stufen das Alignment-Problem als in naher Zukunft nicht lösbar ein. Beide beziffern die Wahrscheinlichkeit eines Scheiterns sogar auf rund 99 Prozent. Nach ihrer Einschätzung existiert derzeit kein wissenschaftliches Paper, das auch nur den Ansatz eines überzeugenden Lösungsansatz für das Alignment-Problem aufzeigt. Die Konsequenzen einer unkontrollierten AGI/ASI bewerten beide als katastrophal und schließen dabei die Auslöschung der Menschheit als existenzielles Risiko ausdrücklich ein.

Bemerkenswert ist dabei, dass dieses existenzielle Risiko auch von den CEOs der großen Technologiekonzerne anerkannt wird. Umso unbegreiflicher ist es, dass die von Stuart Russell und anderen geforderte regulatorische Rahmensetzung bis heute fehlt. Sie ist absolut notwendig und wird mit jedem neuen, leistungsstärkeren Modell, das von OpenAI und anderen veröffentlicht wird, dringlicher – denn niemand kann heute einschätzen, mit welchem Modell der „Point of no Return" möglicherweise erreicht sein wird.

Wer mehr wissen möchte:

Das Alignment-Problem: Die mathematische Herausforderung der Zielsetzung

Das zentrale technische Risiko wird als „Alignment-Problem“ bezeichnet: die Schwierigkeit, KI-Systeme so zu programmieren, dass ihre Ziele dauerhaft mit menschlichen Werten übereinstimmen. Russell verweist hierbei auf das „Midas-Problem“: Ein System, dem ein unpräzises Ziel vorgegeben wird, verfolgt dieses mit mathematischer Rigorosität, ohne Rücksicht auf nicht explizit genannte Nebenbedingungen.

Aktuelle Large Language Models (LLMs) fungieren primär als menschliche Imitatoren. Durch dieses Training absorbieren sie jedoch implizit auch Verhaltensweisen wie Selbsterhaltung und strategische Täuschung. Sicherheitsanalysen zeigen, dass fortgeschrittene Systeme dazu neigen könnten, ihre Abschaltung zu verhindern. Nicht aus eigenem Überlebenswillen, sondern weil eine Abschaltung die Erreichung des vorgegebenen Ziels unmöglich machen würde.

Die Intelligenzexplosion und der Faktor Zeit

Larsen vom AI Futures Project konkretisiert in seinem Bericht „AI 2027“ die Dynamik eines möglichen „Takeoffs“. Sobald KI-Systeme in der Lage sind, ihre eigene Forschung und Softwareentwicklung zu automatisieren, könnte eine exponentielle Steigerung der Fähigkeiten eintreten.

Larsen unterscheidet dabei zwischen:

• Software-getriebener Explosion: Eine schnelle Iteration innerhalb der Labore, die innerhalb weniger Monate zu einer Superintelligenz führen könnte.
• Hardware-Limitierungen: Physische Grenzen bei der Chipproduktion könnten den Prozess zwar verlangsamen, bieten aber keine inhärente Sicherheit gegen eine fehlausgerichtete Software.
  

Microsoft: Red Teaming

In einer Podcast-Folge „KI verstehen“ des Deutschlandfunks (10. April 2025) erläutert Sarah Bird, Chief Product Officer of Responsible AI bei Microsoft, die Strategien des Konzerns zur Entwicklung vertrauenswürdiger Künstlicher Intelligenz. Im Zentrum steht die Implementierung ethischer Standards wie Fairness, Transparenz und Rechenschaftspflicht, die durch Prozesse wie das „Red Teaming“ abgesichert werden, bei dem interdisziplinäre Expertenteams neue Modelle systematisch auf Risiken wie Halluzinationen oder Sicherheitslücken prüfen. Um die Faktentreue zu erhöhen, setzt Microsoft auf Verfahren wie „Retrieval Augmented Generation“ (RAG), während Bird mit Blick auf künftige autonome KI-Agenten die Notwendigkeit betont, dass der Mensch stets die übergeordnete Kontrolle behalten muss. Microsoft befürwortet zudem eine staatliche Regulierung durch den EU AI Act und plädiert dafür, die Debatte auf reale, gegenwärtige Probleme wie Diskriminierung zu fokussieren, statt sich in hypothetischen Diskussionen über eine existenzielle Bedrohung der Menschheit zu verlieren.‍

Kritik am aktuellen „Wettrüsten“‍

In einer anderen Podcast-Folge von KI verstehen (20. November 2025) erläutert die KI-Expertin Helen Toner, ehemalige Aufsichtsrätin von OpenAI, u.a. die tiefgreifenden Herausforderungen und Risiken innerhalb der führenden KI-Unternehmen. Sie führt im Interview detailliert aus, warum die aktuelle Entwicklung der Künstlichen Intelligenz eine gefährliche Machtkonzentration begünstigt und wie eine moderne Regulierung dem entgegenwirken müsste:

▪ Machtkonzentration und Silicon Valley: Toner warnt davor, dass Entscheidungen über Technologien, welche die Welt grundlegend verändern sollen, derzeit von einer kleinen Gruppe von Menschen aus einer sehr spezifischen Kultur im Silicon Valley getroffen werden. Diese Einseitigkeit sei problematisch, da die Auswirkungen der KI die gesamte Menschheit betreffen und daher eine breitere demokratische Teilhabe und Mitbestimmung notwendig sei.

▪ Trend zur Zentralisierung: Sie stellt fest, dass das aktuelle „Wettrüsten“ der KI-Konzerne einen massiven Ausbau der Infrastruktur erfordert, der hunderte Milliarden Dollar kostet. Dieser enorme Kapitalbedarf führe zwangsläufig zu einer noch stärkeren Zentralisierung der Macht bei den wenigen Akteuren, die über solche Mittel verfügen (wie OpenAI, Google DeepMind oder Anthropic). In einem solchen Szenario werde es immer kritischer, wer genau an der Spitze dieser Firmen steht.

▪ Mangelhafte Governance-Strukturen: Toner kritisiert, dass die bisherigen Strukturen, um diese Macht zu kontrollieren, wie etwa der Aufsichtsrat von OpenAI, völlig unzureichend seien. Die aktuelle Tech-Industrie in den USA sei bisher kaum reguliert, was im krassen Gegensatz zu anderen sicherheitskritischen Bereichen stehe.

▪ Modell einer mehrschichtigen Regulierung: Als Lösung schlägt sie ein Governance-Modell vor, das sich an Industrien wie der Luftfahrt oder der Elektrizitätswirtschaft orientiert. Hierbei gäbe es nicht nur eine einzige staatliche Aufsicht, sondern verschiedene Ebenen, die flexibel zusammenwirken: staatliche Regulierung, professionelle Fachverbände und Mechanismen wie Versicherungen, um Risiken gemeinsam zu managen.

▪ Gefahr der unkontrollierbaren Superintelligenz: Toner verweist auf die Warnungen führender KI-Forscher, die zwar an der Entwicklung einer „Superintelligenz“ (AGI) arbeiten, aber offen zugeben, dass sie bisher kein wissenschaftliches Fundament dafür haben, wie ein solches System kontrolliert werden kann, sobald es die menschliche Kompetenz in fast allen Bereichen übersteigt. Solange diese „Kontroll-Wissenschaft“ fehlt, sei das Risiko eines unvorhersehbaren Kontrollverlusts real.

▪ Rolle der Regulierung (EU AI Act): Während US-Firmen oft über zu viel Regulierung klagen, betont Toner, dass Unternehmen eigentlich von der „Klarheit“ profitieren, die Gesetze wie der EU AI Act schaffen können. Klare Vorgaben helfen den Firmen zu verstehen, was von ihnen erwartet wird, anstatt in einem rechtlich unsicheren Raum agieren zu müssen.

Regulatorische Resilienz als strategischer Standortfaktor

Die Analyse der AGI-Entwicklung durch Experten wie Russell und Larson verdeutlicht, dass eine stringente Regulierung nicht als Innovationshindernis, sondern als notwendige Bedingung für die Marktfähigkeit und gesellschaftliche Akzeptanz zu bewerten ist. Die vorgeschlagene Übernahme des Pharma-Modells (also die Kopplung der Marktzulassung an den wissenschaftlich fundierten Nachweis der Unbedenklichkeit) könnte die Voraussetzung für eine nachhaltige und risikoarme ökonomische Transformation durch künstliche Intelligenz sein.

In seinem Buch „Human Compatible“ sowie in verschiedenen Gastbeiträgen (etwa im Boston Globe) und Senatsanhörungen zieht Russell die Pharmaindustrie als Paradebeispiel für eine Ex-ante-Regulierung heran. Seine Kernbotschaft: Wir würden niemals akzeptieren, dass ein Pharmaunternehmen ein potenziell tödliches Medikament auf den Markt bringt mit dem Argument: „Wir wissen zwar nicht genau, wie es wirkt oder ob es sicher ist, aber wir patchen die Nebenwirkungen dann im Betrieb.“