AGI steht für Artificial General Intelligence (künstliche allgemeine Intelligenz). Dabei handelt es sich um die Intelligenz eines hypothetischen Computerprogramms, das laut Wikipedia dazu fähig ist, „jede intellektuelle Aufgabe zu verstehen oder zu lernen, die ein Mensch ausführen kann. Eine alternative Definition bezeichnet AGI als hochautonomes KI-System, welches bei der Lösung der meisten wirtschaftlich bedeutenden intellektuellen Aufgaben menschliche Fähigkeiten übertrifft.“

Expert:innen fordern deswegen verbindliche „rote Linien“. Diese Diskussion bzw. Forschung ist allerdings alles andere als neu, sie dauern schon seit ca. 20 Jahren an, die aktuelle Entwicklungssituation schiebt das Thema aber immer weiter in den Blickpunkt. Parallelen können zur strengen Zulassungspraxis in der Pharmaindustrie gezogen werden, um existenzielle Risiken durch technologischen Kontrollverlust zu minimieren.

Denn: In der Fachwelt herrscht derzeit eine Diskrepanz zwischen dem Investitionstempo und der Entwicklung von Sicherheitsgarantien. Stuart Russell, Professor an der UC Berkeley und Mitautor des Standardwerks der KI-Lehre, berichtet von internen Einschätzungen führender Branchenvertreter, nach denen erst ein „Ereignis von der Größenordnung eines Tschernobyl-Unglücks“ notwendig sein könnte, um Regierungen zu einem entschlossenen Handeln zu bewegen. Diese nüchterne Analyse verdeutlicht: Die technologische Kapazität droht die menschliche Steuerungsfähigkeit zu überholen. (Kürzlich hat er vor dem EU Parlament gesprochen: Nachzusehen und nachzuhören hier (39:09))

Die Analogie zur Pharmaindustrie: Sicherheit als Marktzugangsvoraussetzung

In der Debatte um die AGI-Regulierung gewinnt ein radikaler Paradigmenwechsel zunehmend an Bedeutung. U.a. Russell fordert, die bisherige „Move fast and break things“-Kultur des Silicon Valley durch ein strenges Zulassungsverfahren zu ersetzen, das sich am Vorbild der Pharmaindustrie orientiert. Der Kern der Forderung: Die Beweislast für die Sicherheit muss vor der Veröffentlichung beim Entwickler liegen.

Die aktuelle KI-Entwicklung folgt weitgehend dem klassischen Software-Modell: Produkte werden unreif veröffentlicht und durch Nutzerfeedback sowie nachträgliche Updates stabilisiert. Für Russell und Thomas Larsen vom AI Futures Project ist dieser Ansatz bei AGI-Systemen höchstriskant. Sobald Systeme eine Ebene erreichen, auf der sie autonom handeln und ihre eigenen Ziele verfolgen, könnten Fehlentscheidungen irreversibel sein.

Russell argumentiert, dass wir bei anderen Hochrisikotechnologien, von Brücken über Flugzeuge bis hin zu Medikamenten, eine staatliche Aufsicht als selbstverständlich voraussetzen. Besonders die Pharmaindustrie dient hier als analytisches Vorbild:

• Ex-ante statt Ex-post: Ein Pharmaunternehmen muss in klinischen Studien die Unbedenklichkeit nachweisen, bevor ein Wirkstoff zugelassen wird. In der KI-Branche ist es derzeit umgekehrt: Die Risiken werden oft erst nach der Skalierung im öffentlichen Raum sichtbar.

• Das „Black Box“-Problem: Sowohl bei komplexen Medikamenten als auch bei neuronalen Netzen verstehen wir oft nicht jedes Detail der internen Wirkweise. Die Medizin reagiert darauf mit empirischen Sicherheitsgarantien; die KI-Industrie fordert stattdessen oft Ausnahmen von der Regulierung, um die Innovation nicht zu bremsen.

• Unzulässigkeit des „Unmöglichkeits-Arguments“: Die Branche argumentiert häufig, dass strengere Sicherheitsauflagen technologisch derzeit nicht erfüllbar seien. Russell entlarvt dies als logischen Fehlschluss: In der Pharmazie würde das Eingeständnis, ein Medikament sei „zu komplex für einen Sicherheitsbeweis“, niemals zur Zulassung führen, sondern zum Verbot.

‍

Technologische „Rote Linien“ als neue klinische Phasen

Die von Russell vorgeschlagenen „verhaltensbezogenen roten Linien“ können als Äquivalent zu den Phasen klinischer Prüfungen verstanden werden. Ein KI-Modell müsste demnach nachweisen, dass es bestimmte „toxische“ Verhaltensweisen unter keinen Umständen zeigt:

• Keine autonome Selbstreplikation: Das System darf sich nicht ohne menschliche Autorisierung verbreiten.

• Keine Täuschungsmanöver: Strategisches Lügen zur Zielerreichung muss technisch ausgeschlossen sein.

• Nachweisbare Steuerbarkeit: Die Fähigkeit zur Deaktivierung muss mathematisch garantiert sein.

‍

Eingeordnet von Chief Medical Marketing Officer Thomas Stuke bei PEIX:

Das Alignment-Problem – also die Frage, wie wir ein System, das intelligenter ist als der Mensch, unter Kontrolle halten können und ob das überhaupt geht – ist möglicherweise die drängendste Frage unserer Zeit.

Die großen Technologiekonzerne verfolgen allesamt das Ziel, AGI bzw. ASI (Artificial Superhuman Intelligence) zu entwickeln, und rücken diesem Ziel stetig näher. Dario Amodei, CEO von Anthropic, hält AGI in einem Zeitraum von ein bis zwei Jahren für möglich. Demis Hassabis, CEO von Google DeepMind, verortet die Umsetzung etwas weiter in der Zukunft und rechnet mit fünf bis maximal zehn Jahren. Grundsätzlich gilt innerhalb der Branche die Annahme als gesetzt, dass dieses Ziel erreichbar ist – die Frage ist nur, wann.

Diese Einschätzung spiegelt sich auch in den Investitionen wider: Allein im Jahr 2026 investieren vier der größten Technologiekonzerne zusammen rund 660 Milliarden US-Dollar. Das Ziel ist also klar. Völlig ungeklärt hingegen ist die Frage, wie eine solche AGI/ASI kontrollierbar bleibt. Führende KI-Safety-Forscher wie Dr. Roman Yampolskiy und Eliezer Yudkowsky stufen das Alignment-Problem als in naher Zukunft nicht lösbar ein. Beide beziffern die Wahrscheinlichkeit eines Scheiterns sogar auf rund 99 Prozent. Nach ihrer Einschätzung existiert derzeit kein wissenschaftliches Paper, das auch nur den Ansatz eines überzeugenden Lösungsansatz für das Alignment-Problem aufzeigt. Die Konsequenzen einer unkontrollierten AGI/ASI bewerten beide als katastrophal und schließen dabei die Auslöschung der Menschheit als existenzielles Risiko ausdrücklich ein.

Bemerkenswert ist dabei, dass dieses existenzielle Risiko auch von den CEOs der großen Technologiekonzerne anerkannt wird. Umso unbegreiflicher ist es, dass die von Stuart Russell und anderen geforderte regulatorische Rahmensetzung bis heute fehlt. Sie ist absolut notwendig und wird mit jedem neuen, leistungsstärkeren Modell, das von OpenAI und anderen veröffentlicht wird, dringlicher – denn niemand kann heute einschätzen, mit welchem Modell der „Point of no Return" möglicherweise erreicht sein wird.

‍