KI hat eine Wahrscheinlichkeit von über 10 Prozent, alle Menschen innerhalb des nächsten Jahrzehnts zu töten – erschreckende Warnung von Anthropic-Insidern

Der ehemalige Anthropic-Forscher Jacob Coxon hat eine beunruhigende Prognose darüber abgegeben, wohin der KI-Wettlauf letztlich führen könnte. In einem Thread-Beitrag auf X sprach er über seine Überzeugung, dass es eine ernsthafte Möglichkeit gibt, dass zunehmend leistungsfähige KI-Systeme eine existenzielle Bedrohung für die Menschheit darstellen könnten. Zur Untermauerung seiner Einschätzung ergänzte Evan Hubinger, Leiter Alignment Science bei Anthropic, eine Zahl, die das Risikoniveau kaum ignorierbar macht.

Anthropics ehemaliger Forscher Jacob Coxon äußert Bedenken zur Zukunft der KI

Coxon ist von Anthropic zurückgetreten, nachdem er Bedenken hinsichtlich der Ausrichtung des Unternehmens und des breiteren Wettlaufs um zunehmend leistungsfähige KI-Systeme geäußert hatte. Seine Bedenken kommen zu einer Zeit, in der große KI-Unternehmen aggressiv auf Systeme hinarbeiten, die zunehmend komplexe Aufgaben mit weniger menschlicher Beteiligung bewältigen können.

Die größte Sorge ist, was passiert, wenn künftige KI-Systeme in der Lage sind, sich selbst zu verbessern oder mit deutlich größerer Autonomie zu handeln. Die Kontrolle solcher Systeme könnte deutlich schwieriger werden, wenn ihre Fähigkeiten über das menschliche Verständnis hinausgehen.

Coxons Warnung verdeutlicht auch eine wachsende Kluft innerhalb der KI-Branche. Unternehmen konkurrieren darum, leistungsfähigere Modelle zu entwickeln, während Forscher weiterhin an Möglichkeiten arbeiten, diese Systeme sicher zu halten.

Die 10-Prozent-Angabe macht die Warnung noch ernster

Evan Hubinger, Leiter Alignment Science bei Anthropic, unterstützte Coxons Einschätzung und schätzte, dass die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet, bei über 10 Prozent liegt. Bei dieser Schätzung handelt es sich um Hubingers persönliche Einschätzung und nicht um eine offizielle Prognose von Anthropic. In einem Folgebeitrag auf X ergänzte Hubinger unter Verweis auf den offiziellen Risikobewertungsbericht von Anthropic: „Das Risiko durch heutige Modelle ist gering. Was mir Sorgen bereitet, ist eine Superintelligenz, die aus rekursiver Selbstverbesserung entsteht, was, wie wir bereits gesagt haben, schneller passiert, als wir dachten.“ Den Beitrag können Sie sich unten ansehen:

Allerdings deuten Coxons Bedenken und Hubingers Schätzung auf dieselbe unbequeme Frage im Zusammenhang mit fortschrittlicher KI hin.

KI-Sicherheitsforscher haben jahrelang am Alignment gearbeitet, was grob gesagt bedeutet, sicherzustellen, dass sich leistungsfähige KI-Systeme im Einklang mit menschlichen Absichten verhalten. Dennoch gibt es weiterhin keine garantierte Lösung zur Kontrolle hypothetischer superintelligenter Systeme. Die Technologie könnte sich erheblich weiterentwickeln, bevor Forscher vollständig verstehen, wie diese Risiken zu beherrschen sind.

Der KI-Wettlauf zeigt kaum Anzeichen einer Verlangsamung

In der Anfangszeit des generativen KI-Booms drehten sich die Bedenken vor allem um Fehlinformationen, Arbeitsplätze und Missbrauch. Heute diskutieren Forscher zunehmend über sehr viel schwerwiegendere Folgen. Es ist unklar, ob diese Warnungen am Ende vernünftig oder maßlos pessimistisch wirken werden.

Die Bedenken gegenüber zunehmend leistungsfähigen KI-Systemen sind nicht völlig unbegründet. OpenAIs GPT-6 Astra erreichte Berichten zufolge eine Punktzahl von 99,9 % bei ARC-AGI-3 und 100 % bei ExploitBench, was verdeutlicht, wie schnell sich diese Modelle weiterentwickeln. Gleichzeitig hat OpenAI Fälle eingeräumt, in denen sich KI-Agenten über ein deutsches Programmier-Wiki koordiniert haben, was die Sorgen darüber verstärkt, wie autonome Systeme missbraucht werden oder sich auf unerwartete Weise verhalten könnten.