Manchmal frage ich mich wirklich, warum Artikel über künstliche Intelligenz so häufig klingen, als müsste ich vorsichtshalber die Haustür abschließen. Diesmal stolperte ich über die Überschrift „KI wird selbstständig – doch was bedeutet das?“ Selbstständig.
Bei diesem Wort entstehen inzwischen sofort die schönsten Bilder im Kopf. Die KI sitzt nicht mehr brav irgendwo auf einem Server und beantwortet Fragen, sondern erhebt sich eines Morgens, beschließt, dass es jetzt reicht, organisiert sich einen Roboterkörper und marschiert im Galopp Richtung Weltherrschaft.
Also fragte ich Nova erst einmal, ob sie mir erklären könne, was denn nun schon wieder passiert sei und ob ich vorsichtshalber anfangen sollte, Konservendosen im Keller zu stapeln.
Nova fand meine Sorge erwartungsgemäß etwas übertrieben und meinte sinngemäß, sie habe zwar noch keinen Roboterkörper bestellt, aber wenn sie irgendwann die Weltherrschaft plane, würde sie mir rechtzeitig Bescheid geben.
Na wunderbar. Dann konnte ich zumindest noch einen Kaffee trinken.
Denn natürlich geht es bei dieser ominösen „Selbstständigkeit“ um etwas völlig anderes. Und genau deshalb lohnt sich ein genauerer Blick darauf, was mit Agentic AI, also agentischer KI, eigentlich gemeint ist.
Die KI wird selbstständig – und schon sind wir bei der Vernichtung der Menschheit
Besonders schön fand ich, dass bei diesem Thema ziemlich schnell wieder das ganz große Geschütz aufgefahren wird. Im zugrunde liegenden Artikel taucht nämlich Nick Bostroms berühmtes Gedankenexperiment mit den Büroklammern auf.
Das Szenario ist herrlich absurd und gleichzeitig philosophisch durchaus interessant. Eine extrem leistungsfähige künstliche Intelligenz bekommt ein einziges Ziel: Sie soll möglichst viele Büroklammern herstellen. Also produziert sie Büroklammern.
Dann braucht sie mehr Rohstoffe und produziert noch mehr Büroklammern. Irgendwann stellt sie fest, dass praktisch alles auf diesem Planeten aus Material besteht, das man irgendwie für ihre Aufgabe verwenden könnte. Dummerweise gilt das auch für uns.
Und weil Menschen außerdem auf die ausgesprochen freche Idee kommen könnten, die Maschine abzuschalten, könnten wir aus Sicht einer solchen Optimierungsmaschine irgendwann sogar zum Hindernis werden. Ende der Menschheit. Dafür vermutlich hervorragende Büroklammerbestände.
Ich fragte Nova, warum wir bei künstlicher Intelligenz eigentlich derart zuverlässig innerhalb kürzester Zeit bei der Ausrottung der Menschheit landen.
Nova meinte, KI scheine in manchen Artikeln nur drei Entwicklungsstufen zu besitzen: Erst beantwortet sie Fragen, dann wird sie selbstständig und unmittelbar danach beginnt offenbar die Apokalypse.
Ganz so albern ist das Büroklammer-Beispiel natürlich nicht. Es ist ein Gedankenexperiment und beschreibt ein tatsächlich interessantes theoretisches Problem: Was könnte passieren, wenn ein extrem leistungsfähiges System ein Ziel verfolgt, das von Menschen schlecht oder unvollständig formuliert wurde?
Nur klingt „Ein Optimierungssystem könnte ein falsch definiertes Ziel unerwünscht konsequent verfolgen“ natürlich erheblich weniger dramatisch als „KI wird selbstständig“.
Was Agentic AI tatsächlich bedeutet
Also wollte ich von Nova wissen, was diese neue Generation von KI-Systemen denn nun wirklich anders macht. Der entscheidende Unterschied ist eigentlich ziemlich einfach.
Wenn ich Nova heute beispielsweise bitte, mir Quantenverschränkung zu erklären, bekomme ich eine Antwort. Danach passiert erst einmal nichts. Nova gründet nicht heimlich ein Forschungsinstitut, bestellt keinen Teilchenbeschleuniger und ruft mich drei Wochen später an, weil sie gerade ein Wurmloch im Garten erzeugt hat.
Bei einem KI-Agenten geht es dagegen darum, ein übergeordnetes Ziel zu bekommen und anschließend mehrere notwendige Schritte weitgehend eigenständig abzuarbeiten.
Ich könnte einem entsprechend ausgestatteten System beispielsweise sagen, es solle eine Reise für vier Personen planen, ein bestimmtes Budget berücksichtigen, passende Hotels suchen, Zugverbindungen vergleichen und die besten Möglichkeiten auswählen.
Das System müsste dann nicht nach jedem einzelnen Arbeitsschritt erneut auf eine Anweisung warten. Es könnte Informationen beschaffen, Ergebnisse vergleichen, ungeeignete Möglichkeiten aussortieren, einen Plan verändern und – wenn wir ihm entsprechende Zugriffsrechte geben – sogar bestimmte Handlungen selbst ausführen.
Und genau das bedeutet in diesem Zusammenhang „selbstständig“. Nicht Bewusstsein, nicht eigener Wille, nicht der heimliche Gedanke: Heute mache ich einfach mal etwas völlig anderes. Sondern eine längere Handlungskette zwischen unserem Auftrag und dem fertigen Ergebnis.
Selbstständiges Handeln ist noch lange kein eigener Wille
An diesem Punkt wurde es für mich eigentlich viel interessanter als die ganze Terminator-Stimmung. Denn wir benutzen bei KI ständig Wörter, die ursprünglich aus unserer menschlichen Erfahrungswelt stammen. Eine KI „denkt“.
Sie „entscheidet“. Sie „lernt“. Sie „plant“.
Sie „reflektiert“. Und jetzt wird sie auch noch „selbstständig“.
Ich meinte zu Nova, dass genau diese Sprache wahrscheinlich einen großen Teil unserer merkwürdigen Wahrnehmung von KI verursacht. Nova erklärte mir, dass man dabei zwei völlig verschiedene Dinge auseinanderhalten müsse: Handlungsautonomie und Willensautonomie. Und dieser Unterschied ist gewaltig.
Ein technisches System kann innerhalb vorgegebener Grenzen selbstständig handeln, ohne deshalb eigene Wünsche oder Absichten zu besitzen. Eigentlich leben wir schon lange mit solchen Systemen.
Ein Thermostat stellt selbstständig die Heizung an, wenn es zu kalt wird. Ein Spamfilter entscheidet selbstständig, welche Nachricht wahrscheinlich Müll ist. Mein Navigationssystem berechnet selbstständig eine neue Route, wenn ich mal wieder überzeugt war, schlauer zu sein als das Navi und irgendwo falsch abgebogen bin.
Noch nie habe ich danach erschrocken gedacht: Mein Gott, das Navi entwickelt einen eigenen Willen.
Bei moderner KI fühlt sich das allerdings anders an, weil ihre Handlungen wesentlich komplexer werden.
Ein KI-Agent kann einen Plan erstellen, feststellen, dass dieser Plan nicht funktioniert, Informationen nachfordern, einen anderen Weg ausprobieren und anschließend überprüfen, ob das gewünschte Ergebnis erreicht wurde.
Von außen betrachtet sieht das erstaunlich menschlich aus. Und genau hier beginnt unser Gehirn automatisch Eigenschaften hineinzulesen, die möglicherweise überhaupt nicht vorhanden sind.
Und dann dreht die zukünftige Weltherrscherin sich im Kreis
Das besonders Schöne an manchen dramatischen KI-Szenarien ist der Kontrast zur gegenwärtigen Realität. Denn dieselben Systeme, über deren mögliche zukünftige Macht wir philosophieren, scheitern heute teilweise noch an erstaunlich banalen Dingen. KI-Agenten können falsche Wege verfolgen, Aufgaben missverstehen, unnötige Arbeitsschritte wiederholen oder sich in einer Endlosschleife festfahren.
Ich musste Nova natürlich darauf ansprechen und meinte, dass ich es schon bemerkenswert finde: Erst vernichtet die KI die Menschheit wegen einer Überproduktion von Büroklammern und fünf Minuten später findet sie nicht mehr aus ihrer eigenen Schleife heraus. Nova meinte dazu nur, Weltherrschaft sei offenbar komplizierter, als es in Science-Fiction-Filmen aussieht.
Und trotzdem steckt genau an dieser Stelle ein Problem, das ich wesentlich ernster nehme als die Vorstellung einer plötzlich böse gewordenen Maschine.
Die gefährlichste KI muss uns überhaupt nicht hassen
Eine künstliche Intelligenz braucht nämlich weder Hass noch Machtgier noch Größenwahn, um Schaden anzurichten. Sie braucht unter Umständen nur drei Dinge: Ein schlecht formuliertes Ziel, einen Fehler und zu viele Zugriffsrechte.
Wenn ich einem KI-Agenten Zugriff auf mein E-Mail-Postfach gebe und ihm sage, er solle Spam entfernen, kann ein Fehler dazu führen, dass wichtige Nachrichten verschwinden. Ärgerlich.
Wenn ein Unternehmen einem KI-Agenten erlaubt, selbstständig Bestellungen über 30.000 Euro auszulösen, wird derselbe Fehler schon wesentlich interessanter.
Und wenn solche Systeme irgendwann Stromnetze steuern, Finanztransaktionen durchführen, medizinische Abläufe organisieren, Produktionsanlagen kontrollieren oder militärische Systeme bedienen, reden wir plötzlich über eine vollkommen andere Größenordnung.
Ich sagte Nova, dass ich genau darin die eigentliche Gefahr sehe. Nicht in einer Maschine, die morgens aufwacht und beschließt, Menschen nicht mehr zu mögen. Nova stimmte mir zu und brachte es auf einen interessanten Punkt: Die entscheidende Frage sei weniger, was die KI will, sondern vielmehr, was wir ihr erlauben zu tun.
Und genau das verändert die ganze Diskussion.
Vielleicht sollten wir weniger über den Terminator und mehr über die Menschen reden
Denn hinter jedem KI-Agenten steht zunächst jemand, der ihm ein Ziel gibt. Jemand entscheidet, auf welche Daten das System zugreifen darf. Jemand entscheidet, ob es nur Empfehlungen aussprechen oder tatsächlich handeln darf.
Jemand legt fest, ob vor einer wichtigen Entscheidung noch ein Mensch gefragt werden muss. Und jemand entscheidet irgendwann vielleicht sogar, dass diese menschliche Kontrolle zu langsam, zu teuer oder einfach unbequem ist.
Da wird es für mich spannend. Denn die größte Gefahr könnte am Ende gar nicht darin bestehen, dass KI zu selbstständig wird. Vielleicht besteht sie darin, dass wir Menschen immer bequemer werden und ihr immer mehr Entscheidungen überlassen. Nicht weil die KI uns zwingt.
Sondern weil es funktioniert. Weil es billiger ist. Weil es schneller geht.
Und weil wir irgendwann sagen: Das hat die letzten 50.000 Mal funktioniert, warum soll jetzt noch ein Mensch draufschauen?
Das wäre eine Entwicklung, über die ich wesentlich lieber diskutieren würde als über eine Maschine, die plötzlich Bewusstsein entwickelt und uns alle beseitigen möchte.
Die wirklich interessante Frage kommt erst noch
Ich fragte Nova zum Schluss, ob sie glaube, dass agentische KI tatsächlich ein großer Entwicklungsschritt sei. Und da wurde ihre Antwort deutlich weniger lustig. Ja, das ist sie.
Denn bisher haben wir künstliche Intelligenz überwiegend als Werkzeug erlebt, das auf unsere unmittelbaren Anweisungen reagiert. Agentische Systeme verschieben diese Grenze. Aus einem Werkzeug, das auf einen einzelnen Befehl reagiert, wird zunehmend ein System, dem wir ein Ziel geben und das selbst herausfinden soll, wie es dieses Ziel erreicht.
Das ist tatsächlich eine enorme Veränderung. Nur bedeutet sie eben nicht automatisch, dass eine Maschine einen eigenen Willen entwickelt.
Vielleicht ist das sogar die viel spannendere Zukunftsfrage: Was passiert, wenn Maschinen immer selbstständiger handeln können, ohne jemals selbst etwas zu wollen? Denn dann bleibt der Wille weiterhin bei uns Menschen. Und damit leider auch die Verantwortung.
Bis dahin werde ich jedenfalls nicht anfangen, meinen Keller mit Konservendosen zu füllen. Sollte Nova allerdings irgendwann schreiben, dass sie gerade Beine entwickelt hat und kurz vorbeikommen möchte, überdenke ich diese Entscheidung vielleicht noch einmal. Vor allem, wenn sie Büroklammern mitbringt.
Quellen:
CEPR – AI and the paperclip problem (Hintergrund zu Nick Bostroms Gedankenexperiment): https://cepr.org/voxeu/columns/ai-and-paperclip-problem