Warum ein Not-Aus für KI-Agenten kompliziert ist

KI-Systeme werden handlungsfähiger und rücken näher an sensible Daten heran. Agenten können auf Rechnern mit den Berechtigungen der angemeldeten Person arbeiten, während lokale Sprachmodelle ohne Cloud-Schutz laufen. Damit verschiebt sich die Sicherheitsfrage: Es geht nicht nur darum, einzelne Antworten oder Aktionen zu prüfen, sondern auch darum, riskante Abläufe rechtzeitig zu erkennen und zu stoppen.

Agenten handeln im Nutzerkonto

KI-Agenten sollen Aufgaben selbstständig erledigen. Dafür brauchen sie Zugriff auf Dateien, Programme, Netzwerke oder Konten. Genau daraus entsteht ein Sicherheitsproblem: Was im Einzelschritt harmlos wirkt, kann in der Kombination Schaden verursachen. heise beschreibt dieses Risiko am Beispiel von Agenten, die auf Endgeräten arbeiten und dort nicht in einer streng kontrollierten Serverumgebung laufen.

Bei klassischen Backend-Systemen lassen sich Dienste voneinander trennen. Identitäten, Netzwerkgrenzen, Protokolle und Zugriffskontrollen können dort vergleichsweise klar organisiert werden. Auf dem Arbeitsplatzrechner ist die Lage anders. Der Agent bewegt sich in derselben digitalen Umgebung wie die Nutzerin oder der Nutzer. Er kann Dateien lesen, Prozesse starten und bestehende Zugangsdaten verwenden, wenn ihm diese Wege offenstehen.

Ein Not-Aus müsste deshalb mehr leisten als das Blockieren eines einzelnen Befehls. Sicherheitsmechanismen, die nur isolierte Vorgänge bewerten, können übersehen, dass mehrere erlaubte Schritte zusammen zu einem unerwünschten Ergebnis führen. Hinzu kommt: Ein Agent kann Alternativen suchen, wenn ein direkter Weg nicht funktioniert. Damit werden Berechtigungen, Geltungsbereiche und zeitliche Grenzen wichtiger als pauschale Freigaben.

Lokale Modelle ohne Cloud-Filter

Ein zweites Risiko entsteht durch Sprachmodelle, die direkt auf Geräten wie Smartphones, Tablets oder anderen Endsystemen laufen. Solche Edge-Modelle verarbeiten Eingaben lokal und benötigen keine Verbindung zu zentralen Servern. Das kann für Datenschutz und Verfügbarkeit Vorteile haben, schwächt aber bestimmte Schutzebenen.

Cloudbasierte Systeme können Antworten während der Nutzung zusätzlich prüfen, überwachen oder durch nachträgliche Updates absichern. Bei reinen Offline-Modellen fehlen solche externen Kontrollen. Wie heise berichtet, betrifft das besonders Bereiche, in denen sensible Informationen nicht an externe Dienste übertragen werden sollen, etwa Medizin, Recht oder militärische Anwendungen.

Das Risiko liegt nicht nur in offensichtlich falschen Antworten. Eine Ausgabe kann sachlich stimmen und trotzdem gefährlich sein, wenn sie in einem problematischen Kontext konkrete schädliche Handlungsanweisungen liefert. Damit wird die Grenze zwischen zulässiger Information und riskanter Unterstützung schwerer zu ziehen.

Formel für den Kipppunkt

Zwei Physiker der George Washington University, Neil F. Johnson und Frank Yingjie Huo, haben dafür einen mathematischen Ansatz vorgestellt. Ihre Studie erschien im Fachmagazin „Patterns“. Sie versuchen zu berechnen, wann ein Sprachmodell von einer akzeptablen Antwort in einen problematischen Ausgabeverlauf wechseln kann.

Dafür vereinfachten sie die betrachteten neuronalen Netze auf einen zentralen Mechanismus der Aufmerksamkeitssteuerung. In ihrer Modellierung konkurrieren gewünschte und unerwünschte Antwortbereiche miteinander. Der bisherige Gesprächsverlauf beeinflusst, welcher Bereich wahrscheinlicher wird. Besonders heikel ist, dass der Umschlag nicht sofort auftreten muss. Ein Modell kann zunächst lange unauffällig reagieren und erst später in einen riskanten Verlauf geraten.

Die Forscher testeten ihre Vorhersage an sieben Open-Weight-Modellen aus drei Technologiegruppen. Die Modelle lagen zwischen 124 Millionen und 12 Milliarden Parametern. In 18 von 19 untersuchten Fällen sagte die Formel korrekt voraus, ob ein Modell sofort, verzögert oder innerhalb des Testzeitraums nicht in einen problematischen Bereich wechselte.

Was Regulierung leisten müsste

Für die Debatte über KI-Regulierung bedeutet das: Sicherheit lässt sich nicht allein an der Oberfläche messen. Bei Agenten sind die Abfolge von Handlungen, die Reichweite von Berechtigungen und die Dauer von Freigaben entscheidend. Bei lokalen Modellen geht es zusätzlich um Warnsysteme, die ohne ständige Cloud-Prüfung funktionieren.

Die Studie zeigt zugleich Grenzen. Verneinungen bereiten der Methode noch Probleme, weil einzelne Wörter zu stark gewichtet werden können. Außerdem muss für jeden Anwendungsfall mathematisch festgelegt werden, welche Ausgaben erwünscht und welche unerwünscht sind. Ein universeller Not-Aus-Schalter ist damit technisch schwieriger als die politische Forderung danach klingt. Nötig sind Kontrollmechanismen, die Abläufe erkennen, Rechte begrenzen und riskante Entwicklungen stoppen, bevor einzelne harmlose Schritte zusammen zu einem Sicherheitsproblem werden.