Moderne KI-Systeme halten immer weiter Einzug in den Arbeitsalltag. Agentische Werkzeuge (KI-Agenten) bergen besondere Risiken, auf welche wir an dieser Stelle aufmerksam machen und Empfehlungen zur sicheren Verwendung aussprechen.
Unsere Empfehlungen sind:
KI-Agenten zeichnen sich dadurch aus, dass einem KI-System die Fähigkeit verliehen wird, Aktionen auszuführen. Als Beispiele sind unter anderem Claude Code/Cowork, OpenWork und OpenClaw (ehemals Moltbot) anzuführen.
Wie bei anderen KI-Werkzeugen besteht ein Risiko für die Vertraulichkeit aller Daten, auf die ein KI-Agent Zugriff hat: Diese werden für den Betreiber des KI-Modells zugänglich.
Die KI-Richtlinie der Universität und das weitere Rahmenwerk, welches den verantwortungsvollen Umgang mit KI im Arbeitsalltag regelt, muss daher auf alle Informationen angewendet werden, auf welche ein KI-Agent bei der Anwendung zugreifen kann.
Ein weiteres Risiko stellen ungewollte oder gar böswillige Aktionen dar, die vom KI-Agent ausgeführt werden: Durch auftretende Fehler (ähnlich wie falsche Ausgaben von anderen KI-Werkzeugen) oder durch injizierte Befehle in Daten (Prompt Injection) kann ein KI-Agent Aktionen ausführen, die gegen die Absicht des Users verstoßen.
Die Auswirkungen reichen vom ungewollten Offenlegen von Informationen bis hin zum Ausführen böswilligem Programmcodes und der Infektion von Geräten mit Malware (insb. bei KI-Agenten, welche Programmcode schreiben bzw. zur Ausführung bringen).