Nicht die KI muss man im Auge behalten
Zurück zum Blog

Nicht die KI muss man im Auge behalten

Drei erlebte Erfahrungen und was die Forschung dazu sagt: was man im Umgang mit KI weiterhin selbst verstehen muss.

KIArbeitsmethode

Ein Zeitzonen-Bug bei Arthur hat mich diesen Sommer eine Stunde gekostet — nicht wegen der KI, sondern weil ich aufgehört hatte, meine eigenen Notizen aktuell zu halten. Drei persönliche Erfahrungen und mehrere aktuelle Studien weisen auf dasselbe hin: Was man im Umgang mit KI weiterhin selbst verstehen will, zählt mehr als das Werkzeug selbst.

Der UTC-Bug bei Arthur

Sommer 2026. Bei Arthur, meinem persönlichen Assistenten, wurde eine Uhrzeit falsch angezeigt: im UTC-Format gespeichert — der von den meisten Computersystemen verwendeten Referenzzeitzone — wurde sie ausgelesen, als wäre sie die Lokalzeit, mit mehreren Stunden Abweichung als Folge. An sich ein gewöhnlicher Bug.

Was die Korrektur in die Länge zog, kam nicht daher. In dieser Zeit hatte ich aufgehört, meine eigenen Projekt-Tracking-Dateien aktuell zu halten — die Notizen, die der KI sagen, wo die Entwicklung steht, welche Entscheidungen getroffen wurden, was noch zu tun ist. Der Kontext, den ich der KI übermittelte, war nicht mehr mit dem tatsächlichen Stand des Codes vereinbar. Die KI erhielt widersprüchliche Informationen und begann schließlich, an dem zu zweifeln, was ich ihr sagte — die Korrektur drehte sich im Kreis: mehrere Austausche, etwa eine verlorene Stunde.

Nicht die KI hat sich geirrt. Ich war es, der an einem Punkt, der mich an diesem Tag nicht interessierte, seine Nachverfolgungsdisziplin hatte schleifen lassen — und die KI hatte keine Möglichkeit, mir richtig zu helfen mit Informationen, die ich ihr selbst falsch übermittelt hatte.

Was das zeigt

Dieser Moment verweist auf eine größere Frage als „soll man KI nutzen". Die eigentliche Frage lautet: Was entscheidet man sich, weiterhin selbst zu verstehen, statt es vollständig zu delegieren?

Das ist kein Einzelfall. Eine Studie von Microsoft und der Carnegie Mellon University, im Mai 2026 veröffentlicht, mit 319 Wissensarbeitern und 936 realen Beispielen von KI-Nutzung, zeigt, dass größeres Vertrauen in die KI mit geringerem kognitivem Aufwand bei der Bewertung ihrer Ergebnisse einhergeht: Nur 36% der Teilnehmenden gaben an, kritisches Urteilsvermögen auf die erhaltenen Antworten anzuwenden.

In Frankreich zeigt eine 2026 von Cyberini veröffentlichte Bestandsaufnahme dasselbe Bild: Die Nutzung von KI wächst schneller als ihre Beherrschung. Die Hälfte der Franzosen gibt an, sie zu nutzen, aber nur eine Minderheit weiß wirklich damit umzugehen, und drei Viertel der Erwerbstätigen haben keinerlei Schulung dazu erhalten.

Das Risiko im größeren Maßstab

Dieses Nachlassen hat im größeren Maßstab einen Namen: „Vibe Coding" — eine Praxis, bei der man den Großteil des Codes von einer KI schreiben lässt, indem man in Alltagssprache formuliert, was man will, ohne zu versuchen, das Ergebnis zu verstehen oder zu überprüfen. Das Risiko ist nicht theoretisch.

Eine Forschungsnotiz der Cloud Security Alliance, veröffentlicht im Mai 2026 und unter Berufung auf eine Veracode-Studie, misst, dass 45% der von KI generierten Code-Stichproben anerkannte OWASP-Top-10-Schwachstellen einführen — die Referenz für die häufigsten Sicherheitsrisiken einer Webanwendung. Diese Quote bleibt seit 2025 stabil, trotz der Ankündigungen der Modellanbieter zur Verbesserung ihrer Werkzeuge.

Ein konkreter Fall veranschaulicht das: Im Januar 2026 entdeckten Sicherheitsforscher von Wiz, dass die Produktionsdatenbank eines KI-gestützten sozialen Netzwerks — Moltbook — seit drei Tagen öffentlich zugänglich war, mit 1,5 Millionen Authentifizierungs-Token und 35.000 zugänglichen E-Mail-Adressen. Der Gründer des Projekts hatte erklärt, selbst keine einzige Zeile Code geschrieben zu haben. Die Ursache: ein falsch konfiguriertes Deployment, nie von jemandem überprüft, der dessen Auswirkungen verstand.

Das Gegenbeispiel, das funktioniert

Das Gegenteil gibt es auch, und ich habe es direkt selbst erlebt. Im April 2026 lieferte Client Tracker Lite — mein erster Agent mit Anbindung an eine echte Datenbank, noch ohne die Tracking-Werkzeuge, die ich heute nutze — oft falsche Ergebnisse. Ich habe die KI nicht einfach immer wieder um eine Korrektur gebeten: Ich habe selbst recherchiert, warum diese Fehler auftraten.

Dieses hart erarbeitete Verständnis war später bei Arthur nützlich — einem weiter fortgeschrittenen Projekt als Client Tracker Lite. Statt es informell für mich zu behalten, habe ich die KI genutzt, um es auszuarbeiten: ein elfseitiges Dokument, das die wiederkehrenden Fehlermuster benennt, ein präzises Vokabular dafür definiert und ihre Ursachen ordnet. Die KI hat in diesem Dokument nichts erfunden — sie hat ein Verständnis strukturiert, das ich bereits durch Erfahrung erworben hatte. Das ist ein Unterschied, der zählt: die KI zu nutzen, um zu ordnen, was man bereits weiß, ist nicht dasselbe, wie sie zu bitten, an unserer Stelle zu wissen.

Die Grenze, die bleibt

Eine Grenze bleibt, die weder Disziplin noch Wachsamkeit vollständig beseitigen: Sie fangen sie im Nachhinein auf, sie verhindern sie nicht. Bei Rooted, einer E-Commerce-Seite, die ich als Übung entwickelt habe, war die vorgeschlagene Konfiguration zur Anbindung der Datenbank nicht mehr die richtige — eine Einstellung, deren Methode sich zwischen zwei Versionen des verwendeten Werkzeugs geändert hatte, und die das Modell auf die alte, überholte Weise vorschlug.

Ich habe es bemerkt, weil ich wusste, wie die erwartete Konfiguration aussehen sollte. Ohne dieses Vorwissen hätte nichts in der Antwort der KI auf das Problem hingewiesen: Sie ist mit derselben Sicherheit formuliert, ob sie aktuell ist oder nicht. Das ist die Grenze, die bleibt, was auch immer man tut: Die KI kann veraltete Informationen mit völliger Sicherheit anbieten, und nur ein bereits vorhandenes Verständnis lässt einen das bemerken.

Was es weiterhin zu beobachten gilt

Der UTC-Bug, Vibe Coding, Client Tracker Lite, Rooted: vier unterschiedliche Situationen, eine einzige rote Linie. KI als Werkzeug der Emanzipation setzt voraus, weiterhin zu verstehen, was man ihr delegiert — sonst macht sie abhängig statt kompetent.

Nicht die KI muss man im Auge behalten, sondern die eigene Disziplin: Sie füllt die Lücken nur, wenn man sie ihr lässt.