Forscher der Universität des Saarlandes und des Max-Planck-Instituts für Softwaresysteme haben gezeigt, dass Menschen und große Sprachmodelle komplexen oder irreführenden Programmcode auf ähnliche Weise verarbeiten. Messungen der Hirnaktivität und Analysen von KI-Systemen ergaben, dass Unsicherheit bei beiden an denselben Stellen im Code ansteigt.
Ähnliche Reaktionen von Mensch und KI auf schwierigen Code
Wie die Universität des Saarlandes am Donnerstag mitteilte, zeigten sowohl menschliche Testpersonen als auch KI-Systeme an denselben Stellen im Code erhöhte Unsicherheit. In der Studie verglichen die Wissenschaftler die Hirnaktivität von Probanden, die mit EEG und Eye-Tracking gemessen wurde, mit der Vorhersageunsicherheit von Sprachmodellen.
Dabei stellten sie fest, dass die sogenannte „Late Frontal Positivity“ im Gehirn genau dort anstieg, wo auch die KI-Modelle Unsicherheitssprünge zeigten. Die Übereinstimmung zwischen menschlicher Hirnaktivität und KI-Unsicherheit war den Forschern zufolge „signifikant“.
Algorithmus findet unklare Code-Stellen
Auf Basis dieser Erkenntnisse entwickelten die Forscher ein datengetriebenes Verfahren, das unklare Stellen im Code automatisch erkennt. Der Algorithmus identifizierte in Tests erfolgreich über 60 Prozent der bekannten verwirrenden Strukturen und entdeckte mehr als 150 neue Muster.
Akzeptiert für internationale Fachkonferenz
Die aktuell als Pre-print veröffentlichte Studie wurde bei der „International Conference on Software Engineering“ (ICSE), einer der weltweit führenden Fachkonferenzen im Bereich der Softwareentwicklung, zur Veröffentlichung akzeptiert. Die Konferenz wird im April 2026 in Rio de Janeiro stattfinden.
