Wie zuverlässig sind KI-Detektoren wirklich?

Nur begrenzt: In der Weber-Wulff-Studie von 2023 erreichte keines von 14 getesteten Tools, darunter Turnitin, mehr als 80 % Genauigkeit. Eine Stanford-Studie zeigte zudem, dass über 61 % der Texte von Nicht-Muttersprachlern fälschlich als KI markiert wurden. Als alleiniger Beweis für einen Täuschungsvorwurf sind KI-Detektoren daher ungeeignet.

Ob ein KI-Detektor zuverlässig ist, lässt sich nicht anhand eines einzelnen Prozentwerts beantworten. Die Systeme analysieren statistische Sprachmuster, erkennen aber nicht direkt, wer einen Text verfasst hat. Deshalb können sie sowohl KI-generierte Inhalte übersehen als auch menschliche Texte falsch einstufen.

Damit ein KI-Detektor zuverlässig eingesetzt werden kann, muss das Ergebnis immer im Zusammenhang mit weiteren Beobachtungen bewertet werden. Als erstes Warnsignal kann ein Tool nützlich sein. Es ersetzt jedoch weder die fachliche Prüfung noch einen nachvollziehbaren Nachweis. Zwei wissenschaftliche Studien aus dem Jahr 2023 zeigen besonders deutlich, wo die Grenzen liegen.

Weber-Wulff et al. untersuchten in „Testing of detection tools for AI-generated text“ insgesamt 14 Systeme: zwölf frei zugängliche Tools sowie Turnitin und PlagiarismCheck. Geprüft wurde die KI-Detektor-Genauigkeit bei unbearbeiteten KI-Texten und nach verschiedenen Formen der Überarbeitung.

Keines der getesteten Tools überschritt eine Genauigkeit von 80 %. Nur fünf der 14 Systeme lagen über 70 %. Auch die Turnitin-KI-Erkennung und ihre Genauigkeit erreichten damit kein Niveau, das einen sicheren Alleinnachweis ermöglichen würde. Ein bekannter Markenname oder die Nutzung durch Hochschulen sagt noch nichts darüber aus, ob ein KI-Detektor zuverlässig genug für eine konkrete Entscheidung ist.

Die Fehler traten in beide Richtungen auf. Dreizehn von 14 Tools produzierten false negatives und stuften KI-generierte Texte zumindest teilweise als menschlich ein. Sechs Systeme erzeugten false positives, bei denen menschliche Texte fälschlich als KI-generiert markiert wurden. Die Ergebnisse hängen somit stark vom verwendeten Tool, vom Texttyp und von der jeweiligen Prüfmethode ab.

Besonders deutlich wurden die Schwächen bei überarbeiteten Texten. Nach manueller Bearbeitung sank die durchschnittliche Erkennungsrate auf rund 42 %. Bei maschinell paraphrasierten Texten lag sie nur noch bei etwa 26 %. Bereits begrenzte Änderungen konnten die Klassifikation also erheblich beeinflussen.

Die Studie erklärt auch, warum sich Fragen wie „Ist GPTZero zuverlässig?“ oder „Ist Originality.ai zuverlässig?“ nicht pauschal beantworten lassen. Die Leistung eines Systems ist kein stabiler, allgemeingültiger Wert. Sie verändert sich je nach Datensatz, Textsorte, Sprache und Bearbeitungsgrad. Herstellerangaben allein reichen daher nicht aus.

Dieses Fazit bedeutet nicht, dass Detektoren grundsätzlich keine Hinweise liefern können. Manche Systeme erkennen vollständig maschinell erzeugte und unveränderte Texte vergleichsweise gut. Die KI-Detektor-Genauigkeit schwankt jedoch zu stark, um aus einem einzelnen Ergebnis direkt auf eine Täuschung zu schließen.

Liang et al. untersuchten in „GPT detectors are biased against non-native English writers“, wie verbreitete Erkennungssysteme englische Texte von Muttersprachlern und Nicht-Muttersprachlern bewerten. Analysiert wurden unter anderem TOEFL-Essays, die nachweislich von Menschen verfasst worden waren.

Im Durchschnitt wurden über 61 % der Essays von Nicht-Muttersprachlern fälschlich als KI-generiert eingestuft. Die Texte englischer Muttersprachler wurden dagegen weitgehend korrekt klassifiziert. Damit belegt die Studie ein erhebliches Risiko für einen false positive durch einen KI-Detektor.

Ein Grund liegt in der Funktionsweise vieler Systeme. Perplexitätsbasierte Detektoren bewerten, wie vorhersehbar Wortwahl und Satzstruktur erscheinen. Texte von Nicht-Muttersprachlern können wegen eines begrenzteren Wortschatzes oder gleichmäßigerer Formulierungen statistisch „wahrscheinlicher“ wirken. Das Tool interpretiert solche Merkmale möglicherweise als KI-Signal, obwohl der Text selbstständig geschrieben wurde.

Für die KI-Erkennung bei Nicht-Muttersprachlern entsteht dadurch ein strukturelles Fairnessproblem. Sprachliche Einfachheit, ein vorsichtiger akademischer Stil oder wiederkehrende Satzmuster dürfen nicht automatisch mit maschineller Urheberschaft gleichgesetzt werden. Die Forschenden zeigten außerdem, dass sich der Bias durch sprachliche Anpassungen beeinflussen ließ. Auch deshalb kann ein KI-Detektor zuverlässig nur als begrenztes Indiz und nicht als objektive Feststellung dienen.

Trotz ihrer Schwächen verwenden manche Hochschulen KI-Detektoren als Screening-Instrument. Bei einer großen Zahl schriftlicher Arbeiten kann ein automatisierter Hinweis helfen, Texte auszuwählen, die anschließend genauer geprüft werden. Lehrende erhalten damit kein fertiges Urteil, sondern einen Anlass für eine vertiefte Kontrolle.

Die Tools können zudem für die Regeln zur KI-Nutzung sensibilisieren. Wenn Hochschulen transparent erklären, welche Hilfsmittel erlaubt sind und wie deren Einsatz offengelegt werden muss, können technische Prüfungen auch eine abschreckende Wirkung entfalten.

Entscheidend ist die Art der Anwendung. Soll ein KI-Detektor zuverlässig in ein Prüfverfahren eingebunden werden, muss das Resultat mit weiteren Beobachtungen abgeglichen werden. Dazu gehören auffällige Quellen, deutliche Stilwechsel, fachliche Widersprüche oder fehlende Arbeitsschritte. Ohne diesen Kontext vermittelt eine Prozentanzeige eine Sicherheit, die das Verfahren nicht leisten kann.

KI-Detektoren sind daher weder vollständig wertlos noch ausreichend verlässlich. Als erster Hinweis können sie hilfreich sein. Als alleinige Grundlage für einen Täuschungsvorwurf oder eine Sanktion sind sie nach der Studienlage ungeeignet.

Für Studierende ist der wichtigste praktische Schluss: Ein KI-Detektor ist kein Beweis. Ein hoher Wert zeigt nur, dass das System bestimmte statistische Muster erkannt hat. Er belegt weder die Nutzung eines konkreten Programms noch eine fehlende Eigenleistung.

Ein Verdacht kann sich jedoch aus mehreren Indizien ergeben. Dazu zählen nicht existierende Quellen, erfundene Zitate, untypische Stilbrüche, widersprüchliche Fachbegriffe oder Schwierigkeiten, die eigene Argumentation in einer mündlichen Nachprüfung zu erläutern. Ein sogenannter Anscheinsbeweis stützt sich daher auf ein Gesamtbild und nicht auf einen einzelnen Detektorwert.

Wer eine Arbeit selbst verfasst hat, sollte den Entstehungsprozess möglichst nachvollziehbar dokumentieren. Notizen, Gliederungen, Literaturverwaltung, gespeicherte Entwürfe und Versionsverläufe können die eigenständige Bearbeitung stützen. Der Beitrag was tun bei einem KI-Vorwurf in der Hausarbeit erläutert, welche Unterlagen in einer solchen Situation relevant sein können.

Wie technische Hinweise, inhaltliche Auffälligkeiten und persönliche Nachfragen zusammenspielen, zeigt außerdem der Überblick wie Hochschulen KI und Ghostwriting aufdecken.

Für zu Unrecht Beschuldigte ist die Studienlage ein wichtiges Gegenargument: Wenn kein getestetes Tool 80 % Genauigkeit erreicht und bestimmte Gruppen besonders häufig falsch markiert werden, darf ein automatischer Wert nicht als abschließender Nachweis behandelt werden. Ob ein KI-Detektor zuverlässig genug für eine konkrete Entscheidung ist, muss im Einzelfall und zusammen mit weiteren Indizien geprüft werden.

Dieser Beitrag stellt keine Rechtsberatung dar. Welche Schritte sinnvoll sind, hängt von der jeweiligen Prüfungsordnung, dem Verfahren und den konkreten Vorwürfen ab.

• Weber-Wulff et al. (2023): Testing of detection tools for AI-generated text. DOI: 10.1007/s40979-023-00146-z
• Liang et al. (2023): GPT detectors are biased against non-native English writers. DOI: 10.1016/j.patter.2023.100779
• anwalt.de: Nutzung von KI im Studium zwischen Unterstützung und Regelverstoß
• Pöppel Rechtsanwälte: ChatGPT in der Hausarbeit – gerichtlicher Kontext

Hinweis zur Aktualität: Die zentralen Messwerte stammen aus Studien des Jahres 2023. KI-Modelle und Erkennungssysteme entwickeln sich weiter. Die Ergebnisse bleiben dennoch relevant für die Frage, ob ein KI-Detektor zuverlässig genug ist, um allein als Nachweis verwendet zu werden.