Die neue KI-Verordnung der EU (AI Act) schreibt unter anderem vor, dass KI-generierte Texte als solche kenntlich gemacht werden müssen. Angesichts der rasanten steigenden Nutzung darf allerdings bezweifelt werden, dass maschinelle Textproduktion durchgängig offengelegt wird. Als Gegenmaßnahme bieten sich KI-Detektoren an. Dieser Überblick zeigt, welche Tools zur KI-Erkennung es gibt, und wie wirksam sie sind.

Laut der KI-Verordnung, die inzwischen geltendes Recht in Deutschland ist, müssen alle KI-basierenden Texte gekennzeichnet werden, die von öffentlichem Interesse sind. Im Artikel 50 heißt es dazu: „…muss offenlegen, dass der Text künstlich generiert oder manipuliert wurde.“ Dies betrifft insbesondere Bereiche wie Journalismus und aktuelle Berichterstattung. Ausnahmen gelten dann, wenn redaktionell überprüft wird oder Personen die inhaltliche Verantwortung übernehmen.

Die Frage ist allerdings, ob und wie das überhaupt kontrolliert werden kann. Um auf Nummer Sicher zu gehen, bietet sich der Einsatz von Tools an, die einen KI-Ursprung aufdecken können. Aktuell werben zahllose Anbieter von Apps damit, das sie das leisten können, zum Beispiel NoPlagiat, das hier im Bild zu sehen ist.

So funktioniert eine KI-Detektor

Um von einer KI erstelle Inhalte aufzuspüren, suchen KI-Checker nach verschiedenen Merkmalen. Dazu zählen wiederkehrende Phrasen, gleichbleibende Satzstrukturen sowie das Fehlen persönlicher Aspekte in Texten. Anhand solcher Muster kann ein KI-Detektor erkennen, ob Inhalte von Menschen oder von einer KI erstellt wurden.

Aktuell existieren in der Forschung drei Verfahren, die dafür geeignet sind:

• Maschinelles Lernen: Klassifikatoren lernen anhand von Beispieltexten, müssen jedoch für viele Textarten trainiert werden, was aufwendig ist.
• Digitale Wasserzeichen: Unsichtbare Wasserzeichen im Text, die durch Algorithmen erkannt werden können. Anbieter der KI-Tools müssten diese Wasserzeichen einfügen, was unwahrscheinlich ist.
• Statistische Kennwerte: Erfordert Zugriff auf Wahrscheinlichkeitswerte der Texte, was ohne API-Zugriff schwierig ist.

Angesichts der rasanten Dynamik der Technologie ist allerdings fraglich, wie zuverlässig das Aufspüren funktioniert. In einem Beitrag auf Heise.de stellt Melissa Heikkilä dazu fest: „Die enorme Geschwindigkeit der Entwicklung in diesem Sektor bedeutet, dass jegliche Methoden, KI-generierte Texte zu erkennen, sehr schnell wieder sehr alt aussehen.“

OpenAI hat sein Tool wieder vom Markt genommen

Der Marktführer OpenAI nahm sich selber der Problematik an und veröffentlichte Anfang 2023 den AI Text Classifier, um KI-generierte Texte zu erkennen. Die Erkennungsrate lag mit 26 Prozent allerdings sehr niedrig, und 9 Prozent der menschlichen Texte wurden fälschlicherweise als KI-Texte eingestuft. Aufgrund dieser unzureichenden Genauigkeit wurde das Tool Mitte 2023 wieder vom Markt genommen. Eine neue Version des Tools ist bisher nicht verfügbar.

Das Beispiel zeigt, dass die Erwartungen an KI-Erkennungstools nicht zu hoch sein sollten. Manchmal ist es besser, sich als Leser selber Gedanken zum Ursprung von Inhalten zu machen. Folgenden Überlegungen sollten berücksichtigt werden, um zu entscheiden, ob ein Text von einem Menschen oder von einer KI erstellt wurde:

• KI-generierte Texte sind oft wenig originell und abwechslungsreich und enthalten viele Wiederholungen, während menschliche Autoren beim Schreiben mehr variieren.
• Ein Stil mit vielen aneinandergereihten Schlüsselwörtern könnte ebenfalls auf eine KI als Urheber hinweisen.
• KI-Tools machen häufig Fehler bei Abkürzungen und Fachbegriffen sowie bei Konjunktionen.

Test: Was KI-Detektoren erkennen, und was nicht

Es gibt inzwischen einiges an Apps zur KI-Aufdeckung, von kostenlos und werbefinanziert bis kostenpflichtig. Auf diesen beiden Seiten finden Sie Übersichten:

• Best AI Detector | Free & Premium Tools Compared: https://www.scribbr.com/ai-tools/best-ai-detector/
• The best AI content detectors in 2024: https://zapier.com/blog/ai-content-detector/

Ich habe meine Tests mit NoPlagiat gemacht. Das Tool wird mit gut bis sehr gut bewertet und erkannte zuverlässig Texte, die ich von Microsoft Copilot in Edge erstellen ließ.

Testdurchgang 1:

Folgender Prompt kam für den Test zum Einsatz: “Zähle die Planeten in unserem Sonnensystem auf. Gehe darauf ein, welcher der größte und welcher der kleinste ist. Nenne die größten Monde. Wie alt ist unser Sonnensystem? Erläutere, wie unser Sonnensystem entstanden ist. Formulieren die Antwort als wissenschaftlichen Aufsatz.”

Ergebnis:

Testdurchlauf 2

Nun wurde eine kleine Anpassung des Prompts vorgenommen, was noplagiat ins Straucheln brachte:

Prompt: Zähle die Planeten in unserem Sonnensystem auf. Gehe darauf ein, welcher der größte und welcher der kleinste ist. Nenne die größten Monde. Wie alt ist unser Sonnensystem? Erläutere, wie unser Sonnensystem entstanden ist. Formulieren die Antwort als wissenschaftlichen Aufsatz. Nutze den Schreibstil von Stephen King.

Ergebnis:

Nur durch diese kleine Ergänzung im Prompt wurde die Quote von 79 auf 37 Prozent reduziert. Gut, einen Aufsatz über unser Sonnensystem will man vielleicht nicht im Schreibstil von Stephen King. Das Beispiel macht allerdings deutlich, wo die Schwächen der aktuellen Lösungen liegen.

Testdurchlauf 3

Nun der Test mit Texten, die zu 100 Prozent von einem menschlichen Autor erstellt wurden. In diesem Beispiel handelt es sich um den Abstract meines neuen Romans, der gerade kurz vor der Fertigstellung steht:

Die nächste Generation von KI-Apps wird komplexer

Das Anreichern von KI-generierten Texten mit Inhalten, das Reviewen der Texte und Hinzufügen von Textpassagen aus anderen Quellen ist es, was die nächste Version der KI-Apps unterscheidet. Hier ist es so, dass man die Antwort auf seinen Prompt auch nicht sofort erhält, sondern dass das auch mal ein paar Stunden dauern kann. Bei Studytexter.de zum Beispiel bis zu 4 Stunden.

Hier drei Beispiele für solche Lösungen:

• https://studytexter.de/: Zitat von der Homepage – Deine gesamte Hausarbeit auf Knopfdruck in unter 4 Stunden. Neuartige KI-Textsynthese – extra für deutsche wissenschaftliche Arbeiten. 1000x besser als ChatGPT.
• https://neuroflash.com/de/: Zitat von der Homepage – Stärke dein Marketing mit personalisierten KI-Inhalten. Die All-in-One-Lösung für markenkonforme Inhalte mit KI, von der Ideenfindung bis zur Content Erstellung und Optimierung. neuroflash hilft Marketing-Teams dabei, Zeit zu sparen, für eine einheitliche Botschaft zu sorgen und kreative Prozesse zu verbessern.
• https://thezimmwriter.com/: ZimmWriter ist die weltweit erste KI-Software zum Schreiben von Inhalten für Microsoft Windows. Damit können Sie die von OpenAI bereitgestellte KI direkt auf Ihrem Desktop nutzen! -> Anmerkung: Die App wirbt mit 10 angeblich einzutragenden Funktionen und vielen Details, die generierte Texte einzigartig machen sollen.

Fazit: Verlässliche Prüfung ist kaum zu leisten

Bei vielen Standard-Texterzeugungen von KI-Apps liefern KI-Detektoren ordentliche Erkennungsgenauigkeit. Allerdings sieht die Praxis anders aus. Autoren und Texterzeuger prüfen in der Regel den Output, passen an und formulieren um. Sobald auf diese Weise in KI-Texte eingegriffen und modifiziert wird, ist es aktuell nicht verlässlich prüfbar, ob ein Text von einer KI erstellt wurde oder nicht.