Czy detektory AI się mylą

Krótka odpowiedź brzmi: tak. Każdy detektor tekstu AI się myli, w obie strony. Czasem oznaczy tekst człowieka jako wygenerowany, czasem przepuści tekst z modelu. Ważne jest, by wiedzieć kiedy i jak ograniczać konsekwencje takich pomyłek.

Skąd biorą się fałszywe alarmy

Detektor nie widzi autora, tylko tekst. Ocenia, jak bardzo tekst przypomina to, co zwykle produkują modele językowe. Jeśli człowiek pisze w sposób bardzo uporządkowany i formalny, jego tekst może wyglądać statystycznie podobnie.

• Teksty formalne i urzędowe z natury mają równy rytm i utarte zwroty.
• Autorzy piszący w obcym dla siebie języku często upraszczają składnię.
• Krótkie teksty dają za mało sygnałów, więc wynik jest niepewny.
• Teksty poprawiane narzędziami do korekty zbliżają się do wygładzonego stylu.

Skąd biorą się przeoczenia

Tekst z modelu, który człowiek mocno przepisał, dodał własne przykłady i zmienił rytm zdań, przestaje mieć typowe sygnały. Podobnie działają parafrazery. Dlatego brak alarmu nie jest dowodem, że tekst napisał człowiek.

Dlaczego polszczyzna jest trudniejsza

Wiele narzędzi powstało pod angielski. Polska fleksja, swobodny szyk zdania i inne utarte zwroty zmieniają statystykę tekstu, więc progi przeniesione z angielskiego dają więcej błędów. Detektor ustawiony pod polszczyznę powinien patrzeć na frazy i konstrukcje typowe dla polskich tekstów z modeli.

Jak ograniczać skutki pomyłek

• Wybieraj tryb ostrożny, gdy ewentualna pomyłka krzywdzi autora.
• Patrz na ocenę zdań, a nie na jedną liczbę.
• Porównaj z innymi tekstami tego samego autora.
• Poproś o szkice i historię zmian dokumentu.
• Rozmawiaj, zanim wyciągniesz konsekwencje.

Szczególnie ważne jest porównanie z wcześniejszymi pracami. Jeśli nagle zmienia się słownictwo, rytm i poziom wiedzy, to mocniejszy sygnał niż sam wynik detektora.

Jak powinien mówić o sobie dobry detektor

Uczciwe narzędzie nie obiecuje skuteczności ani pewności. Podaje prawdopodobieństwo, pokazuje sygnały i zaznacza, że wynik nie jest dowodem. Jeśli ktoś obiecuje stuprocentową dokładność, to powód do ostrożności.

Sprawdź tekst w Sceptykach

Sceptycy pokazują wynik zdanie po zdaniu i podają sygnały, dzięki czemu możesz samodzielnie ocenić, czy wskazanie ma sens. Wynik to prawdopodobieństwo, a ostateczne wnioski zawsze powinny wynikać z rozmowy z autorem.