Det som var tänkt som ett verktyg för att hålla världens största uppslagsverk rent från maskingenererat skräp har fått en oavsiktlig effekt. Enligt en rapport från Wired används nu Wikipedias egna riktlinjer för AI-detektering som en manual för att bygga mer svårupptäckta chatbots.
Katt-och-råtta-leken mellan AI-genererat innehåll och mänsklig moderering har nått en ny, ironisk nivå. Volontärgruppen “WikiProject AI Cleanup” har under en tid arbetat intensivt med att identifiera och rensa bort innehåll på Wikipedia som skapats av artificiell intelligens. För att effektivisera arbetet sammanställde gruppen en fältguide över specifika “signaturer” som ofta avslöjar att en text inte är skriven av en människa.
Detekteringsmanualen blev ett facit för fusk
Enligt Wired har denna guide nu integrerats i ett insticksprogram (plug-in) utvecklat för att “humanisera” text från chatbots. Genom att mata in Wikipedias detekteringskriterier i verktyget kan utvecklare nu instruera sina AI-modeller att specifikt undvika de mönster som moderatorerna letar efter.
Detta innebär att dokumentet, som var avsett att skydda plattformens integritet, i praktiken har förvandlats till en ritning för att kringgå granskning.
De tekniska signaturerna
WikiProject AI Cleanup hade identifierat flera tydliga markörer som ofta förekommer i oredigerad AI-text. Dessa inkluderar:
- Överdriven användning av fetstil: AI-modeller tenderar ibland att överbetona nyckelord.
- Trasig markup: Kodfel i formateringen som sällan görs av vana Wikipedia-redaktörer.
- Specifika citeringsfel: Sättet källhänvisningar genereras på kan ibland avslöja maskinellt ursprung.
- Syntaktiska mönster: Återkommande frasbyggnader, exempelvis strukturen “It’s not X, it’s Y” (Det är inte X, det är Y), har flaggats som misstänkta.
Genom att systematiskt programmera bort dessa egenheter syftar det nya verktyget till att göra AI-genererade svar betydligt svårare att skilja från mänsklig text, både för mänskliga redaktörer och automatiserade detektionssystem.
Utvecklingen belyser den ständiga utmaningen inom generativ AI: så fort en metod för detektering blir allmänt känd, används den omedelbart för att träna nästa generations modeller att bli ännu bättre på att imitera oss.