Ghostwriter Sally McGraw hoopte een baan te krijgen bij het ontwikkelen van een boekvoorstel voor een potentiële klant. Maar nadat ze een schrijfvoorbeeld had ingediend, kreeg ze een onverwacht antwoord: een e-mail waarin stond dat meerdere detectietools voor kunstmatige intelligentie haar werk hadden gemarkeerd als machinaal gegenereerd.
“Ik was gevloerd omdat ik geen AI had gebruikt om de tekst te genereren”, zei McGraw. “Ik heb het allemaal zelf geschreven.”
Na meer dan twintig jaar als professionele non-fictieschrijver te hebben gewerkt, zei McGraw dat ze boos was omdat haar werk werd afgedaan als AI-geschreven.
“Weet je waar je een stripfiguur rood ziet worden vanaf zijn kin tot aan de kruin van zijn hoofd? Ik voelde dat mijn oren begonnen te branden,” zei ze. “Ik dacht: wat is er aan de hand?”
McGraw zei dat ze de cliënt verzekerde dat ze het voorstel zelf had geschreven, maar besloot de kwestie niet onder druk te zetten omdat ze de baan als ‘klein’ beschouwde.
In een e-mail aan NPR bevestigde de klant dat ze het werk van McGraw had gescreend op AI. Maar ze zei dat de resultaten niet de doorslaggevende factor waren bij de keuze om een andere schrijver in te huren, maar dat ze ervaring en geschiktheid aanhaalde. McGraw zegt dat ze betaald is voor haar schrijfvoorbeelden, maar is van mening dat de detectorresultaten haar de kans hebben gekost om het volledige boekvoorstel te schrijven.
Terwijl redacteuren moeite hebben om de groeiende toestroom van door AI gegenereerde inhoud bij te houden, wenden sommigen zich tot detectietools om het toenemende aantal inzendingen te helpen doorzoeken. Maar deze tools zijn niet perfect: het is bekend dat ze door mensen geschreven werk ten onrechte als AI markeren, waardoor schrijvers weinig idee hebben van wat het resultaat heeft veroorzaakt en hoe ze het tegendeel kunnen bewijzen.
“Iedereen weet dat deze screeners niet 100% nauwkeurig zijn”, zegt McGraw.
Redacteuren worden overweldigd door AI-geschreven inzendingen
Neil Clarke, uitgever en redacteur van , zegt dat een stortvloed aan AI-inzendingen bij het sciencefictionmagazine de redactie onder druk heeft gezet.
In 2021 ontving de publicatie ongeveer 1.100 inzendingen per maand. In februari 2023, nadat AI-agenten als ChatGPT, Claude en Gemini algemeen beschikbaar begonnen te worden, was dat aantal verdubbeld, waardoor Clarke gedwongen werd zijn indieningsportaal tijdelijk te sluiten. Hij schat dat zijn eigen werklast met ongeveer 30% is toegenomen.
“Het heeft een element van wantrouwen in het proces geïntroduceerd”, zei hij.
Wanneer AI-schrijfdetectoren het daar niet mee eens zijn
Hoewel AI-detectoren de afgelopen jaren steeds geavanceerder zijn geworden, erkennen de bedrijven achter de detectoren dat de tools niet onfeilbaar zijn. Onderzoekers hebben ontdekt dat verschillende AI-detectietools dramatisch verschillende conclusies kunnen trekken over hetzelfde stuk tekst.
In een studie gepubliceerd in juni in het International Journal for Educational Integrity vergeleken onderzoekers de nauwkeurigheid van vier veelgebruikte detectoren. Ze testten 160 academische papers, bestaande uit vier verschillende categorieën: volledig door mensen geschreven, volledig door AI geschreven, een combinatie van beide, en AI-materiaal dat door een mens is herschreven.
Van de vier detectoren was Pangram de meest consistente nauwkeurige, waarbij hij het gebruik van AI correct identificeerde in 37 van de 40 artikelen met de gecombineerde tekst en in 37 van de 40 artikelen waarin een mens door AI gegenereerde tekst herschreef.
Pangram-CEO Max Spero zei in een per e-mail verzonden verklaring dat de detector van zijn bedrijf fouten kan maken, vooral als er niet veel te evalueren valt.
Eerder gepubliceerde teksten kunnen een bijkomend probleem opleveren, zegt Chris Callison-Burch, hoogleraar computer- en informatiewetenschappen aan de Universiteit van Pennsylvania.
“Veel AI-detectoren werken door aan een groot taalmodel te vragen hoe voorspelbaar een passage is”, aldus Callison-Burch. “Het addertje onder het gras is dat de taalmodellen ook de neiging hebben om tekst uit hun trainingsgegevens ongebruikelijk voorspelbaar te vinden.”
Dat zou kunnen verklaren wat wetenschapsblogger Janelle Shane eind 2022 tegenkwam toen ze fragmenten uit haar boek uit 2019 over de werking van AI testte. Eén detector rapporteerde een zekerheid van 98,7% dat een doorgang door een machine werd gegenereerd.
“Dit is een duidelijk, fel, knipperend vals positief signaal”, zei Shane. “Deze tekst had ik zelf geschreven.”
Een ongepubliceerd concept zoals het schrijfvoorbeeld van McGraw zou dat specifieke probleem niet onder ogen zien, zei Callison-Burch, maar zou nog steeds ten onrechte kunnen worden gemarkeerd op basis van patronen in de schrijfstijl.
Detectoren zoeken naar aanwijzingen in woordkeuze, interpunctie en de manier waarop zinnen zijn samengesteld. Het woord ‘delve’, veelvuldige em-streepjes en ideeën gegroepeerd in lijsten van drie kunnen een AI-positief resultaat opleveren, zei hij. Dat geldt ook voor het openen van zinnen met bijwoorden als ‘opmerkelijk’ of ‘cruciaal’, of het stellen van een vraag, onmiddellijk gevolgd door het beantwoorden ervan.
Tegelijkertijd zijn dit vertrouwde gewoonten voor menselijke schrijvers. Callison-Burch zegt dat detectoren patronen over een heel stuk wegen, dus een em-streepje of een bepaald woord alleen betekent niet noodzakelijkerwijs dat er een bot is gebruikt.
Wat staat er op het spel voor schrijvers?
De Authors Guild, een organisatie die opkomt voor de rechten van schrijvers, zei in mei dat het gebruik van AI-detectoren “een omgeving creëert die doet denken aan heksenjachten”, waarbij schrijvers zich zorgen maken over valse beschuldigingen en hoe ze zichzelf kunnen verdedigen.
“Een vals-positief kan een auteur zijn publicatiecontract en reputatie kosten, en een vals-negatief, wanneer door AI gegenereerd werk onopgemerkt door een gerenommeerde uitgeverij glipt, kan ervoor zorgen dat lezers hun vertrouwen in auteurs en de industrie verliezen”, schreef de Guild.
Clarke, de uitgever van sciencefictiontijdschriften, zit ergens in het midden. Hij zegt dat hoewel hij zelf geen AI-detectoren gebruikt om inkomende manuscripten te screenen, hij denkt dat bepaalde detectietools overweldigde redacteuren kunnen helpen het volume beheren, op voorwaarde dat ze de bevindingen van de detector controleren. Maar hij waarschuwt ervoor om verdenkingen niet om te zetten in beschuldigingen die de reputatie van een schrijver kunnen schaden.
“Inzendingen moeten eindigen in een afwijzing, niet in een beschuldiging”, zei hij.
McGraw zegt dat de angst voor een nieuwe beschuldiging de manier waarop ze schrijft heeft veranderd. Ze zegt dat ze nu bepaalde woorden en zinsconstructies vermijdt en af en toe komma’s weglaat die ze vroeger gebruikte, in de hoop dat de inconsistentie zal helpen bewijzen dat een mens de tekst heeft geschreven.
“Ik mis mijn em-dash. Het was iets dat ik op de journalistiekschool heb geleerd en ik gebruik het al tientallen jaren”, zei ze.
De ghostwriter ziet ook de ironie. Grote taalmodellen leren van menselijk proza, maar toch voelt ze de druk om het hare minder op AI te laten lijken.
“Het is net zoiets als proberen een machine voor de gek te houden door te denken dat ik geen machine ben”, zei McGraw.
En ze maakt zich zorgen over een nieuwe beschuldiging als er een grotere kans op het spel staat.
“Ik zet me schrap voor de tijd dat het een opdracht is waar ik echt naar streef en de uitkomst mij maakt of breekt”, zei ze.
