AI-inhoudsdetectoren. Zijn ze het waard? | AI in het bedrijfsleven #38

Vandaag de dag presenteren ontwikkelaars van AI-inhoudsdetectoren deze als hulpmiddelen om authenticiteit te waarborgen. De vraag is, zijn ze het vertrouwen en de investering waard? In dit artikel bekijken we hoe AI-inhoudsdetectoren werken, waarom ze mogelijk uitsterven, welke uitdagingen ze met zich meebrengen en de ethische dilemma’s die ze oproepen.

AI-inhoudsdetectoren

AI-inhoudsdetectoren zijn gebaseerd op taalmiddelen die vergelijkbaar zijn met die welke worden gebruikt om AI-inhoud te genereren. Ze kunnen worden onderverdeeld in diegenen wiens taak het is om de oorsprong van afbeeldingen, teksten en muziek die met de steun van kunstmatige intelligentie zijn gegenereerd, te controleren. Elk type “AI-detector” werkt iets anders, maar geen van hen kan met absolute zekerheid onderscheid maken tussen door mensen gemaakte en door AI gegenereerde inhoud.

AI-gegenereerde afbeeldingsdetectoren spelen een steeds belangrijkere rol vanwege de kracht van de media om nepnieuws te genereren. Ze analyseren anomalieën, onderscheidende stijlen en patronen, en zoeken naar tekenen die zijn achtergelaten door modellen zoals DALL-E.

Opvallend onder de detectoren die worden gebruikt om afbeeldingen te identificeren, is de “AI or Not” tool van Optic, die gebruikmaakt van afbeeldingsdatabases die zijn gegenereerd door Midjourney, DALL-E en Stable Diffusion. Hoewel de resultaten onzeker zijn, is het een stap in de richting van het ontwikkelen van nauwkeurigere identificatiemethoden in de toekomst.

Bron: AI or Not (https://www.aiornot.com/)

Achter de werking van AI-detectoren die AI-gegenereerde teksten herkennen, staan geavanceerde algoritmen die de structuur en woordkeuze van de tekst analyseren en vervolgens AI-specifieke patronen herkennen. Ze maken gebruik van:

• classifiers – een algoritme dat tekst classificeert en stijl, toon en grammatica controleert. Bijvoorbeeld, een productbeschrijving die bij elk product van zijn type zou kunnen passen, kan worden geclassificeerd als een AI-creatie,
• embeddings – numerieke representaties van woorden die machines in staat stellen de context van hun gebruik te begrijpen. Het is dankzij hen dat het programma “begrijpt” dat een tekst met een eentonige selectie van woorden het werk van AI kan zijn,
• perplexity – wat een maat is voor de onvoorspelbaarheid van een tekst. Teksten geschreven door mensen hebben de neiging een hogere perplexiteit te hebben, hoewel teksten die inherent eenvoudig, utilitair in typische vorm, of geschreven door buitenlanders zijn, ten onrechte als AI-gegenereerd kunnen worden geclassificeerd,
• diversiteit – deze factor beschrijft de variabiliteit in zinslengte en -structuur. Mensen hebben de neiging om meer gevarieerde teksten te schrijven dan kunstmatige intelligentie.

De hierboven genoemde elementen worden samen gebruikt door AI-inhoudsdetectoren om te beoordelen of we te maken hebben met door mensen gemaakte of door machines gemaakte tekst.

Waarom AI-inhoudsdetectoren gebruiken?

AI-inhoudsdetectoren werken in verschillende gebieden – van onderwijs tot marketing en werving. Hier zijn de belangrijkste redenen om ze als hulpmiddel te gebruiken bij evaluatie, maar niet als definitief bewijs of de inhoud is gegenereerd:

• Identificatie van AI-aangepaste foto’s van bekende mensen – om te detecteren of de foto een echte situatie afbeeldt,
• Voorkomen van desinformatie – In de context van het bestrijden van desinformatie helpen effectieve AI-inhoudsdetectoren sociale media-moderatoren bij het detecteren van verspreiding van valse informatie om repetitieve inhoud die door bots is gegenereerd te identificeren en te elimineren,
• Beperken van de publicatie van teksten van lage waarde – AI-inhoudsdetectoren kunnen uitgevers helpen teksten te verwerpen die generieke informatie bevatten die is gegenereerd door ChatGPT, Bing of Bard na het typen van een eenvoudige zoekopdracht.

Het is echter de moeite waard om te onthouden dat de oorsprong van de tekst niet de basis is voor Google’s verlaging van de ranking van een site. De blog van Google’s Search Center stelt dat het voor Google essentieel is om “kwaliteitsinhoud te belonen, ongeacht hoe deze is gemaakt […]. Automatisering wordt al lang gebruikt om nuttige inhoud te genereren, zoals sportuitslagen, weersvoorspellingen en transcripties. AI kan nieuwe niveaus van expressie en creativiteit openen en een belangrijk hulpmiddel zijn ter ondersteuning van de creatie van geweldige webinhoud.”

Onbetrouwbaarheid van AI-inhoudsdetectoren. Realiteit of mythe?

Hoewel AI-inhoudsdetectoren alomtegenwoordig zijn, kan hun effectiviteit twijfelachtig zijn. De belangrijkste problemen zijn:

• lage efficiëntie bij het detecteren van AI-inhoud,
• problemen met valse positieven, evenals
• moeilijkheden bij het aanpassen van detectoren aan snel diversifiërende en verbeterende nieuwe AI-modellen.

Tests uitgevoerd door OpenAI toonden aan dat hun classifier GPT-gegenereerde tekst slechts 26% van de tijd herkende. Een interessant voorbeeld van de onbetrouwbaarheid van generators kan worden gezien in een experiment uitgevoerd door TechCrunch, dat aantoonde dat de GPTZero-tool vijf van de zeven AI-gegenereerde teksten correct identificeerde. Terwijl de OpenAI-classifier er slechts één identificeerde.

Bron: GPTZero (https://gptzero.me/)

Bovendien bestaat het risico van een valse positieve, dat wil zeggen, het identificeren van tekst geschreven door een mens als AI-gegenereerd. Bijvoorbeeld, het begin van het tweede hoofdstuk van Miguel de Cervantes’ Don Quichot werd door de OpenAI-detector gemarkeerd als waarschijnlijk geschreven door kunstmatige intelligentie.

Hoewel fouten in de analyse van historische literaire teksten kunnen worden behandeld als een amusante curiositeit, wordt de situatie ingewikkelder wanneer we detectoren willen gebruiken als hulpmiddelen voor het evalueren van teksten. De Amerikaanse Grondwet werd door ZeroGPT gemarkeerd als 92,15% geschreven door kunstmatige intelligentie. En volgens een studie gepubliceerd door onderzoekers van de Stanford Universiteit, werden 61% van de TOEFL-essays geschreven door niet-native Engelssprekende studenten geclassificeerd als AI-gegenereerd. Helaas zijn er geen gegevens over hoe hoog het percentage teksten is dat ten onrechte als positief is geclassificeerd in andere talen.

Een ander probleem is de wijziging van classificatie bij volgende runs van de detector. Dit komt omdat het vaak voorkomt dat een detector zoals ZeroGPT of Scribbr de classificatie van tekstfragmenten verandert, die het de ene keer als AI-gegenereerd markeert en de andere keer als door mensen geschreven.

Bron: Scribbr (https://www.scribbr.com/ai-detector/)

AI-afbeelding- en videodetectoren worden voornamelijk gebruikt om deepfakes en andere AI-gegenereerde inhoud te identificeren die kunnen worden gebruikt om desinformatie te verspreiden.

Huidige detectietools zoals Deepware, Illuminarty en FakeCatcher bieden geen testresultaten over hun betrouwbaarheid. In de juridische context van het detecteren van AI-gegenereerd visueel materiaal zijn er initiatieven om watermerken toe te voegen aan AI-afbeeldingen. Dit is echter een zeer onbetrouwbare manier – je kunt eenvoudig een afbeelding zonder watermerk downloaden. Midjourney hanteert een andere benadering van watermerken, waarbij het aan de gebruikers wordt overgelaten om te beslissen of ze een afbeelding op deze manier willen watermerken.

Het vermijden van AI-detectie. Is het mogelijk en hoe?

Ondernemers moeten zich ervan bewust zijn dat AI-inhoudsdetectoren geen vervanging zijn voor menselijke kwaliteitsbeoordeling en niet altijd betrouwbaar zijn. Hun praktische onderhoudsproblemen kunnen aanzienlijke moeilijkheden met zich meebrengen, net als het proberen te voorkomen dat je inhoud als AI-gegenereerd wordt geclassificeerd. Vooral wanneer de AI simpelweg een hulpmiddel is in de handen van een professional – dat wil zeggen, het is geen “inhoud gegenereerd door AI”, maar eerder “inhoud die in samenwerking met AI is gecreëerd.”

Het is relatief eenvoudig om iemand toe te voegen aan de gegenereerde materialen, zodat de manier waarop ze zijn gemaakt echt moeilijk te detecteren is. Als de persoon die generatieve AI gebruikt weet welk effect hij wil bereiken, kan hij eenvoudig handmatig de resultaten aanpassen.

De basisvraag ligt in de reden achter onze wens om detectie te vermijden als de inhoud door AI is gegenereerd.

• Als dit een ethisch probleem is en bijvoorbeeld de auteurschap van gepubliceerde wetenschappelijke onderzoeken betreft – dan moet men vertrouwen op de professionele ethiek van de wetenschapper en het verantwoord gebruik van AI-gebaseerde tools.
• Als de werkgever wil dat werknemers afzien van het gebruik van AI – dan blijft er een contractuele regeling voor het gebruik van generatieve kunstmatige intelligentie.

Het roept ook de vraag op of we verantwoord gebruik van AI willen bevorderen door middel van verboden en detractors (ZeroGPT en GPTZero!), of door middel van een waardering voor transparantie, vertrouwensopbouw en eerlijk gebruik van geavanceerde technologieën.

Bron: ZeroGPT (https://www.zerogpt.com/)

Samenvatting

Het antwoord op de vraag of AI-inhoudsdetectoren het gebruik waard zijn, is verre van duidelijk. AI-inhoudsdetectoren zijn nog in ontwikkeling, en hun toekomst is moeilijk te voorspellen. Eén ding is zeker – ze zullen evolueren samen met de ontwikkeling van AI-technologie. Vooruitgangen in AI, inclusief de toenemende mogelijkheid van taalmiddelen om de schrijfstijl van mensen na te volgen, betekent dat AI-inhouddetectie nog ingewikkelder kan worden. Voor bedrijven is dit een teken om deze ontwikkelingen te volgen en niet alleen op tools te vertrouwen, maar op hun beoordeling van inhoud en de geschiktheid ervan voor het doel waarvoor het is gemaakt. En om de snel ontwikkelende kunstmatige intelligentie verstandig te gebruiken.

Als je onze inhoud leuk vindt, sluit je dan aan bij onze drukke bijengemeenschap op Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.