Bijna eenderde van de opiniestukken in De Volkskrant blijkt geschreven door een taalmodel

De eerste nieuwsbrief van september! Daarin wil ik twee dingen met je bespreken:

• Kranten blijken vol te zijn met opiniestukken die door AI zijn geschreven, terwijl ze dat niet willen.
• Een liveblog is geen vervanging van een artikel.

Kranten blijken vol te zijn met opiniestukken die door AI zijn geschreven, terwijl ze dat niet willen

Eén op de vijf opiniestukken in de grote landelijke kranten is geschreven door of in ieder geval met behulp van een taalmodel. Dat concludeert AI Report op basis van een analyse die het heeft gedaan. De Volkskrant scoort het slechtst, bij bijna eenderde van alle opiniestukken in de krant heeft een taalmodel het schrijfwerk gedaan.

Alexander Klöpping heeft voor de analyse een AI-agent aan het werk gezet die vervolgens geautomatiseerd openiniestukken uit de grote Nederlandse kranten door AI-detectietool Pangram heeft gegooid. Dat is de meest toonaangevende tool om het gebruik van generatieve AI te herkennen. Pangram heeft een zeer lage foutmarge, zowel op het gebied van false positives (door een mens geschreven artikelen die als AI worden bestempeld) en false negatives (een stuk dat door AI geschreven is, wordt niet als dusdanig herkend).

Pangram claimt een accuraatheid van ruim 99 procent, al verschilt dat wel per taalmodel. Alexander Klöpping twijfelde zelf of het in het Nederlands ook goed genoeg werkt en voerde daarom een controle uit:

Ik twijfelde bijvoorbeeld over de betrouwbaarheid van AI-detector Pangram bij Nederlandse teksten. Toen ik die twijfel deelde met Claude suggereerde hij om opiniestukken uit de Volkskrant van vóór 2022, vóór de komst van ChatGPT dus, voor te leggen aan Pangram – die werden allemaal correct herkend als ‘door een mens geschreven’. Ook schreef Claude autonoom meerdere opiniestukken over typisch Nederlandse onderwerpen (over de woningmarkt, het lerarentekort, netcongestie, etcetera), en die werden allemaal terecht herkend als AI-gegenereerd.

Bovenstaande quote van Klöpping, die in AI Report staat, heb ik overigens voor de vorm ook even door Pangram gehaald en is "100% human written" volgens de tool. De opinie-artikelen in de Nederlandse kranten dus niet. Een overzicht van de resultaten: