Kan een tussenpartij de oplossing bieden voor het onbetaald scrapen van je site door AI-bedrijven?

Het is alweer woensdag en dat betekent dat je als betalend lid een nieuwsbrief van me krijgt. Deze week wil ik het hebben over een mogelijke oplossing voor het gebruik van de inhoud van websites door AI-bedrijven, zonder dat daarvoor betaald wordt.

Cloudflare wil ervoor zorgen dat sites betaald krijgen door AI-bedrijven

Een maand geleden maakte Cloudflare bekend dat het standaard AI-crawlers van techbedrijven gaat blokkeren. Het is mogelijk om via het bestand robots.txt aan te geven dat specifieke crawlers (bijvoorbeeld die van OpenAI of Meta) je site niet mogen bezoeken, maar dat heeft twee nadelen:

1. Je moet weten welke crawlers er precies zijn. Vervolgens moet je deze allemaal handmatig toevoegen aan robots.txt. Er komen steeds nieuwe techbedrijven bij die AI-crawlers loslaten op het internet en in het verleden hebben sommige bedrijven de naam van hun crawler veranderd, waardoor je dat bedrijf opnieuw moet blokkeren.
2. De bedrijven/crawlers moeten het verbod dat je toevoegt aan robots.txt honoreren. Technisch houdt niks ze tegen om alsnog je site leeg te trekken. Er zijn de afgelopen twee jaar dan ook voorbeelden geweest van techbedrijven die het verbod van een site-eigenaar in robots.txt negeerden.

Cloudflare biedt een technische oplossing tegen AI-crawlers, waardoor ze via technische beperkingen simpelweg geen toegang krijgen tot je site. Het bedrijf beschermt websites nu al tegen DDoS-aanvallen en misbruik en het is relatief makkelijk om de technologie die het heeft ook in te zetten tegen AI-crawlers. Het begon daar eerder al mee, maar dan alleen op verzoek van gebruikers, voortaan staat het standaar aan.

Dat de technologie nodig is om AI-crawlers tegen te houden, blijkt wel uit het handelen van Perplexity. Dat bedrijf kwam vorige zomer al in opspraak omdat het actief betaalmuren omzeilde om zonder toestemming nieuwssites leeg te trekken. Nu blijkt Perplexity ook blokkades van AI-crawlers actief te omzeilen, meldt Cloudflare.

Doordat Cloudflare al door zo'n 20 procent van alle websites op het internet wordt gebruikt, zorgt het blokkeren van AI-crawlers er daadwerkelijk voor dat er een soort gezamenlijke vuist wordt gemaakt tegen de techbedrijven die massaal sites leegtrekken om AI-modellen te trainen of actuele informatie op te halen om gebruikersvragen te beantwoorden.

Wat het bedrijf daarbij ook wil doen, is uiteindelijk, met toestemming van website-eigenaren, onderhandelen met techbedrijven over betaalde toegang tot websites. Grote uitgevers kunnen uiteraard deals sluiten met de grote techbedrijven, maar voor kleine spelers is dat niet te doen. Zowel niet aan de kant van de uitgevers, als niet aan de kant van de techbedrijven. Cloudflare wil daarin de tussenpersoon zijn.

Uiteraard is daar het nodige tegen in te brengen: het geeft Cloudflare veel macht en het is een prima verdienmodel, want het vraagt een percentage van de omzet. Tegelijkertijd voelt het als de minst slechte oplossing op dit moment. Grote partijen kunnen nog altijd direct deals sluiten, maar voor kleine spelers is er ook eindelijk een mogelijkheid om het internet eerlijker te maken als het gaat om het gebruik van content voor AI-toepassingen.

Het interessante is: de techbedrijven lijken daar voor open te staan. Matthew Prince, de CEO van Cloudflare, was te gast in de podcast Hard Fork, waarin hij vertelde:

What surprised me has been the reaction of the AI companies, which kind of thought that they were just gonna throw up all over this and, and hate it. But it hasn't been that for the most part. With a couple of exceptions, they've said: "Listen, we get it. Ultimately content is the fuel that runs our engine and we need to pay for it. But the key is it needs to be a level playing field." And so I think that what I am encouraged by is in all the conversations that I've been a part of, the AI company said: "If you can make it a level playing field, if you can make it something that's fair, then we are willing to pay for content."

Hij haalde in het gesprek uit naar Google, dat volgens hem denkt het recht te hebben om ongebreideld alles van het internet te kopiëren. Prince heeft echter goede hoop dat de industrie Google samen kan overtuigen en dat anders regulering dit probleem op termijn oplost.

Uiteindelijk is Google op dit moment het grote probleem: het bedrijf weigert simpelweg om websites de mogelijkheid te geven om gebruikt te worden voor AI-overzichten of AI Mode, zonder als site compleet uit de index van de zoekmachine te verdwijnen. Het is een schoolvoorbeeld van machtsmisbruik en het lijkt een kwestie van tijd voordat er een toezichthouder ergens ter wereld ingrijpt.

Ondertussen zorgt Cloudflare voor de technologie om het internet weer een beetje eerlijker te maken. En dat is hard nodig om de toekomst van het internet veilig te stellen. Harder dan veel mensen zich realiseren, als je het mij vraagt.

Kort

• Techjournalist Geoffrey Fowler probeerde de verspreiding van desinformatie op Facebook en Instagram tegen te gaan via Community Notes (het systeem dat factcheckers heeft vervangen). Uiteindelijk werd minder dan 5 procent van de ingestuurde opmerkingen werd gepubliceerd. De meeste desinformatie bleef zonder opmerkingen online staan.
• Elon Musk zegt dat X het archief van video-app Vine heeft gevonden en dat hij die video's weer online wil zetten. Vine was een platform voor korte video's, dat in handen was van Twitter en van 2013 tot 2017 actief was. Twitter trok er vlak voordat TikTok populair werd de stekker uit. Eerder haalde Twitter onder Elon Musks leiding juist nieuwsbriefdienst Revue offline, zonder het archief beschikbaar te houden.
  • xAI heeft een nieuwe versie van Grok Imagine om afbeeldingen en video's te genereren. In tegenstelling tot andere bekende diensten, laat xAI het toe om naaktbeelden en soft-erotische content te maken.
• OpenAI heeft voor het eerst een versie van het taalmodel GPT beschikbaar gemaakt die je kunt downloaden en lokaal kunt draaien op je computer of laptop.
• Het gaat de afgelopen weken steeds meer over ChatGPT-gebruikers die zich op allerlei manieren verliezen in gesprekken met de chatbot. OpenAI heeft als reactie daarop een functie ingebouwd die je adviseert om een pauze te nemen, die je met een simpele klik kunt negeren.
  • Journalist Casey Newton schrijft in zijn nieuwsbrief over hoe hij regelmatig mails krijgt van chatbotgebruikers die beweren dat de chatbot een bewustzijn heeft of die zeggen dat ze revolutionaire ontdekkingen hebben gedaan over het leven en de wereld met behulp van ChatGPT of Claude. Volgens sommige van hen deed de chatbot zelfs de suggestie om Newton te mailen.
• Onderzoekers van Anthropic hebben een onderzoek gepubliceerd naar wat ervoor zorgt dat een chatbot een bepaalde persoonlijkheid krijgt en wat hem kwaadaardig maakt.