Wat zijn AI-crawlers?
Wat is een AI-crawler en hoe werkt die?
AI crawlers zijn automatische programma's die webpagina's ophalen en de inhoud verwerken voor een AI-dienst. Net als een gewone zoekmachine-crawler bezoekt zo'n bot pagina's, volgt hij links en leest hij tekst. Het verschil zit in het doel: de inhoud kan dienen om een model te trainen, om antwoorden in een zoekfunctie te onderbouwen of om een gebruiker iets te laten opzoeken.
Niet elke bot doet hetzelfde. Sommige komen maar af en toe langs, andere bezoeken een site vaak achter elkaar. Wat je kunt doen om bots te weren, lees je bij AI-crawlers blokkeren met robots.txt.
Welke soorten AI-bots zijn er?
Grofweg zijn er drie soorten:
- Trainingsbots: verzamelen tekst en beelden om een taalmodel mee te trainen.
- Zoekbots: doorzoeken pagina's om een index op te bouwen of bronnen te vinden voor AI-zoekfuncties.
- Gebruikersbots: halen een pagina op omdat iemand in een chatbot een vraag stelt waarbij die pagina nodig is.
Trainingsbots komen vaak op eigen initiatief langs. De andere twee worden vaak door een vraag geactiveerd, al verschilt dat per dienst.
Neem een blogartikel als voorbeeld. Een trainingsbot haalt dat artikel mogelijk op om een model te voeden. Een gebruikersbot haalt hetzelfde artikel op als iemand in een chatbot een vraag stelt waar het antwoord in staat. Zo'n bezoek kan op een moment komen waar je niet op rekent.
Hoe herken je AI-crawlers in je logbestanden?
De meeste bots stellen zich voor met een user-agent: een tekst in het verzoek die aangeeft welk programma het is. In je serverlogs of statistieken zie je die naam terug, zoals GPTBot of ClaudeBot. Zo kun je zien welke bots je site bezoeken.
Let op: een user-agent kan worden vervalst. Sommige aanbieders publiceren daarom de IP-adressen van hun bots, zodat je kunt controleren of een verzoek echt van hen komt. Dat helpt bij het toelaten of weren van bots. Over de belasting die ze kunnen veroorzaken, lees je meer bij AI-bots en serverbelasting.
Veelgestelde vragen
Is een AI-crawler hetzelfde als een zoekmachine-crawler?
Niet helemaal. Een zoekmachine-crawler verzamelt pagina's om zoekresultaten te maken. Een AI-crawler kan dat ook doen, maar kan daarnaast gegevens verzamelen om een model te trainen of om een antwoord te onderbouwen. Kijk daarom per bot naar wat die doet, en bepaal daarna welke instelling bij jouw keuze past.
Hoe weet ik of een bezoeker echt een AI-bot is?
Dat weet je niet altijd zeker. De user-agent is een aanwijzing, geen bewijs. Controleer het IP-adres als de aanbieder dat publiceert, en let op patronen zoals veel verzoeken in korte tijd. Heb je geen zekerheid, meet dan eerst voordat je iets blokkeert.