robots.txt
Hoe werkt robots.txt?
Robots.txt is een tekstbestand in de hoofdmap van je domein, te vinden op /robots.txt. Het geeft bots aan welke delen van je site ze wel of niet mogen bezoeken. Goedwillende zoekmachines en andere bots lezen dit bestand meestal als eerste.
Een robots.txt bevat regels per user-agent: de naam van een bot, gevolgd door een Disallow-regel met de paden die hij niet mag bezoeken. Met Disallow: / weer je de bot van de hele site. Welke soorten bots er zijn en wat ze doen, lees je bij AI-crawlers.
Waarvoor gebruik je robots.txt?
Een veelvoorkomend gebruik is het weren van AI-crawlers, bots die pagina’s ophalen voor het trainen van AI of voor AI-antwoorden. Als je zo’n bot weert, komt je content niet meer terecht bij dat model of in dat AI-antwoord. Dat kan je inhoud beschermen, maar het kan ook betekenen dat je minder zichtbaar bent in AI-zoekfuncties.
Let op de bots die je wél wilt bereiken. Een te brede Disallow-regel kan ook een zoekbot treffen, waardoor je zichtbaarheid in die zoekmachine verdwijnt. Controleer daarom na elke wijziging of de bots die je wilt toelaten nog bij je pagina’s kunnen. Een ander hulpmiddel dat soms naast robots.txt wordt genoemd, is llms.txt.
Waarom is robots.txt geen slot?
Robots.txt is een afspraak, geen slot. De grote zoekmachines houden zich er doorgaans aan, en goedwillende bots meestal ook. Het is echter niet afdwingbaar: een bot die de regels negeert, kan het bestand gewoon overslaan. Ook is het bestand openbaar. Iedereen kan lezen welke paden je wilt weren, dus het is niet geschikt om gevoelige informatie te verbergen.
Wil je bots echt tegenhouden, dan heb je meer nodig, zoals maatregelen op de server of een firewall. Bij kwaadaardige bots helpt bijvoorbeeld een CAPTCHA, dat vraagt om een menselijke handeling.
Veelgestelde vragen
Houden alle bots zich aan robots.txt?
Nee. Veel bekende aanbieders zeggen dat hun bots robots.txt volgen, maar dat blijft een vrijwillige afspraak. Niet elke bot houdt zich eraan. Controleer daarom in je logbestanden of een bot de regels echt volgt.
Kan een verkeerde robots.txt mijn zoekresultaten schaden?
Ja. Robots.txt bepaalt welke bots je pagina’s mogen ophalen, en dus ook of een zoekmachine ze goed kan tonen. Noem je per ongeluk de verkeerde user-agent, of blokkeer je een zoekbot met Disallow: /, dan verlies je zichtbaarheid. Test een wijziging daarom met een tool voor robots.txt voordat je hem live zet.