RAG-chatbot uitgelegd
Wat is retrieval-augmented generation?
Een RAG-chatbot is een chatbot die antwoorden baseert op jouw eigen teksten. RAG staat voor retrieval-augmented generation. Het systeem zoekt eerst de relevante stukken uit je content op en geeft die mee aan het taalmodel. Het model schrijft het antwoord dan op basis van die stukken, niet alleen uit zijn algemene training.
De naam zegt het al: eerst het ophalen van informatie, daarna het genereren van tekst. Zie ook wat een taalmodel is als je wilt weten hoe dat schrijven precies werkt.
Hoe haalt een RAG-chatbot de juiste tekst op?
Eerst worden je pagina’s en documenten opgedeeld in kleine stukken. Van elk stuk wordt een vector gemaakt: een reeks getallen die de betekenis van de tekst beschrijft. Zo kan het systeem later snel vinden welke stukken bij een vraag passen, ook als de woorden net anders zijn.
Wanneer een bezoeker een vraag stelt, zoekt het systeem de meest passende stukken op. Die worden samen met de vraag aan het taalmodel gegeven, dat op basis daarvan antwoordt.
- Opslag: de vectoren staan in een index, vaak in een speciale database.
- Zoeken: de vraag wordt op betekenis vergeleken met de opgeslagen stukken.
- Antwoord: het model krijgt de vraag en de gevonden tekst en formuleert daarmee het antwoord.
Waarom verkleint dit de kans op verzinsels?
Een taalmodel dat alleen zijn training gebruikt, moet vaak uit zijn geheugen putten. Dat is precies de plek waar verzinsels ontstaan. Als je het model de juiste passages meegeeft, heeft het een concrete bron om op terug te vallen. Het antwoord wordt daardoor vaker nauwkeurig.
Toch is het geen garantie. Als het zoeken de verkeerde stukken oplevert, of als het model iets toevoegt dat er niet staat, kan het alsnog misgaan. Toon daarom bronnen en controleer steekproefsgewijs. Lees ook waarom AI soms dingen verzint.
Een RAG-opzet vraagt ook onderhoud. Verandert je content, dan moet de index worden bijgewerkt, anders geeft de chatbot verouderde antwoorden.
Veelgestelde vragen
Heb ik RAG nodig voor een chatbot op een kleine website?
Vaak niet. Heeft je site een beperkt aantal pagina’s en zijn de antwoorden kort, dan kan een eenvoudige chatbot met vaste teksten of een handmatig samengestelde kennisbank al volstaan. RAG wordt nuttig wanneer de content groot is, vaak verandert of uit veel documenten bestaat en bezoekers daar precieze antwoorden op verwachten.
Kan een RAG-chatbot antwoorden geven die niet op mijn site staan?
Ja, en dat is een risico. Het taalmodel heeft ook zijn algemene training en kan die gebruiken om een gat op te vullen. Je kunt de chatbot instrueren om alleen uit de aangeleverde bronnen te antwoorden en te zeggen dat hij iets niet weet als het niet in die bronnen staat. Ook dat moet je zelf testen.