RAG is een techniek die de relevante passages uit uw eigen documenten ophaalt en ze aan een model geeft voordat het antwoordt, zodat het antwoord op uw gegevens steunt.
Wat is RAG?
RAG staat voor retrieval-augmented generation, of generatie aangevuld met opgehaalde informatie. Het is de standaardmanier om een taalmodel te laten antwoorden over informatie waarop het nooit getraind werd, wat in de praktijk neerkomt op bijna alles wat eigen is aan een bedrijf: contracten, procedures, productgegevens, supporthistoriek, interne documentatie.
Het principe is eenvoudig. In plaats van te hopen dat het model iets weet, zoekt u zelf de relevante passages op en geeft u ze samen met de vraag door. Het model heeft dan nog maar één taak, een goed antwoord formuleren op basis van het bewijs dat het krijgt, in plaats van twee: zich iets herinneren en dan formuleren.
Die scheiding vormt de volledige waarde van de aanpak. Ze verklaart ook het meest voorkomende misverstand over RAG: de kwaliteit van het antwoord wordt bepaald nog voordat het model zelfs maar aangeroepen wordt.
Waarom RAG belangrijk is
Vier redenen verklaren waarom het de standaardarchitectuur in een professionele context geworden is.
- Het werkt met informatie die verandert. Werk een document bij en het volgende antwoord verandert. Geen hertraining, geen wachttijd, geen kost per update.
- Het maakt antwoorden controleerbaar. Omdat de passages expliciet opgehaald worden, kan het systeem het gebruikte document vermelden, wat van een assistent iets maakt wat een auditor aanvaardt.
- Het beperkt de blootstelling. Voor een bepaalde vraag verlaten alleen de opgehaalde passages uw systemen, niet de volledige documentverzameling.
- Het kost veel minder dan de alternatieven. Vijf passages ophalen kost een fractie van het doorsturen van een volledig corpus bij elke vraag, en het verschil groeit met elke bijkomende gebruiker.
Het gevolg is even organisatorisch als technisch. Een werkend RAG-systeem dwingt een bedrijf om te beslissen welk document als referentie geldt, een vraag die de meeste organisaties stilletjes uit de weg zijn gegaan.
Hoe het werkt
Vier stappen, en bij elke stap wordt kwaliteit gewonnen of verloren.
Het opdelen (chunking) verdeelt de documenten in passages. Te klein, en een passage verliest de context die haar betekenis geeft. Te groot, en het model krijgt ruis rond de nuttige zin. Het is de meest onderschatte beslissing van de pipeline.
De embedding zet elke passage om in een numerieke representatie die haar betekenis vat, zodat gelijkenis gemeten kan worden in plaats van geraden op basis van trefwoorden. Die representaties worden opgeslagen in een index die voor dat soort vergelijkingen ontworpen is.
Het ophalen vergelijkt de binnenkomende vraag met de index en geeft de meest verwante passages terug. Goede systemen filteren evenveel als ze rangschikken, op basis van metadata zoals de datum, de klant, de taal of de versie van het document, zodat een verouderde procedure nooit concurreert met de actuele versie.
De generatie injecteert de opgehaalde passages naast de vraag in de prompt, met de instructie om alleen te antwoorden op basis van wat aangereikt werd en het te zeggen wanneer het bewijs ontbreekt.
De manier waarop het misgaat, volgt rechtstreeks uit die volgorde. Wanneer een RAG-systeem een fout antwoord geeft, ligt de schuld veel vaker bij het ophalen dan bij het model. Als de juiste passage nooit bij de eerste resultaten komt, kan geen enkel model de situatie nog rechtzetten.
Implementatie
De volgorde telt meer dan de tooling.
- Kies één documentverzameling met een duidelijke eigenaar en een gekend gezagsniveau. Niet het volledige intranet.
- Ruim ze op vóór het indexeren. Verwijder dubbels en verlopen versies. Een ophaalsysteem geeft met plezier en met volle overtuiging een verouderd document terug.
- Voeg metadata toe voor datum, versie, taal en toepassingsgebied, want filteren is wat de meeste foute antwoorden voorkomt.
- Stem het opdelen af op echte vragen, niet op een generieke parameter die uit een tutorial gekopieerd is. Meet of de juiste passage bij de eerste resultaten verschijnt.
- Laat het model toe zich te onthouden. Een antwoord zoals ik heb die informatie niet is een functionaliteit, geen mislukking.
- Toon de bronnen in de interface, zodat een gebruiker met één klik kan controleren en het vertrouwen groeit in plaats van afbrokkelt.
Verwante technologieën en tools
- Vectoropslag: de index die de representaties van passages bewaart en efficiënt antwoordt op gelijkenisopzoekingen.
- Embeddingmodellen: het onderdeel dat tekst omzet in de numerieke vorm die bij het ophalen vergeleken wordt.
- Rerankers: een tweede doorgang die de opgehaalde passages herschikt volgens relevantie, vaak de goedkoopste kwaliteitsverbetering die er bestaat.
- Hybride zoeken: trefwoordmatching en gelijkenisopzoeking combineren, waardoor exacte referenties zoals productcodes, die gelijkenis alleen mist, toch gevonden worden.
- Evaluatiesets: een vaste reeks echte vragen met hun verwachte bronnen, opnieuw afgespeeld bij elke wijziging, zodat kwaliteit meetbaar wordt in plaats van anekdotisch.
Conclusie
RAG is een probleem van documentzoeken vermomd als AI-onderwerp. Teams die het als een modelprobleem behandelen, besteden maanden aan het wisselen van leverancier en het afstellen van prompts, terwijl de echte fout in het opdelen, de metadata of een index zit die niemand vernieuwd heeft.
De betrouwbare weg is weinig spectaculair: één documentverzameling met een duidelijke eigenaar, opgeruimd vóór het indexeren, verrijkt met metadata, opgedeeld op basis van echte vragen, met de bronnen zichtbaar in de interface en de toestemming voor het systeem om toe te geven dat het iets niet weet. Die versie wint het vertrouwen in enkele weken. De slimme versie die de documentvoorbereiding overslaat, wint het doorgaans nooit.