LLMs.txt is een markdownbestand in de root van een website dat AI-systemen een korte, geselecteerde samenvatting van de inhoud geeft in plaats van de ruwe HTML voor mensen.
Wat is llms.txt?
LLMs.txt is een voorgesteld bestandsformaat, gepubliceerd in ruwe markdown op het rootadres van een website, dat AI-systemen een kort, geselecteerd overzicht geeft van de inhoud van een website en links naar de belangrijkste pagina’s ervan, specifiek geschreven om gelezen te worden door een taalmodel en niet door een persoon die op een pagina surft. Het idee erachter is eenvoudig: een webpagina die voor mensen gebouwd is, bevat navigatiemenu’s, advertenties, scripts en lay-outmarkup die de beperkte aandacht van een AI-systeem verspillen wanneer het de echte inhoud probeert te extraheren, en een proper, doelgericht samenvattingsbestand neemt die onnodige last weg.
Het bestand werd opgesteld door Jeremy Howard, een erkende figuur in de AI- en opensourcecommunity, en voor het eerst gepubliceerd in september 2024 als communityvoorstel en niet als officiële standaard. De structuur is bewust eenvoudig: een H1-titel met de naam van het project of het bedrijf, een korte samenvatting in een citaatblok, en een reeks markdownlinks, gegroepeerd onder H2-titels, die verwijzen naar meer gedetailleerde documentatie of inhoud elders op de website.
De vergelijking die meteen opkomt, is robots.txt, en die is tot op zekere hoogte nuttig. Beide zijn kleine bestanden in platte tekst op een voorspelbaar webadres. Waar ze uiteenlopen, telt meer dan waar ze overlappen: robots.txt is een set toegangsregels die fatsoenlijke crawlers geacht worden te volgen, en die hun zegt wat ze wel of niet mogen ophalen, terwijl llms.txt geen enkele autoriteit van dat soort heeft. Het lijkt meer op een uitgekozen welkomstbriefje voor een bezoeker dan op een gesloten deur, informatief en niet afdwingbaar, en dat is het belangrijkste om te begrijpen voordat u beslist hoeveel inspanning het verdient.
Waarom llms.txt belangrijk is
Drie punten verklaren waarom het een echte vraag geworden is voor bedrijven die investeren in AI-zichtbaarheid, samen met een duidelijk voorbehoud.
- Het steunt op een formaat dat bedrijven al begrijpen. De vergelijking met robots.txt maakt het concept intern makkelijk uit te leggen, een klein tekstbestand in de root van de website dat zich richt tot geautomatiseerde systemen, ook al dienen beide bestanden echt verschillende doelen, het ene over rechten, het andere over het oriënteren van inhoud.
- De adoptie is reëel maar blijft een minderheid. Een grootschalige studie op honderdduizenden domeinen vond dat ongeveer één op tien al een llms.txt-bestand publiceert, en de lijst van gebruikers bevat erkende technologiebedrijven, wat aangeeft dat de praktijk voorbij marginale experimenten gaat zonder al in de buurt van universaliteit te komen.
- De belangrijkste AI-crawlers vragen het grotendeels nog niet op. Dat is het voorbehoud dat duidelijk geformuleerd moet worden in plaats van geminimaliseerd: de crawlers van OpenAI, Google en Anthropic halen llms.txt-bestanden momenteel niet in significant volume op, waardoor er vandaag een publiceren een toekomstgerichte gok is op de richting die AI-crawling zal uitgaan, geen hefboom met onmiddellijke, meetbare winst.
De eerlijke kadering is dat llms.txt zich bevindt tussen een echt nuttige en een speculatieve praktijk, die het waard is om te doen omdat ze goedkoop is en de trend in haar voordeel speelt, niet omdat ze momenteel een winst in zichtbaarheid garandeert.
Hoe het werkt
Vier elementen definiëren het bestand zoals het momenteel voorgesteld wordt.
Locatie en formaat. Een ruw markdownbestand in de root van de website, bereikbaar op een voorspelbaar webadres, leesbaar voor zowel AI-systemen als, als iemand besluit te kijken, een persoon die het rechtstreeks opent.
Een vereiste structuur. Een H1 met de naam van de website of het project, een citaatblok met een korte samenvatting, optionele bijkomende context, en secties afgebakend door H2’s met markdownlinks en korte beschrijvingen die naar meer gedetailleerde pagina’s verwijzen.
Geselecteerde, geen exhaustieve inhoud. Het bestand is bedoeld om naar voren te brengen wat echt telt, kernpagina’s, centrale documentatie, essentiële context, eerder dan een volledige sitemap te weerspiegelen, want het hele punt is een AI-systeem te besparen dat het alles zelf moet sorteren.
Geen handhavingsmechanisme. Anders dan robots.txt, dat crawlers geacht worden te respecteren als een set regels, is llms.txt puur informatief. Niets verplicht een AI-systeem om het te lezen, te gebruiken of de inhoud ervan als gezaghebbend te behandelen, en dat is het centrale verschil met bestanden voor toegangscontrole. De platformen die er al automatisch een genereren, waaronder Mintlify en GitBook, doen dat doorgaans op basis van een bestaande documentatiestructuur, een nuttige hint om over het bestand na te denken, ook als u het met de hand schrijft: als een distillatie van een structuur die er al is, eerder dan nieuwe inhoud die van nul bedacht wordt.
Implementatie
De volgorde hieronder weerspiegelt hoe u een llms.txt-bestand toevoegt zonder te veel te investeren in een formaat dat zijn plaats nog zoekt.
- Schrijf de samenvatting alsof u het bedrijf in twee zinnen aan een nieuwe medewerker uitlegt. Het citaatblok bovenaan draagt het meeste gewicht, want het is het deel dat het meest kans maakt om echt gelezen en gebruikt te worden, als het bestand al opgemerkt wordt.
- Lijst alleen de pagina’s op die echt tellen. Centrale dienst- of productpagina’s, belangrijke definiërende inhoud, essentiële documentatie, niet elke pagina van de website, want de selectie is de hele waarde van het formaat.
- Houd het bestand in de root van de website, in ruwe markdown. Geen aangepaste opmaak, geen niet-standaard syntaxis, want het doel is machineleesbaarheid voor een zo breed mogelijk gamma aan tools.
- Behandel het als een goedkope toevoeging, niet als een project. Aangezien de belangrijkste crawlers het nog niet op grote schaal opvragen, is meer dan enkele uren aan de eerste versie besteden moeilijk te verantwoorden tegenover ander werk rond technische SEO of AI-zichtbaarheid.
- Werk het bij wanneer de kerninhoud van de website echt verandert. Een verouderd llms.txt dat naar achterhaalde pagina’s verwijst, is erger dan geen bestand, want het misleidt actief elk systeem dat het leest.
- Volg in de serverlogs na verloop van tijd de verzoeken van AI-crawlers naar het bestand op. Naarmate de adoptie bij AI-crawlers evolueert, zijn de loggegevens de betrouwbaarste manier om te weten of de investering voor een bepaalde website begint op te brengen.
Hoeveel kost het
De directe kost ligt dicht bij nul, en net dat maakt llms.txt interessant, ook al moet het concrete rendement nog bewezen worden. Een eerste versie schrijven vraagt typisch één tot twee uur werk voor iemand die de inhoud van de website al goed kent, zonder ontwikkelingsbudget of gespecialiseerde tools, en platformen zoals Mintlify en GitBook genereren er al automatisch een als onderdeel van hun documentatie.
De echte kost is, zoals bij verschillende lichte technische SEO-praktijken, het onderhoud eerder dan de creatie. Een bestand dat de website op de eerste dag getrouw weerspiegelt en daarna nooit meer herbekeken wordt, wordt langzaam ruis in plaats van een signaal, en de meeste bedrijven nemen dat onderhoud op in een bestaande cyclus van technische SEO- of inhoudsreview in plaats van er een aparte budgetlijn van te maken.
Er is ook een kleinere opportuniteitskost om te benoemen, niet financieel maar in aandacht. De tijd die u besteedt aan het bijschaven van een llms.txt-bestand, is tijd die niet gaat naar de fundamenten van technische SEO die vandaag meetbaar invloed hebben op zowel de ranking in traditionele zoekresultaten als de citatiegraad door AI: gestructureerde data, propere semantische HTML, inhoud die eerst de vraag beantwoordt. Voor een klein team met beperkte uren telt de volgorde van de prioriteiten meer dan het bestand zelf, en llms.txt komt pas nadat die fundamenten al in een redelijke staat zijn, niet ervoor.
Conclusie
LLMs.txt is een goedkope gok met weinig risico op een richting die het ecosysteem van AI-crawling al dan niet volledig zal uitgaan, nog geen bewezen hefboom voor AI-zichtbaarheid. Het eerlijke argument om het vandaag te gebruiken, berust op de bijna onbestaande kost en op het feit dat een groeiende en geloofwaardige groep technologiebedrijven er al een publiceert, niet op een huidige garantie dat de belangrijkste AI-systemen het zullen lezen en ernaar zullen handelen.
De bedrijven die er de meest redelijke waarde uit halen, zijn die welke het behandelen als een kleine toevoeging met weinig inspanning bovenop een technische basis die al solide is, gestructureerde inhoud, propere HTML, duidelijke definities, eerder dan als vervanging voor die basis of als gegarandeerde shortcut naar AI-citaties.