llms.txt uitgelegd: wat het is en of het ertoe doet
llms.txt is een voorgesteld bestand in de hoofdmap van een site dat een schone, machineleesbare kaart biedt van wat de site weet. Het is goedkoop om te publiceren en wordt nu door heel weinig systemen gelezen, dus zie het als een kleine gok, niet als een strategie.
Het idee is eenvoudig en redelijk. Websites zijn gebouwd voor browsers: navigatie, banners, scripts, heel veel opmaak rond een klein beetje betekenis. Een taalmodel dat zo'n pagina leest, moet het meeste weggooien. llms.txt stelt een eenvoudig Markdown-bestand voor in de hoofdmap van een domein dat, op volgorde van belang, zegt wat deze site bevat en waar de inhoudelijke documenten staan.
Wat erin staat
Een kop met de naam van de site, een korte samenvatting van wat de organisatie doet, en daarna gegroepeerde lijsten met links, elk met één regel beschrijving. Sommige sites publiceren daarnaast een platte Markdown-versie van elke pagina. Dat is het hele voorstel.
Wie respecteert het?
Bij deze herziening: niet veel, en geen van de grote aanbieders van assistenten heeft toegezegd het te lezen als onderdeel van hun ophaalproces. Het is enthousiast overgenomen door platforms voor ontwikkelaarsdocumentatie, waar het codeerassistenten echt helpt, en mondjesmaat elders.
Wie je vertelt dat het essentieel is voor AI-zichtbaarheid, loopt voor op wat waar te nemen is. Wie je vertelt dat het waardeloos is, negeert hoe goedkoop het is om te publiceren.
Goedkoop om te publiceren, onbewezen dat het telt. Publiceer het, bouw er niet op.
Wat je ermee doet
| Wel | Niet |
|---|---|
| Publiceer er een als je site documentatie of een kennisbank heeft | Je contentstrategie eromheen opnieuw bouwen |
| Houd het kort en echt geordend naar belang | Elke URL die je hebt erin dumpen |
| Genereer het opnieuw als de onderliggende pagina's veranderen | Het laten verouderen, wat erger is dan er geen hebben |
| Zorg eerst dat je sitemap en robots-bestand kloppen | Het zien als vervanging voor een van beide |
Wat eigenlijk meer telt
Elk ophaalsysteem dat vandaag draait, leest HTML. Die HTML schoon maken (op de server gerenderd, met het antwoord in de tekst in plaats van door een script samengesteld, zonder cookiemuur over de inhoud, met eerlijke gestructureerde data) doet meer voor het lezen door machines dan welk nieuw bestandsformaat ook. Een site die dit goed doet, heeft llms.txt veel minder nodig; een site die het fout doet, wordt er niet door gered.
Vragen die dit beantwoordt
Nee. Het is een voorstel uit de community met een specificatie en een referentie-implementatie, niet iets wat door een standaardisatie-instantie is vastgesteld of door zoek- en assistentaanbieders is toegezegd.
Nee. Daar zijn robots.txt-regels voor individuele trainingscrawlers voor. llms.txt is een aanbod van structuur, geen toestemmingsinstelling.
Heb je een kennisbank of documentatie, dan ja, want het kost een middag. Heb je een brochuresite van vijf pagina's, dan besteed je je moeite beter aan die vijf pagina's echte vragen laten beantwoorden.