Moet je AI-crawlers blokkeren in robots.txt?
Een trainingscrawler blokkeren houdt je tekst uit een toekomstig model. Een ophaalcrawler blokkeren haalt je weg uit antwoorden die vandaag gegeven worden. De meeste bedrijven willen het tweede en denken dat ze het eerste kiezen, omdat de namen op elkaar lijken.
Deze vraag wordt meestal gesteld als een waardenvraag en beantwoord als een technische, en daarom eindigen zoveel sites met een robots-bestand dat het tegenovergestelde doet van wat het bedrijf wilde.
Twee soorten crawler, twee soorten gevolg
| Doel | Wat blokkeren doet | Wat het je kost |
|---|---|---|
| Training | Je pagina's worden minder waarschijnlijk gebruikt als materiaal voor een toekomstig model | Dit kwartaal niets. Over jaren een zwakker algemeen beeld van wie je bent |
| Live ophalen | De assistent kan je pagina niet ophalen terwijl hij nu een vraag beantwoordt | Directe afwezigheid in antwoorden over je eigen onderwerp |
Aanbieders publiceren welke van hun user agents wat doet, en die indeling verschilt per aanbieder. De een scheidt ze netjes; de ander gebruikt dezelfde agent voor beide; een derde heeft een regel die het gebruik in generatieve antwoorden bepaalt zonder het crawlen te bepalen. Lees de documentatie van elke aanbieder zelf, want een blokkadelijst gekopieerd uit een blogpost is bijna altijd een mix van namen uit drie verschillende tijdperken.
Andermans robots.txt kopiëren is hoe sites verdwijnen uit hun eigen onderwerp.
Een keuze die bij de meeste bedrijven past
Sta beide toe. Je probleem is onbekendheid, niet het weglekken van je tekst. Een model dat je werk gelezen heeft en een assistent die het kan citeren, zijn allebei routes om overwogen te worden.
Uitgeven, cursussen, onderzoek, betaalde archieven. Blokkeer trainingscrawlers, sta ophaalcrawlers toe waar dat zinvol is, en regel licenties apart. Die twee bijten elkaar niet.
Dan is het robots-bestand helemaal het verkeerde middel. Het is een verzoek, dat vrijwillig gerespecteerd wordt. Alles wat echt niet gelezen mag worden, heeft authenticatie nodig.
Hoe een werkbaar robots-bestand eruitziet
- Weiger standaard niets op je openbare content; weiger je applicatiepaden, je API en je inlogroutes.
- Noem crawlers expliciet bij naam in plaats van een algemene regel te gebruiken, zodat een toekomstige naamswijziging je positie niet stilletjes verandert.
- Zet een opmerking bij elke weigerregel met waarom hij er staat en wanneer hij is toegevoegd. Robots-bestanden overleven de mensen die ze schreven.
- Verwijs naar een sitemap die echt actueel is.
- Lees het elk halfjaar opnieuw, want de namen van agents veranderen vaker dan wat dan ook in dit vak.
Het argument om gelezen te worden
Voor de meeste bedrijven is het realistische risico niet dat een model leert wat jij weet. Het is dat een model leert wat je concurrent weet, het onderwerp in zijn termen beschrijft en nooit een reden heeft om jou te noemen. Afwezigheid is geen neutraliteit. Het is een besluit om iemand anders de vragen te laten beantwoorden die je markt stelt.
Vragen die dit beantwoordt
Nee. Een robots-regel heeft invloed op toekomstig crawlen. Materiaal dat al in een uitgebracht model zit, wordt niet teruggetrokken door een bestand aan te passen.
De aparte AI-regel van een aanbieder blokkeren zou het gewone zoekcrawlen niet moeten raken, maar ze worden los van elkaar ingesteld en het is makkelijk de verkeerde agent te blokkeren. Controleer het met een live ophaalactie in plaats van het aan te nemen.
De grote bekende crawlers publiceren dat ze dat doen. Het blijft een vrijwillige afspraak, dus het is een beleidssignaal, geen controle.