Hoe ChatGPT bepaalt welke bronnen het citeert
Een assistent die zoekt, doet drie dingen: hij herschrijft je vraag tot zoekopdrachten, haalt een handvol resultaten op en leest ze op zoek naar een passage die de vraag beantwoordt. Een pagina moet alle drie de stappen overleven, en de meeste pagina's sneuvelen bij de derde.
Niemand buiten de aanbieders heeft de rangschikkingsfunctie, en elk artikel dat je er een geeft, verzint hem. Wat wel waar te nemen is, door heel veel vragen te stellen en goed te kijken wat er terugkwam, is de vorm van de pijplijn. En die vorm is genoeg om op te handelen.
Stap één: je vraag wordt meerdere zoekopdrachten
Iemand vraagt iets lang en in spreektaal. De assistent stuurt dat niet naar een zoekindex. Hij ontleedt het in twee of drie gewone zoekopdrachten, vaak in de taal van de vraag, soms ook in het Engels, en voert die uit.
Het praktische gevolg is dat klassieke zoekranking nog steeds alles bewaakt. Brengt geen van die zoekopdrachten je pagina in de eerste handvol resultaten, dan ziet de assistent hem nooit, en doet het er niet toe hoe mooi je antwoord geschreven is.
Stap twee: een paar pagina's worden opgehaald
Geen vijftig. Een klein aantal, meestal ergens tussen drie en tien, opgehaald door een crawler die je in je logs kunt zien. Op dit punt kunnen verschillende dingen een ophaalactie nutteloos maken:
- De inhoud wordt na het laden door JavaScript weergegeven, dus de opgehaalde HTML is een lege huls.
- Een cookiebanner of tussenpagina is het enige in de teruggekregen opmaak.
- De pagina is zo traag dat het ophalen wordt afgebroken.
- Het robots-bestand weigert de crawler van de assistent, of zijn trainingscrawler, afhankelijk van wat die aanbieder voor welk doel respecteert.
- De pagina geeft een soft 404 of stuurt door naar een homepage.
Geen hiervan is exotisch. Samen verklaren ze de meeste gevallen waarin een bedrijf echt de beste bron over een onderwerp is en er nooit op geciteerd wordt.
Stap drie: het lezen, en daar verliezen de meeste pagina's
Nu heeft het model drie tot tien documenten en een vraag. Het zoekt een passage die de vraag rechtstreeks beantwoordt. Wat geselecteerd wordt, heeft een herkenbaar karakter.
| Wordt gekozen | Wordt overgeslagen |
|---|---|
| Antwoordt in de eerste alinea | Warmt vier alinea's op |
| Noemt een voorwaarde: "als X, dan Y; anders Z" | Zegt "het hangt af van je situatie" |
| Noemt getallen, datums, versies, jurisdicties | Spreekt van begin tot eind in algemene termen |
| Secties die op zichzelf staan | Secties die terugverwijzen naar "zoals hierboven genoemd" |
| Uit de eerste hand: wij doen dit, dit zien wij | Samengevoegd: hier zijn twaalf tools |
| Toont wanneer het voor het laatst herzien is | Ongedateerd, over een onderwerp dat beweegt |
Assistenten belonen niet het beste artikel. Ze belonen de alinea die zich het best laat overnemen.
En de bronnen die onder het antwoord staan?
Zie ze als een gedeeltelijk beeld. Een assistent kan een pagina lezen, gebruiken wat erin stond en voor dezelfde uitspraak een andere bron noemen, of geen enkele, omdat hij de uitspraak als algemene kennis ziet. Dat je link niet onder een antwoord staat, betekent niet dat je pagina niet gelezen is, en dat hij er wel staat, betekent niet dat hij de doorslaggevende bron was. Het is de meest frustrerende eigenschap van het medium en er is geen manier omheen.
Wat je wel kunt controleren
Crawlers van assistenten maken zich bekend. Je kunt zien welke van je pagina's opgehaald worden, hoe vaak, en of het ophalen lukt. Het is de meest onderbenutte informatiebron over AI-zichtbaarheid die de meeste bedrijven al hebben.
Vraag je eigen pagina op zoals een crawler dat zou doen (zonder JavaScript uit te voeren) en lees wat terugkomt. Staat het antwoord er niet in, dan staat het er voor niemand in.
Vraag de assistenten die je kopers gebruiken, maandelijks, met formuleringen van kopers, in de juiste talen. Leg vast wat er gezegd wordt en welke bronnen getoond worden.
Vragen die dit beantwoordt
Assistenten hebben door de tijd verschillende zoekmachines eronder gebruikt, en die afspraak is meer dan eens veranderd. Wat blijft, is dat er een zoekstap plaatsvindt tegen een gewone index, dus gewone ranking bepaalt wat er te lezen valt.
Dat hangt af van welke crawler welke taak heeft bij die aanbieder, en aanbieders documenteren dat apart voor training en voor live ophalen. De trainingscrawler blokkeren en de ophaalcrawler toelaten is een gangbare, bewuste keuze.
Meestal omdat de dunnere pagina de vraag in de eerste alinea beantwoordt en de jouwe in de zesde. Retrieval leest op de passage, niet op het document.