Zichtbaarheid in AI-assistenten meten
Vier metingen zijn te krijgen: of assistenten je noemen, wat ze zeggen, welke van je pagina's hun crawlers ophalen, en hoe je vertoningen in zoekmachines bewegen ten opzichte van je klikken. Volume binnen een assistent is door niemand te krijgen, en elk dashboard dat het laat zien, modelleert in plaats van meet.
Op dit gebied wordt veel zelfverzekerde meting verkocht, en het meeste daarvan is een model verkleed als meting. Het loont om precies te zijn over wat wat is, want een bestuur dat ontdekt dat een hoofdcijfer geschat was, gelooft daarna de eerlijke cijfers ook niet meer.
Wat echt te meten is
Stel een vaste set kopersvragen, in de talen van je markten, aan de assistenten die je markt gebruikt, volgens een vast schema. Leg de antwoordtekst en eventueel getoonde bronnen vast. Dit is steekproefwerk, dus behandel één ronde als momentopname en de reeks als de meting.
Je eigen serverlogs, gefilterd op user agent. Ze vertellen je welke pagina's gelezen worden, hoe vaak, en of het ophalen lukt. Het is de betrouwbaarste en meest verwaarloosde bron die je al hebt.
In Search Console. Informatieve zoekopdrachten waarbij de vertoningen gelijk blijven en de klikken dalen, zijn het kenmerk van een antwoord dat boven je resultaat gegeven wordt.
De enige meting die aansluit op omzet. Vraag in het eerste gesprek hoe ze je tegenkwamen en wat ze al begrepen hadden. Het is kwalitatief, en het is de meting die bestuurders overtuigend vinden.
Wat door niemand te meten is
| Vaak aangeboden | Werkelijkheid |
|---|---|
| "Je aandeel in AI-antwoorden" | Afgeleid van een steekproef van prompts die de leverancier koos; het is een enquêteresultaat, geen aandeel |
| "Zoekopdrachten per maand in ChatGPT" | Geen aanbieder publiceert zoekvolume per onderwerp. Elk cijfer is gemodelleerd op zoekdata |
| "Citaties die je kreeg" | Alleen waarneembaar waar citaties getoond worden, en getoonde citaties zijn een onvolledig beeld van wat gelezen werd |
| "AI-verkeer" | Verwijzingsdata van assistenten is gedeeltelijk en inconsistent; veel ervan komt binnen als direct |
| "AI-zichtbaarheidsscore" | Een samengesteld cijfer dat de leverancier definieerde. Bruikbaar om de richting te volgen als de methode gepubliceerd is, betekenisloos als niveau |
Niets hiervan maakt de leveranciers oneerlijk, en een goed opgezette steekproef die je in de tijd volgt, is echt bruikbaar. Het wordt oneerlijk op het moment dat de uitkomst gepresenteerd wordt als meting van de wereld in plaats van van de steekproef.
Een getal dat niemand uit een bron kan afleiden, is geen meting. Het is een standpunt.
Een maandelijkse routine die standhoudt
- Twintig vaste vragen, geschreven zoals een koper ze zou stellen, in elke taal van je markt. Verander ze niet, anders is de reeks waardeloos.
- Stel ze aan de assistenten die je markt gebruikt. Leg de volledige antwoordtekst vast, geen score.
- Markeer per antwoord drie dingen: werd je genoemd, klopte wat er gezegd werd, werd je als bron getoond.
- Haal crawlerverzoeken per user agent uit je logs, per pagina.
- Haal vertoningen en klikken voor zoekopdrachten in vraagvorm uit Search Console.
- Schrijf twee zinnen over wat er veranderde en waarom je dat denkt. De zinnen zijn het rapport; de tabellen zijn de bijlage.
Wat je doet met een slechte meting
Afwezigheid heeft meestal een saaie oorzaak. Controleer, voordat je concludeert dat je een zichtbaarheidsprogramma nodig hebt, of je pagina's op te halen zijn zonder JavaScript, of de inhoud niet achter een toestemmingsmuur in de teruggegeven HTML zit, of niets in je robots-bestand een retrievalcrawler blokkeert, en of je echt een pagina gepubliceerd hebt die de vraag beantwoordt. Meestal is minstens een van die vier het antwoord.
Vragen die dit beantwoordt
Nee. Geen aanbieder publiceert zoekvolume per onderwerp, dus elk cijfer van dit soort is gemodelleerd op gewone zoekdata en hoort ook zo omschreven te worden.
Maandelijks is genoeg voor de richting en goedkoop genoeg om vol te houden. Wekelijks bemonsteren meet vooral de variatie van de modellen, niet een verandering in je positie.
Soms, inconsistent, en vaak helemaal niet. Behandel tellingen van assistentverkeer op basis van verwijzers als ondergrens, niet als cijfer.