Crawlerverkeer is geen publiek
Assistent- en trainingscrawlers kunnen een flink deel van de verzoeken aan een site met veel inhoud uitmaken. Geteld als bezoek maken ze een dashboard betekenisloos. Apart geteld zijn ze het duidelijkste signaal dat er is van welke pagina's machines echt lezen.
Twee dingen zijn tegelijk waar. Crawlerverzoeken zijn geen publiek en moeten buiten elk cijfer blijven dat bezoek heet. En crawlerverzoeken zijn de meest directe waarneming die er is van welke van je pagina's machines lezen, en daardoor veel te nuttig om weg te gooien.
Waarom het meer vertekent dan vroeger
Gewone analytics draait in de browser, dus de meeste crawlers kwamen er nooit in voor. Alles wat aan de serverkant gemeten wordt — aantallen verzoeken, bandbreedte, responstijden, en steeds vaker de server-side eventverzameling die browsertracking verving — ziet ze allemaal. Een kennissite kan een flink deel van zijn verzoeken van geautomatiseerde lezers krijgen, en een dashboard dat ze mengt, rapporteert groei die geen mens veroorzaakte.
Hoe je ze goed scheidt
Label elk verzoek bij binnenkomst als mens, crawler of onbekend, en sla het label op. Achteraf filteren in een rapportagetool verliest informatie en wordt vergeten.
Grote crawlers publiceren hun adresbereiken of ondersteunen een reverse lookup. Een user agent alleen is kinderlijk eenvoudig na te maken; controleer alles waarover je gaat rapporteren.
Dwing twijfelachtig verkeer niet in één bak. Een eerlijke derde categorie is beter dan een zelfverzekerde verkeerde indeling, en de omvang ervan is op zichzelf het volgen waard.
Twee lijnen in dezelfde grafiek. Ze beantwoorden verschillende vragen, en de som beantwoordt er geen van beide.
Twee lijnen in één grafiek. Nooit één lijn.
Wat de crawlerlijn je echt vertelt
- Welke pagina's machines het opnieuw lezen waard vinden, naar ophaalfrequentie. Dat is een redelijke graadmeter voor ervaren belang.
- Of een nieuw gepubliceerde pagina überhaupt ontdekt is, meestal binnen enkele dagen als je sitemap en interne links kloppen.
- Of het ophalen lukt. Een patroon van fouten of time-outs op je beste pagina's is een zichtbaarheidsprobleem met een technische oorzaak.
- Of een wijziging in robots deed wat je bedoelde, zichtbaar binnen ongeveer een week.
- Welke crawlers er überhaupt zijn, en dat is de enige manier om te weten of een aanbieder die je belangrijk vindt je leest.
Wat hij je niet vertelt
Of er iets gebruikt werd. Ophalen is lezen, geen citeren, en een pagina die dagelijks opgehaald wordt, wordt misschien nooit aangehaald. Weersta de verleiding om een score te bouwen uit ophaalaantallen; die hangt samen met het aantal pagina's en met niets anders.
Vragen die dit beantwoordt
Cache en bedien eerst efficiënt. Een retrievalcrawler blokkeren om bandbreedte te besparen, haalt je weg uit antwoorden over je eigen vakgebied, en dat is een dure manier om een klein bedrag te besparen.
Meestal niet, omdat het in de browser draait. Server-side verzameling en rapportage op basis van logs zijn waar de vertekening ontstaat.
Controleer de gepubliceerde adresbereiken of gebruik reverse DNS waar de aanbieder dat ondersteunt. User agent-strings zijn kinderlijk eenvoudig te kopiëren, en dat gebeurt ook vaak.