Feed management: de sleutel tot effectieve E-commerce  SEO

Feed management: de sleutel tot effectieve E-commerce  SEO

Houd jij je bezig met E-commerce  SEO? Vergeet dan niet hoe belangrijk Feed management is. Niet alleen voor Organic Shopping, maar juist ook voor discovery.

Google’s veranderende crawlgedrag: wat onze loganalyse onthult

Wij voeren al jaren loganalyses uit voor E-commerce platformen waarbij we non-user data zoals user-agent-strings, bot- IP-adressen en botgedrag verzamelen en categoriseren. Dit stelt ons in staat om het gedrag van zoekmachines en andere bots te analyseren. Opvallend is dat het crawlgedrag van Google de afgelopen jaren afneemt, met in sommige gevallen een daling van 40% in aanvragen tussen 2021 en nu. Tegelijkertijd zien we ook een toename in specifieke crawlpatronen, wat interessante mogelijkheden biedt voor verdere analyse. Die crawlpatronen hebben we verder bekeken en daar kwam een interessant beeld uit naar voren met betrekking tot webshops met geoptimaliseerde productfeeds.

Maar eerst: wat zijn feed-getagde URLs?

Voordat we verdergaan, is het belangrijk om uit te leggen wat we bedoelen met “feed-getagde URLs”. Dit zijn URLs die specifieke parameters bevatten die aangeven dat de pagina is opgenomen in een gestructureerde productfeed (zoals Google Merchant Center). Deze parameters kunnen bijvoorbeeld “?source=feed” of “?utm_source=merchant_center” zijn, afhankelijk van je implementatie.

Belangrijk hierbij is dat deze parameters in deze analyse vooral dienen als identifier voor het gedrag. Googlebot crawlt namelijk URLs uit je feed, ongeacht of deze een specifieke parameter hebben of niet. De parameters zijn dus optioneel en niet de oorzaak van het toegenomen crawlen, maar maken het gedrag wel meetbaar en analyseerbaar. Zonder deze parameters zou het moeilijker zijn om te bepalen of een URL specifiek vanwege de feed wordt gecrawld.

Een belangrijk aandachtspunt hierbij is dat Google soms feed-getagde URLs kan indexeren en daarbij de canonical tag kan negeren. Dit kan problemen veroorzaken met attributie in Google Analytics, omdat verkeer dan mogelijk over meerdere URL-varianten wordt verdeeld.

Onze bevindingen: patronen in PDP crawling

Ik heb voor een aantal klanten de PDP’s (Product Detail Pagina’s) apart geanalyseerd en onderstaande bevindingen waren voor mij een reden voor verdere analyse.

1. Afname PDP-crawls overall op root URL-producten (canonieke versie)
2. Toename PDP-crawls op productvarianten (alternate canonical), dit zou veroorzaakt kunnen worden door interne links vanaf PDP’s maar bij de geteste klanten is de setup niet veranderd
3. Bij shops met een productvariant opmaak is de toename groter. Met “productvariant opmaak” bedoelen we een structuur waarbij elke variant (kleur, maat, etc.) een eigen URL heeft met canonical naar de hoofdpagina.
4. Een toename van PDP-crawls op feed-getagde URL’s van bijna 3X zoveel aanvragen ten opzichte van non-feed-getagde URL’s

Interne links zijn belangrijk voor discovery van PDP’s, net zoals een sitemap en een goede setup van je paginering belangrijk zijn voor discovery. Maar een goed ingerichte productfeed en een juiste opzet van productvarianten lijken nu het verschil te maken voor discovery.

Een optimale feed setup: wat werkt het beste

Een “goed ingerichte productfeed” bevat minimaal de volgende elementen:

• Volledige en accurate productinformatie (titel, beschrijving, prijs, beschikbaarheid)
• Consistente categorisering en taxonomie
• Hoge kwaliteit productafbeeldingen
• Unieke product-identifiers (GTIN, MPN, etc.)
• Optioneel: feed-specifieke URL-parameters die consistent worden toegepast
• Regelmatige updates (minimaal dagelijks)

Bijgaande voorbeelden zijn van 2 webshops met een PDP variatie van 6% tot 8% per jaar in de testperiode. Meer dan 8% wijkt het aanbod bij beide shops dus nooit af.

Een groot deel van de PDP’s met feed parameter wordt nog steeds niet gecrawld, maar degene die gecrawld worden krijgen veel meer aandacht. Een feed-getagde PDP lijkt daarmee als directe bron voor discovery veel meer impact te hebben op crawlgedrag.

Analyse webshop 1

Veel meer crawlgedrag op feed-getagde PDP’s

Er worden veel meer non-feed PDP’s gecrawld maar het crawlgedrag van feed-getagde PDP’s is vele malen groter

Het aantal root PDP’s dat aangeroepen wordt is een stuk kleiner dan de productvarianten met canonical naar root PDP.

Als we nu het soort URL combineren met aantal aanvragen feed en non-feed dan zien we dat de feed-getagde canonical varianten het populairst zijn.

Wat valt op uit de eerste dataset:

1. Feed-getagde URL’s ontvangen aanzienlijk meer aandacht van Google, ondanks dat het aantal URL’s lager is. Dit maakt ze uiterst waardevol voor effectieve e-commerce SEO-strategieën.
2. PDP-varianten (productvarianten) met feed parameters trekken duidelijk de meeste crawlaanvragen aan. Dit benadrukt het toenemende belang van productvarianten in combinatie met goede feed-optimalisatie.
3. Hoewel het aantal gecrawlde canonieke URL’s aanzienlijk groter is dan het aantal productvarianten, neemt het aantal aanvragen op canonieke URL’s (root PDP’s) over tijd juist sterk af. Dit suggereert dat Google de aandacht verlegt naar specifieke productvarianten en gestructureerde feeds, waardoor optimalisatie van enkel root-PDP’s (zonder variant) mogelijk minder effectief wordt.

De data onderstreept daarmee dat feed-optimalisatie en een goede structuur in het aanbod van productvarianten niet alleen belangrijk zijn, maar een absolute must om relevant te blijven voor discovery en daarmee de kans op goede organische zichtbaarheid. Hierbij gaat het niet zozeer om de specifieke feed-parameters zelf, maar om het feit dat de URLs in goed geoptimaliseerde feeds voorkomen – de parameters maken dit gedrag alleen beter zichtbaar in onze analyse. Productvarianten met een canonical  kunnen daarmee ook nog steeds opduiken in Search indien Google vindt dat zo’n URL beter bij een query past dan de Root PDP.

“Feeds spelen ook een grote rol bij nieuwswebsites. We zien dat RSS feeds enthousiast door Googlebot worden gebruikt om nieuwe artikelen te crawlen. Nieuwssites kunnen RSS feeds aangeven in hun Google Publisher Center, maar het verwijzen naar feeds in de HTML broncode lijkt ook genoeg voor Googlebot om ze te vinden en gebruiken.”

Barry Adams

Analyse webshop 2:

Wat opvalt is dat bij deze shop in 2022 en 2024 het crawlgedrag op feed-getagde PDP’s een groter deel is maar dat in 2023 de verdeling 50/50 is. (Geen logica ontdekt in dit gedrag).

Het algehele crawlgedrag is ook afgenomen ten opzichte van eerdere jaren. Net als bij de eerste shop is het crawlgedrag op feed-getagde URL’s veel groter op een veel kleiner aantal URL’s

Wat valt op uit deze tweede dataset:

1. Feed-getagde URL’s trekken consistent meer aandacht van Google, waardoor ze essentieel blijven voor e-commerce SEO-strategieën.
2. Toch kunnen root PDP’s (zonder feed-parameter) nog steeds aanzienlijke aandacht ontvangen, mits Google ze relevant vindt, zoals duidelijk werd in 2023.
3. De data bevestigt én nuanceert eerdere conclusies: feed-management blijft cruciaal en zorgt voor meer aandacht, maar dat betekent gelukkig niet dat URL’s zonder feed minder relevant zijn.

Waarom was 2023 anders voor Webshop 2?

De afwijkende trend in 2023 voor Webshop 2, waarbij non-feed en feed-getagde URLs ongeveer evenveel crawlaandacht kregen, kan te maken hebben met een aantal factoren:

• Google’s voortdurende tests met crawlgedrag en indexeringsstrategieën
• Grotere impact van verandering in productenmix
• Updates in Google’s algoritmes die tijdelijk de balans veranderden
• Verbeterde interne linking die tijdelijk meer aandacht naar non-feed URLs stuurde
• Minder goed ingerichte feed

Het is belangrijk om te begrijpen dat Google’s crawlgedrag nooit statisch is en altijd in ontwikkeling blijft.

“We zouden hier de les uit moeten trekken dat gestructureerde data (feeds, structured data, api’s, REST, JSON, etc.) de toekomst hebben. Bij andere spelers in publishing zien wij ook dat feed-based, erg goed werkt. Deze voorbeelden laten dat al op de meest basic schaal zien. Dit negeren is … een gemiste kans ;)”

Ramon Eijkemans

(Voorzichtige) conclusies en betekenis voor jouw SEO-strategie

Ik trek daar nu de volgende conclusies uit:

1. Sterke verschuiving van crawl-focus naar URLs uit productfeeds
   Beide datasets tonen een duidelijke verandering in Google’s crawlgedrag, waarbij URLs die in feeds voorkomen aanzienlijk meer crawlaanvragen ontvangen, ondanks dat het aantal gecrawlde URL’s relatief laag blijft. Het lijkt erop dat Google steeds meer vertrouwd op gestructureerde productfeeds om productinformatie te verzamelen. Dit kan een grote impact hebben op e-commerce SEO-strategieën. We moeten hierbij opmerken dat niet de parameters zelf, maar de aanwezigheid in feeds de vermoedelijke oorzaak is van dit gedrag.
2. Nuancering: crawl-activiteit op canonieke root URL’s blijft relevant, maar wisselend
   Hoewel er gemiddeld gezien een afname te zien is in de crawlactiviteit op root PDP’s zonder feed, laat dataset 2 zien dat root-PDP’s in specifieke gevallen toch veel aandacht kunnen krijgen, mits Google deze pagina’s als relevant ziet. Webshops zouden daarom een gebalanceerde strategie moeten hanteren waarin zowel feed-optimalisatie als optimalisatie van belangrijke root URL’s centraal staat. Ook hier geldt de nuance dat het slechts 2 datasets betreft. Dit kan ook afhangen van de technische inrichting van een site, of het aantal producten dat een shop wel of niet via feeds aanbiedt, maar ook de kwaliteit van markup (gebruiken ze uberhaupt ProductGroup of niet?) van invloed zijn.
3. Productvarianten worden steeds belangrijker (waar van toepassing)
   Dataset 1 laat duidelijk zien dat productvarianten vanuit de feed veel vaker worden gecrawld, ondanks het lagere aantal beschikbare URL’s. Google lijkt waarde te hechten aan gedetailleerde productinformatie die via varianten beschikbaar wordt gesteld. Heb je productvarianten? Dan is dit je wake-up-call om echt goed naar je set up te kijken.
4. Feed-optimalisatie zorgt aantoonbaar voor hogere zichtbaarheid
   Het hogere aantal crawls op feed URL’s impliceert sterkere zichtbaarheid in organische resultaten, wat vermoedelijk leidt tot betere prestaties zoals hogere vertoningen en conversies. Hoewel directe verkoopcijfers ontbreken in deze analyse, laat de sterke crawl-frequentie het belang van feedmanagement voor het verbeteren van organische prestaties duidelijk zien.

Van crawling naar ranking: het grotere plaatje

Hoewel deze analyse zich concentreert op crawlgedrag, is het belangrijk om te begrijpen hoe dit zich vertaalt naar indexering en uiteindelijk rankings. Uit diverse analyses bij verschillende shops met en zonder feeds zien we indicaties dat:

• Pagina’s die vaker gecrawld worden meestal sneller geïndexeerd worden
• De aanwezigheid van product-URLs in goed gestructureerde feeds de kans op ranking in organische resultaten én organische shopping resultaten verhoogt
• De consistentie tussen informatie in je feeds en op je website een positieve ranking factor lijkt te zijn

Een belangrijk aandachtspunt is dat Google soms feed-getagde URL-versies kan indexeren in plaats van de canonieke versie, wat tot attributieproblemen in analytics kan leiden. Dit risico moet worden afgewogen tegen de voordelen van het kunnen traceren van feed-gegenereerd verkeer. Als een canonical relevanter is, is het voor Google veel logischer en beter om de productvariant boven de root PDP te tonen. Ook als er een parameter aan hangt.

Waarom Google steeds meer op feeds vertrouwt

Er is een duidelijke reden waarom Google steeds meer lijkt te vertrouwen op productfeeds voor discovery. Het crawlen en verwerken van volledige webpagina’s kost aanzienlijk meer computerresources dan het verwerken van gestructureerde productfeeds. Bij feeds krijgt Google alle relevante productinformatie in een gestandaardiseerd formaat, wat efficiënter dan deze data uit HTML-pagina’s te moeten halen. Bovendien kan Google feed-data direct valideren en vertrouwen, zeker wanneer deze wordt ondersteund door overeenkomstige Schema.org JSON-LD markup op de betreffende productpagina’s. Lees hierover ook dit artikel van Jarno van Driel .

Volgens Google zelf zorgt deze combinatie voor “betere kwaliteit van data en een efficiëntere verwerking van productinformatie” (Google Developer Blog, 2023). In hun blog “Making the web more efficiënt with structured data” benadrukt Google dat het gebruik van gestructureerde data in combinatie met feeds hen helpt om “een coherent beeld van producten te vormen, wat leidt tot betere organische en shopping resultaten voor gebruikers.” Deze efficiëntie verklaart waarom Google bereid is om meer crawl-aandacht te besteden aan producten die via feeds beschikbaar zijn gesteld.

“Dat Google steeds meer op feeds vertrouwd: Mee eens, mee eens, en nog eens mee eens. ‘Crawl efficiency’ is exact het punt dat ik zelf maakte in een Search Engine Journal artikel zo’n 1,5 jaar geleden – en waar de meesten nog steeds geen aandacht aan besteden”

Jarno van Driel

Belangrijke nuance

Uiteraard spelen er meer factoren mee die discovery en crawlvoorkeur beïnvloeden, bijvoorbeeld interne linking, technische optimalisaties, autoriteit van het domein, et cetera. Toch valt breed op dat een goede inrichting van feeds, in combinatie met heldere productvariantstructuren, zeer effectief lijkt voor het vergroten van Google’s aandacht en organische vindbaarheid.

Door deze inzichten toe te passen in je eigen e-commerce  strategie, kun je een voorsprong krijgen op concurrenten die nog niet de volledige waarde van feed management hebben ontdekt.

Toekomstig onderzoek: de verschillen tussen Google’s crawlers

In dit onderzoek heb ik nog geen onderscheid gemaakt tussen de verschillende soorten Google bots in mijn analyse. De Google Search bot en de Google Store bot zijn twee fundamenteel verschillende crawlers met eigen doelen en gedragspatronen. Voor vervolgonderzoek verwacht ik dat een diepere splitsing van deze crawlers waardevolle nieuwe inzichten zal opleveren.

Jarno van Driel wees me erop dat het gedrag van beide bots significant is veranderd, maar op verschillende manieren die relevant zijn voor hun specifieke functies. Dit is een hypothese die ik in een volgende analyse met data wil onderbouwen.

De onderliggende werking van Google’s Shopping infrastructuur blijft grotendeels een black box voor de meeste SEO-specialisten. Toch zijn er binnen Google experts die verrassend openhartig kunnen zijn over de werking van deze systemen, zolang je geen specifieke vragen stelt over de exacte wegingsfactoren van rankingcriteria 😉.

In mijn volgende analyse zal ik daarom specifiek kijken naar de verschillen in crawlgedrag tussen de Search en Shopping bots, en hoe deze verschillen impact kunnen hebben of juist input kunnen zijn voor optimalisatiestrategieën van je webshop.

Praktische implementatie stappen

Op basis van deze bevindingen raden we de volgende concrete stappen aan:

1. Feed optimalisatie en tracking:
   • Zorg dat je productpagina’s in goed gestructureerde feeds worden opgenomen
   • Overweeg het toevoegen van consistente feed parameters aan je productpagina URLs voor tracking doeleinden
   • Let op: deze parameters kunnen indexeringsproblemen veroorzaken als Google de canonical negeert
   • Monitor daarom regelmatig of Google niet de verkeerde URL-versies indexeert
2. Productvariant optimalisatie:
   • Implementeer een duidelijke structuur voor productvarianten
   • Gebruik canonicals correct om te verwijzen naar de root PDP
   • Zorg dat elke variant unieke en waardevolle informatie bevat
3. Feed kwaliteit verbeteren:
   • Update je feeds minimaal dagelijks
   • Zorg voor volledige en accurate productinformatie
   • Gebruik alle beschikbare velden in je productfeed
   • Voeg gestructureerde gegevens toe (Schema.org markup)
4. Integratie tussen feed en site:
   • Zorg voor een naadloze integratie tussen je productfeed en website
   • Gebruik dezelfde taal en structuur in zowel je feed als je website
   • Monitor inconsistenties tussen site en feed