SEO analyse: hoe Google jouw website crawlt – een duik in geavanceerde SEO

SEO analyse is cruciaal: Terwijl we allemaal het belang van zoekmachineoptimalisatie (SEO) erkennen voor onze websites, verdiepen we ons zelden in de data achter hoe zoekmachines zoals Google onze sites daadwerkelijk crawlen. In dit artikel nemen we je mee door de technische aspecten van SEO en tonen we hoe serverlogs waardevolle inzichten kunnen onthullen na een grondige SEO analyse.

Er zijn verschillende tools op de markt om te helpen bij het monitoren van serverloganalyse, waarvan veel gratis zijn.

Het gebruik van de Code Interpreter van ChatGPT (betaalde versie) stelt je in staat om veel van de beperkingen van de freemium tools te omzeilen en SEO analyse grafieken te genereren.

Deze techniek kan helpen bij het onderzoeken van hoe Google je site crawlt.

Voor deze SEO analyse hebben we eerst en vooral het logbestand nodig van onze webserver van een specifieke website. Best is om Apache-toegangslogformaat te hebben met de volgende velden:

• IP-adres
• Identificatie (meestal niet gebruikt, aangegeven met een “-“)
• Gebruiker (meestal niet gebruikt, aangegeven met een “-“)
• Datum en tijd
• Aanvraag (methode, URI, protocol)
• Statuscode
• Verwijzer
• User-agent

Met behulp van ChatGTP Code Intrepeter gaan we de hits filteren die een user-agent bevatten met de term “google”.

Vanuit deze dataset kunnen we een grafiek maken voor de status 200 hits en niet-200 hits van Google.

# Create a bar chart to visualize the number of 200 and non-200 hits
status_labels = ['200 Hits', 'Niet-200 Hits']
status_values = [status_200_hits, non_200_hits]

plt.figure(figsize=(8, 6))
plt.bar(status_labels, status_values, color=['green', 'red'])
plt.title('Aantal status 200 en niet-200 hits van Google')
plt.ylabel('Aantal hits')
plt.tight_layout()

plt.show()

1. Overzicht van de Google Crawl:

Uit deze SEO analyse blijkt dat Google voornamelijk succesvolle verzoeken (status 200) naar onze site stuurt. Dit is een goed teken, want het betekent dat de meeste van onze pagina’s gemakkelijk toegankelijk zijn voor Googlebot.

2. Top gecrawlde pagina’s door Google

Vervolgens gaan we een diagram maken om de pagina’s te visualiseren die het meest worden bezocht door Google.

Het identificeren van de meest gecrawlde pagina’s kan ons inzicht geven in welke content Google waardevol acht. Dit kan te maken hebben met de kwaliteit van de content, de frequentie van updates of externe links die naar deze pagina’s verwijzen.

# Extract the requested URI from the log entry and count the number of hits per URI
uri_hits = defaultdict(int)

uri_pattern = re.compile(r'"\w+\s([^ ]+)')
for entry in google_hits:
    match = uri_pattern.search(entry)
    if match:
        uri = match.group(1)
        uri_hits[uri] += 1

# Sort URIs by the number of hits
sorted_uris = sorted(uri_hits.items(), key=lambda x: x[1], reverse=True)

# Take the top 10 most visited URIs for visualization
top_uris = sorted_uris[:10]
uri_labels, uri_values = zip(*top_uris)

uri_labels, uri_values

Met deze dataset gaan we nu een staafdiagram maken dat de top 10 meest bezochte pagina’s door Google op jouw website toont. De hoofdpagina (/) heeft de meeste hits, gevolgd door verschillende andere specifieke pagina’s en bronnen.

3. Pagina’s die minder aandacht krijgen:

Laten we nu doorgaan en bepalen welke pagina’s de minste hits van Google hebben ontvangen.

# Take the least visited URIs for analysis
least_uris = sorted_uris[-10:]
least_uri_labels, least_uri_values = zip(*least_uris)

least_uri_labels, least_uri_values

Wie zien dat er enkele pagina’s slechts één keer door Google zijn gecrawld. Dit kan verschillende redenen hebben:

• De pagina’s zijn nieuw en zijn nog niet volledig geïndexeerd.
• Ze hebben een lage SEO-waarde (wat hier voornamelijk het geval is)
• Er zijn technische problemen die het crawlen in de weg staan.

Als deze pagina’s belangrijk zijn voor jouw bedrijf, is het de moeite waard om te investeren in hun optimalisatie.

Conclusie: SEO analyse van serverlogs geeft ons waardevolle inzichten

Het analyseren van serverlogs kan ons waardevolle inzichten geven in hoe zoekmachines onze sites zien en ervaren. Door deze inzichten te combineren met andere SEO-best practices, kunnen we een krachtige strategie ontwikkelen die zowel technisch als content-gericht is.

Bij Lucky Cookie hebben we de expertise en tools om jou te helpen begrijpen hoe zoekmachines jouw website ervaren. Neem vandaag nog contact met ons op voor een diepgaande SEO audit die ervoor zorgt dat je een SEO analyse ontvangt met actieplan!