De technische basis voor AI-vindbaarheid: indexeren, crawlen en canonical
Voordat AI jouw bedrijf kan noemen, moet Google je pagina eerst gewoon kunnen vinden, lezen en onthouden. Dat is de technische basis, en het is minder ingewikkeld dan het klinkt. In dit artikel leggen we in gewone taal uit wat indexeren, crawlen en een canonical adres betekenen, waarom die drie de fundering onder je vindbaarheid vormen, en wat je (of je webbouwer) er concreet aan doet. Wil je meteen weten of jouw site die basis op orde heeft? Doe de gratis AI-keuring.
Waarom de techniek onder AI-vindbaarheid ligt
Veel ondernemers denken bij AI-vindbaarheid meteen aan slimme trucs: een speciaal bestand, extra code, misschien een goede tekst. Maar onder al die dingen ligt iets simpelers en veel belangrijkers: kan een zoekmachine je pagina überhaupt bereiken en begrijpen? Zo niet, dan heeft de rest geen zin.
Om in de AI-antwoorden van Google te verschijnen, moet je pagina eerst geïndexeerd zijn en in aanmerking komen om met een snippet te worden getoond. Geen index betekent onzichtbaar voor de AI. AI-functies zoals de AI Overview putten namelijk uit dezelfde index als de gewone zoekresultaten. Sta je niet in die index, dan besta je voor die AI simpelweg niet.
Indexeren: staan in het telefoonboek van het internet
Stel je Google's index voor als een reusachtig telefoonboek of een moderne gouden gids. Alleen wie erin staat, kan gevonden worden. Indexeren is het proces waarbij Google jouw pagina opneemt in dat boek. Staat je pagina er niet in, dan kan niemand hem opzoeken, ook een AI niet.
Nieuwe of net verbouwde pagina's staan er niet automatisch meteen in. Google moet ze eerst ontdekken, lezen en goedkeuren. Twee dingen kunnen indexering blokkeren zonder dat je het doorhebt: een pagina die zichzelf op 'noindex' zet (een instructie die zegt 'neem mij niet op'), of een pagina die Google helemaal niet mag bezoeken. Over dat laatste gaat de volgende paragraaf.
Crawlbaar: de voordeur staat open voor de postbode
Voordat Google iets kan indexeren, moet het je pagina kunnen bezoeken. Dat bezoeken heet crawlen. Zie de crawler (Googlebot) als een postbode die langskomt om te lezen wat er op je site staat. Staat de voordeur open, dan kan hij binnen en alles noteren. Zit de deur op slot, dan draait hij om en komt er niets in het telefoonboek terecht.
Blokkeer Googlebot niet per ongeluk
Het slot op die deur zit vaak in één klein bestandje: robots.txt. Dat staat op jouwbedrijf.nl/robots.txt en vertelt bots wat ze wel en niet mogen bezoeken. Bij veel sites staat hier per ongeluk een regel die Googlebot of de AI-crawlers buitensluit. Dan kan de postbode je post niet ophalen en blijf je onzichtbaar.
# robots.txt, deur open voor de crawlers
User-agent: *
Allow: /
# Verwijs naar je sitemap zodat crawlers alles vinden
Sitemap: https://www.jouwbedrijf.nl/sitemap.xmlZorg voor echte links
De postbode volgt de paadjes tussen je pagina's: de links. Die links moeten echte <a href>-links zijn, dus gewone aanklikbare verwijzingen. Knoppen die alleen met een stukje script werken, of tekst die er als een link uitziet maar het niet is, kan de crawler vaak niet volgen. Dan blijven pagina's onbezocht en dus onvindbaar.
Geef een sitemap mee
Een sitemap.xml is een kant-en-klaar lijstje van al je pagina's, als een plattegrond die je de postbode meegeeft. Het is geen verplichting, maar het helpt crawlers om al je pagina's snel te ontdekken, ook de pagina's die minder makkelijk via links te bereiken zijn. De meeste websitebouwers (zoals WordPress met een SEO-plugin) maken zo'n sitemap automatisch.
Canonical: één officieel adres voor elke pagina
Websites tonen dezelfde pagina vaak op meerdere adressen tegelijk. Met en zonder 'www', met en zonder 'https', met een schuine streep op het eind of zonder, of met allerlei losse stukjes achter een vraagteken. Voor jou ziet het er hetzelfde uit, maar voor Google lijken het aparte pagina's met dezelfde inhoud. Dat heet dubbele content.
Vergelijk het met je post die op drie verschillende adressen tegelijk wordt bezorgd. Verwarrend, en zonde van de moeite van de postbode. Je wilt één officieel adres waarvan iedereen weet: hier woon ik echt. Dat officiële adres geef je aan met een canonical: een klein regeltje in de code dat zegt 'dit is de echte versie van deze pagina'.
<!-- In de <head> van je pagina: dit is het officiële adres -->
<link rel="canonical" href="https://www.jouwbedrijf.nl/diensten" />Waarom is dit belangrijk? Dubbele content verspilt het crawlbudget: de tijd en energie die Google aan jouw site besteedt. Als de postbode drie keer dezelfde brief ophaalt, houdt hij minder tijd over voor je andere pagina's. Bovendien raakt Google in de war over welke versie hij moet tonen. Eén canonical adres ruimt die verwarring op en bundelt alle waarde op de juiste pagina.
De snippet: wat mensen (en AI) als eerste zien
Als je pagina in de zoekresultaten verschijnt, ziet de klant een klein blokje: een blauwe titel en een korte beschrijving eronder. Dat blokje heet de snippet. Het komt vaak rechtstreeks uit twee dingen die jij zelf invult: de titel (title) en de meta description van je pagina.
Zie de snippet als je etalage. Een rommelige of ontbrekende etalage nodigt niemand uit om binnen te komen. Een duidelijke titel en beschrijving vertellen zowel de klant als de AI in één oogopslag waar deze pagina over gaat. Geef daarom elke pagina een eigen, unieke titel en beschrijving. Niet twee keer dezelfde.
- Een korte, duidelijke titel die vertelt wat de pagina biedt, met je belangrijkste woord vooraan.
- Een meta description van ongeveer één zin die de pagina samenvat en uitnodigt om te klikken.
- Uniek per pagina, zodat elke pagina zijn eigen verhaal vertelt.
Semantische HTML: schrijf voor mensen, niet voor de perfectie
Een pagina is makkelijker te begrijpen als hij een logische opbouw heeft. Dat noemen we semantische HTML: gebruik echte koppen, één duidelijke hoofdkop (de <h1>) per pagina, en nette lijstjes waar dat past. Zo weet de crawler wat de titel is, wat de tussenkopjes zijn en wat de opsommingen, net als een lezer dat aan de vormgeving ziet.
Met andere woorden: focus op een duidelijke opbouw die een gewone lezer prettig vindt, en de techniek volgt vanzelf. Eén hoofdkop bovenaan, logische tussenkopjes, korte alinea's en lijstjes waar het kan. Dat is genoeg.
Het controlelampje op je dashboard: Search Console
Je hoeft niet te gokken of je basis klopt. Google Search Console is een gratis tool van Google die werkt als het dashboard van je auto: het laat met controlelampjes zien of alles goed loopt en gaat branden als er iets mis is. Je koppelt je website eenmalig en krijgt daarna inzicht in wat er onder de motorkap gebeurt.
- Zien welke pagina's geïndexeerd zijn en welke om welke reden buiten de index vallen.
- Je sitemap indienen, zodat Google al je pagina's snel ontdekt.
- Problemen opsporen: geblokkeerde pagina's, crawlfouten of dubbele content.
Wil je ook zichtbaar zijn in ChatGPT? Dat leunt op de zoekindex van Bing. Meld je site daarom ook gratis aan bij Bing Webmaster Tools, het vergelijkbare dashboard van Microsoft. Meer over die route lees je in gevonden worden in ChatGPT.
Wat de basis wél en niet vraagt
Rond AI-vindbaarheid doen veel verhalen de ronde. Sommige dingen die als 'must-have' worden verkocht, zijn dat technisch gezien helemaal niet. Het is belangrijk om het verschil te weten, zodat je je energie op de juiste plek steekt.
| De echte basis (dit telt) | Vaak overschat (geen vereiste) |
|---|---|
| Geïndexeerd staan in de zoekindex | Een llms.txt-bestand voor Google |
| Crawlbaar zijn (robots.txt open) | Zware, uitgebreide schema-opmaak |
| Eén canonical adres per pagina | Foutloze, perfect valide HTML |
| Een duidelijke titel en snippet | Ingewikkelde technische trucs |
Een llms.txt en uitgebreide schema-opmaak zijn geen technische vereiste om door Google gevonden te worden. Ze kunnen nuttig zijn, maar ze zijn geen fundering. De echte fundering blijft: indexeren, crawlen, één canonical en een heldere snippet. Meer over wat wel en niet klopt lees je in mythes over AI-zoeken.
Je hoeft geen technisch wonder te bouwen. Je moet er alleen voor zorgen dat je pagina gevonden, gelezen en op één adres teruggevonden kan worden.
Zo weet je binnen twee minuten of je basis klopt
De technische basis is de fundering onder al je andere inspanningen. Een prachtige tekst of een compleet bedrijfsprofiel helpt weinig als de crawler niet binnenkomt of je pagina niet in de index staat. Begin daarom altijd hier.
Je hoeft dit niet handmatig uit te pluizen. De gratis AI-keuring controleert of AI-crawlers toegang hebben, of je pagina's indexeerbaar zijn, of je canonical goed staat en of je titel en snippet op orde zijn. Je krijgt een concrete lijst met verbeterpunten in gewone taal, die je zo aan je webbouwer kunt doorsturen.
Benieuwd hoe jóuw site scoort?
Doe de gratis AI-keuring — 60 seconden, geen e-mail nodig.
Veelgestelde vragen
Wat is het verschil tussen crawlen en indexeren?+
Crawlen is het bezoeken en lezen van je pagina door Google, als een postbode die langskomt. Indexeren is het opnemen van die pagina in de zoekindex, het telefoonboek van het internet. Eerst crawlen, dan pas indexeren. Zonder het eerste gebeurt het tweede niet, en zonder index ben je onvindbaar voor gewone zoekresultaten én voor AI.
Hoe controleer ik of mijn website geïndexeerd is?+
Typ in Google 'site:jouwbedrijf.nl' (met je eigen domein). Verschijnen je pagina's, dan staan ze in de index. Zie je weinig of niets, dan is er iets mis. Google Search Console geeft je vervolgens per pagina de exacte reden en laat zien hoe je het oplost.
Wat is een canonical URL en waarom heb ik die nodig?+
Een canonical is een klein regeltje in de code dat aangeeft wat het officiële adres van een pagina is. Websites tonen dezelfde inhoud vaak op meerdere adressen tegelijk. De canonical vertelt Google welke de echte is, zodat dubbele content geen crawlbudget verspilt en Google niet in de war raakt over welke versie hij moet tonen.
Heb ik een sitemap.xml echt nodig?+
Verplicht is het niet, maar het helpt wel. Een sitemap is een plattegrond van al je pagina's die crawlers helpt om alles snel te ontdekken, ook pagina's die lastig via links te bereiken zijn. De meeste websitesystemen maken er automatisch een aan. Dien hem daarna in bij Google Search Console.
Moet ik technisch zijn om dit te regelen?+
Nee, niet voor het begrijpen. De basisbegrippen zijn in gewone taal uit te leggen, zoals in dit artikel. Voor het aanpassen van robots.txt of het controleren van je canonical kun je je webbouwer een korte, duidelijke opdracht geven. De uitleg en voorbeelden hier kun je zo doorsturen.
Heb ik een llms.txt of veel schema nodig om gevonden te worden?+
Voor Google zijn dat geen technische vereisten. De echte basis is: geïndexeerd staan, crawlbaar zijn, één canonical adres en een duidelijke snippet. Een llms.txt of uitgebreide schema kan aanvullend nuttig zijn, maar het vervangt de fundering niet. Zie ook het artikel over mythes over AI-zoeken.