Hoe AI-zoekmachines bronnen kiezen: van training tot citatie

AI-zoekmachines kiezen hun bronnen in twee stappen: eerst zoeken ze live naar pagina's die bij de vraag passen, daarna kiest het taalmodel uit die pagina's de passages die het antwoord onderbouwen. Alleen pagina's die in die eerste stap gevonden worden, kunnen in de tweede stap een citatie krijgen. Wat het model tijdens zijn training heeft gelezen, telt mee voor wat het "weet", maar levert geen link op.

Dit artikel legt uit wat er gebeurt tussen jouw vraag en het antwoord met bronvermelding. Het is een verdieping op de complete gids over GEO. Je leest het verschil tussen training en live zoeken, hoe een vraag wordt opgesplitst, welke bot per platform je pagina ophaalt en wat een passage citeerbaar maakt.

Eén ding vooraf: de precieze rankingfactoren van ChatGPT, Perplexity, Gemini en Google AI Overviews zijn niet openbaar. Wat hieronder staat, komt uit de documentatie van de platforms zelf. Waar die documentatie zwijgt, zeggen we dat.

#Kennis uit training versus live opzoeken

Een AI-assistent haalt zijn antwoord uit twee bronnen: de kennis die tijdens de training in het model is vastgelegd, en pagina's die het op het moment van de vraag live opzoekt. Die twee werken heel verschillend, en alleen de tweede levert jouw site een zichtbare bronvermelding op.

Training. Een LLM (large language model) leert taal en feiten van een grote hoeveelheid tekst, waaronder webpagina's. Daarna staat die kennis vast tot de volgende modelversie. Het model weet niet meer welke pagina een feit leverde, dus het kan er ook niet naar linken. Crawlers zoals GPTBot verzamelen content voor deze training. OpenAI schrijft in zijn documentatie over bots dat GPTBot content verzamelt die gebruikt kan worden om de generatieve modellen te trainen.

Live opzoeken. Voor vragen over actuele of specifieke onderwerpen zoekt het systeem op het web en voegt het de gevonden tekst toe aan de vraag. Dat heet RAG (retrieval-augmented generation) of grounding: het antwoord wordt "verankerd" in opgehaalde bronnen. Google omschrijft grounding in zijn overzicht van crawlers als het aanleveren van content uit de Google Search-index aan het model op het moment van de prompt.

Of een model zoekt, beslist het meestal zelf. Anthropic beschrijft in de documentatie van de webzoektool dat Claude zoekt bij informatie die actueel is, verandert of buiten de trainingsdata valt, zoals prijzen, nieuws of gegevens over specifieke organisaties en producten. Bij vaste kennis, zoals rekenwerk of algemene begrippen, antwoordt Claude zonder te zoeken. OpenAI schrijft in de documentatie over webzoeken dat het model op basis van de prompt kiest of het zoekt.

Voor jou als site-eigenaar betekent dit: vragen over jouw bedrijf, prijzen, producten en actuele onderwerpen zijn precies de vragen waarbij een AI-systeem gaat zoeken. Daar win je citaties.

#Hoe een vraag wordt opgesplitst in deelvragen

AI-zoeksystemen zoeken niet alleen op de letterlijke vraag, maar splitsen een vraag vaak op in meerdere deelvragen die ze tegelijk uitvoeren. Google noemt dit query fan-out.

In de aankondiging van AI Mode beschrijft Google dat AI Mode je vraag opdeelt in subonderwerpen en namens jou een groot aantal zoekopdrachten tegelijk uitvoert. Deep Search gebruikt volgens dezelfde aankondiging dezelfde techniek, maar dan nog uitgebreider. In de documentatie over AI-functies in Search schrijft Google dat zowel AI Overviews als AI Mode query fan-out kunnen gebruiken: meerdere gerelateerde zoekopdrachten over subonderwerpen en databronnen heen. Daardoor kunnen ze volgens Google een bredere en gevarieerdere set links tonen dan een klassieke zoekopdracht.

Ook andere systemen zoeken in meerdere rondes. Anthropic schrijft dat het zoeken binnen één verzoek meerdere keren kan worden herhaald. OpenAI beschrijft voor redeneermodellen dat het model zoekt, de resultaten analyseert en dan beslist of het verder zoekt.

Een voorbeeld van hoe dat uitpakt. Stel, iemand vraagt: "Welke boekhoudsoftware past bij een zzp'er in de bouw?" Een systeem dat fan-out toepast, kan daar losse zoekopdrachten van maken, bijvoorbeeld over prijzen, over koppelingen met de bank en over ervaringen van zzp'ers. Het is een illustratie: welke deelvragen een systeem precies kiest, maken de platforms niet openbaar.

Het praktische gevolg is groot. Je pagina hoeft niet te ranken op de oorspronkelijke vraag. Hij kan binnenkomen via één van de deelvragen. Een pagina die één deelvraag helder en volledig beantwoordt, heeft dus een eigen kans om als bron te worden gekozen.

#Welke crawler per platform je pagina ophaalt

Elk AI-platform gebruikt eigen bots, en alleen de bot voor zoeken of gebruikersverzoeken bepaalt of je pagina live als bron kan dienen. Een AI-crawler voor training is een andere bot dan die voor zoekresultaten. Blokkeer je de verkeerde in robots.txt, dan verdwijn je uit de antwoorden zonder dat je het merkt.

• ChatGPT. OAI-SearchBot wordt volgens OpenAI gebruikt om websites te tonen in de zoekfuncties van ChatGPT. Sites die OAI-SearchBot uitsluiten, worden niet getoond in de zoekantwoorden van ChatGPT. ChatGPT-User bezoekt pagina's bij acties die een gebruiker start, bijvoorbeeld als iemand een vraag stelt. OpenAI schrijft dat robots.txt-regels daarbij mogelijk niet gelden, omdat de gebruiker de actie start.
• Perplexity. PerplexityBot is volgens de documentatie van Perplexity bedoeld om websites te tonen en te linken in de zoekresultaten van Perplexity, en wordt niet gebruikt voor training van modellen. Perplexity-User haalt pagina's op bij een gebruikersvraag en negeert robots.txt volgens Perplexity over het algemeen.
• Google AI Overviews en AI Mode. Deze functies zijn onderdeel van Google Search. Google noemt robots.txt-regels voor Googlebot als het middel om de toegang te regelen. Google-Extended is een apart robots.txt-token zonder eigen user-agent. Het bepaalt of content gebruikt mag worden voor training van Gemini-modellen en voor grounding in Gemini Apps en Vertex AI. Volgens Google heeft het geen invloed op opname in Google Search.
• Claude. Anthropic beschrijft in zijn helpartikel over crawlers drie bots: ClaudeBot voor content die kan bijdragen aan training, Claude-User voor pagina's die worden opgehaald als een gebruiker Claude een vraag stelt, en Claude-SearchBot om de kwaliteit van zoekresultaten te verbeteren.

Hoe je deze bots afzonderlijk toestaat of blokkeert, lees je in het artikel over AI-crawlers in robots.txt.

#Verschillen per platform op een rij

De platforms verschillen in waar hun live resultaten vandaan komen, welke bot je pagina leest en hoe ze bronnen tonen. De tabel bevat alleen wat de platforms zelf documenteren. Een streepje betekent dat we het niet in primaire documentatie konden bevestigen.

Let op: de citatievorm voor ChatGPT en Claude komt uit de API-documentatie voor ontwikkelaars. De consumentenapps kunnen bronnen anders weergeven.

#Wat Google zegt over AI Overviews

Google stelt dat er geen extra technische eisen of speciale optimalisaties nodig zijn om in AI Overviews of AI Mode te verschijnen. Dat staat letterlijk in de documentatie over AI-functies. Een pagina moet geïndexeerd zijn en in aanmerking komen om met een snippet in Google Search te verschijnen. Volgens Google is dat geen garantie dat de pagina ook gebruikt wordt.

Google noemt ook de knoppen om dit te beperken: nosnippet, data-nosnippet, max-snippet en noindex. Gebruik je een van die instructies, dan beperk je ook wat AI-functies van je pagina mogen tonen. Controleer dus of je ze niet per ongeluk op belangrijke pagina's hebt staan.

#Wat een passage citeerbaar maakt

Een passage wordt makkelijker geciteerd als hij los van de rest van de pagina een vraag volledig beantwoordt. Bij grounding verwerkt het model stukken tekst, geen hele websites. Het plakt een bron vast aan een concrete bewering in het antwoord.

Anthropic laat dat goed zien: elke citatie bevat volgens de documentatie de URL, de titel en tot 150 tekens van de geciteerde tekst. Het systeem citeert dus op zinsniveau. Daaruit volgen een paar praktische eigenschappen, die geen garantie zijn maar wel aansluiten op hoe deze systemen werken:

1. Een zelfstandige openingszin. Begin elke sectie met een zin die de vraag beantwoordt zonder dat de lezer de alinea ervoor kent. Vermijd "dit", "zoals hierboven" en andere verwijzingen naar elders.
2. Concrete, controleerbare feiten. Een zin met een naam, prijs, datum of definitie is bruikbaarder als onderbouwing dan een algemene bewering.
3. Koppen die de vraag benoemen. Een kop als vraag of duidelijke stelling helpt om de passage te koppelen aan een van de deelvragen uit query fan-out.
4. Tekst in de ruwe HTML. Een bot die je pagina ophaalt, moet de tekst kunnen lezen. Met server-side rendering staat de inhoud direct in de HTML, zonder dat JavaScript eerst moet draaien.
5. Duidelijke entiteiten. Maak met schema markup voor AI expliciet wie je bent, wat je aanbiedt en welke profielen bij je horen.
6. Signalen van betrouwbaarheid. Een auteur, een datum, bronvermeldingen en een contactpagina zijn de basis van E-E-A-T.

Hoe je dit uitwerkt in teksten, lees je in het artikel over content die AI citeert.

#Wat niet openbaar is

De rankingfactoren die bepalen welke van de gevonden pagina's een AI-systeem uiteindelijk citeert, zijn bij geen van de grote platforms gepubliceerd. Google, OpenAI, Perplexity en Anthropic beschrijven wel welke bots ze gebruiken en hoe citaties eruitzien, maar niet hoe ze bronnen tegen elkaar afwegen.

Wees daarom voorzichtig met lijstjes die "de 10 rankingfactoren van ChatGPT" beloven. Die zijn gebaseerd op waarnemingen van buitenaf, niet op documentatie. Wat wel vaststaat, is de volgorde: een pagina die niet gecrawld, niet geïndexeerd of niet leesbaar is, kan nooit als bron worden gekozen. Daar begin je dus.

#Zo controleer je dit op je eigen site

Je kunt de technische basis voor live citaties in een paar stappen zelf nalopen.

1. Open je robots.txt op jouwdomein.nl/robots.txt en controleer of OAI-SearchBot, PerplexityBot, Claude-SearchBot en Googlebot niet worden geblokkeerd. Een blokkade van GPTBot of Google-Extended raakt training en grounding in Gemini Apps, niet je opname in Google Search.
2. Test je firewall. Sommige firewalls en CDN's blokkeren AI-bots op user-agent, ook als robots.txt ze toelaat. Vraag je hostingpartij of beheerder of dat bij jou zo is ingesteld.
3. Bekijk de ruwe HTML van een belangrijke pagina via "Paginabron weergeven". Staat je hoofdtekst daarin, of verschijnt die pas na JavaScript?
4. Zoek naar nosnippet en noindex in de broncode van pagina's die je in AI Overviews wilt zien.
5. Lees je koppen en openingszinnen los van de rest. Beantwoordt elke eerste zin onder een H2 de vraag zelfstandig?
6. Stel je eigen vragen aan ChatGPT met zoeken, Perplexity en Google AI Mode, en noteer welke bronnen ze tonen.

De gratis scan van Flowproof controleert de stappen 1 tot en met 3 automatisch, inclusief een firewalltest met de GPTBot-user-agent, en laat per onderdeel zien wat je kunt verbeteren. Je start hem via gratis registreren.