Le Dico du référencement — Définition robot (ou spider ou crawler ou agent ou bot)
Les robots des moteurs de recherche (aussi appelés spiders, crawlers, agents ou bots) sont des programmes qui parcourent en permanence toutes les pages du web pour indexer leurs contenus (textes, photos, vidéos, fichiers…)
Ces « robots » suivent les liens (internes et externes) pour trouver d’autres pages qu’ils vont visiter pour, à nouveau, indexer leurs contenus, suivre les liens qui s’y trouvent…
Définition robot — Dico du référencement - juillet 2011