Tutti i più importanti motori di ricerca preferiscono che si indicizzi solo la home page del sito lasciando allo spider il compito di "trovare" il resto del sito. Naturalmente l'unico modo che gli spiders hanno di trovare le pagine del sito è quello di seguirne i links all'interno.

Poiché i motori di ricerca penalizzano links nascosti, piuttosto che altri "trucchi" di questo tipo, e poiché non è certamente consigliabile riempire e disordinare la home page con una miriade di links verso tutte le pagine interne del sito, la mappa del sito o "site map" si presenta come un sistema risolutivo per la nostra questione.

Come è noto gli spiders nella loro indicizzazione partono da quelle pagine web che sono già presenti sul database del motore di ricerca. Quando riscontrano che queste pagine sono state aggiornate (lo vedono dai cambiamenti nel peso della pagina in kbytes) aggiornano conseguentemente il database e se trovano nuovi links li seguono per indicizzare "nuove" pagine.

E' buona norma fare in modo di far trovare allo spider tutte le pagine da indicizzare ad un livello di profondità prossimo al vertice. Questo in quanto gli spiders normalmente non indicizzano tutti i contenuti del sito, ma solo quelli entro il terzo livello di profondità.

Possiamo infatti immaginare un sito web come una struttura piramidale il cui vertice sia costituito dalla home page e in cui la base sia costituita da tutte le pagine interne.

Un esempio chiarirà meglio quanto detto:

Lo spider segue i links fino al terzo livello per poi fermarsi: ciò in quanto le pagine che si trovano in profondità sono, per il motore di ricerca, meno rilevanti ed attinenti con i contenuti principali del sito, per cui qualitativamente meno appetibili.

Se si inserisce un link sulla home page (1° livello) che punti al file sitemap.htm (contenente la mappa del sito) ecco che tutti i files contenuti nella sitemap vengono linkati tutti dal secondo livello e indicizzati al terzo. In questo modo tutti i contenuti del sito sono indicizzati a beneficio della visibilità e della link popularity (raccomandiamo di utilizzare sempre links assoluti e mai relativi).

I motori di ricerca prediligono il sistema delle map site e lo dichiarano in molti casi espressamente nelle loro linee guida. Google ha addirittura creato uno nuovo standard per le indicizzazioni mediante il suo servizio google sitemap.