Uno spider (detto anche web crawler, robot o bot) è un programma automatico utilizzato dai motori di ricerca per navigare il web, seguire i link e raccogliere informazioni sulle pagine web per inserirle nel loro indice.
Lo spider visita periodicamente le pagine già indicizzate per aggiornarne il contenuto e scopre nuove pagine seguendo i link. La velocità e la frequenza con cui uno spider visita un sito dipendono dalla sua autorevolezza e dalla freschezza dei contenuti. Un sito ben strutturato tecnicamente, con una sitemap XML e link interni efficaci, facilita il lavoro dello spider e migliora l'indicizzazione.