Sitemap e robots.txt: come Google legge correttamente il Suo sito

Prima che il Suo sito possa comparire su Google, Google deve innanzitutto leggerlo. Per farlo il motore di ricerca invia piccoli programmi, i cosiddetti «crawler», che si muovono di link in link attraverso il Suo sito e annotano ciò che trovano. Due file poco appariscenti li aiutano enormemente: la sitemap e il robots.txt. La maggior parte degli imprenditori non ne ha mai sentito parlare, eppure contribuiscono a decidere quanto bene Lei venga trovato.

Nessun timore: non deve programmarlo da solo. Ma capire cosa fanno questi due file La aiuta a porre le domande giuste e a non avere brutte sorprese. Glielo spiego come lo spiegherei a un cliente al tavolo di cucina.

Come Google trova il Suo sito

Immagini Google come un visitatore che non è mai stato da Lei e non ha una piantina della città. Arriva sulla Sua pagina iniziale e segue poi ogni link che scopre, verso la pagina Chi siamo, verso le prestazioni, verso il contatto. Così costruisce a poco a poco un quadro dell'intero sito. Questo processo si chiama crawling.

Il problema: se un link manca da qualche parte, Google forse trascura del tutto la pagina che vi sta dietro. E nei siti più grandi il crawler perde talvolta la visione d'insieme di cosa sia importante e cosa no. È proprio qui che entrano in gioco i nostri due aiutanti.

La sitemap: il Suo indice per Google

Una sitemap non è altro che un elenco ordinato di tutte le pagine che Lei desidera avere su Google. Si trova come piccolo file (di solito sitemap.xml) sul Suo server e dice al motore di ricerca in chiaro: «Ecco tutte le mie pagine, per favore guardale.»

Così non lascia più al caso se Google trovi ogni angolo del Suo sito. È utile soprattutto quando:

• il Suo sito è nuovo e ha ancora pochissimi link dall'esterno,
• ha molte sottopagine, ad esempio un blog o un catalogo prodotti,
• singole pagine sono mal collegate internamente e verrebbero altrimenti trascurate.

Una sitemap non garantisce un posizionamento in vetta, ma fa sì che Google sappia comunque che le Sue pagine esistono. E ciò che Google non conosce, non può mostrarlo a nessuno.

Il robots.txt: il buttafuori del Suo sito

Il robots.txt è l'antagonista della sitemap. Mentre la sitemap invita, il robots.txt può cortesemente declinare. È un minuscolo file di testo che dice a Google quali aree è meglio non guardare.

Perché si dovrebbe voler vietare qualcosa a Google? Perché non ogni pagina è pensata per il pubblico. Esempi tipici:

• aree di login interne o pagine di amministrazione,
• pagine di ringraziamento che compaiono solo dopo l'invio di un modulo,
• pagine doppie o tecniche che nei risultati di ricerca darebbero solo fastidio.

Importante da sapere: il robots.txt è una richiesta, non un lucchetto. I motori di ricerca seri lo rispettano, ma non protegge dati sensibili. Ciò che è davvero confidenziale va dietro una password, non solo dietro una voce nel robots.txt.

L'errore più frequente, e perché diventa costoso

Lo vedo di continuo: nel robots.txt c'è per errore una riga che vieta a Google l'intero sito. Succede più in fretta di quanto si pensi, ad esempio quando una pagina durante la costruzione viene nascosta di proposito a Google e ci si dimentica di rimuovere il blocco prima del lancio.

La conseguenza è amara: il sito è online, ha un bell'aspetto, funziona, e tuttavia non compare da nessuna parte su Google, perché una singola riga respinge il crawler alla porta. Per settimane ci si chiede perché non arrivino richieste. Per questo un'occhiata al robots.txt è tra le prime cose che controllo dopo ogni lancio.

Come collaborano i due

Il modo migliore è pensare a un edificio: la sitemap è l'indicazione all'ingresso, che elenca tutte le stanze che i visitatori devono vedere. Il robots.txt è la scritta sulle porte, che contrassegna gli spazi privati come «non pubblici». Insieme fanno sì che Google venga guidato in modo efficiente attraverso la Sua casa, e ponga la sua attenzione sulle stanze a cui Lei tiene.

Di solito il robots.txt rimanda alla fine addirittura direttamente alla sitemap. Così Google trova subito, alla prima visita, entrambe le cose: l'invito e il regolamento della casa.

Cosa dovrebbe fare concretamente

Non deve diventare un professionista della tecnica, ma questi pochi punti valgono la pena:

• Verifichi se il Suo sito ha effettivamente una sitemap, spesso raggiungibile al Suo indirizzo più /sitemap.xml.
• Dia un'occhiata al Suo /robots.txt e si accerti che lì non sia bloccato per errore tutto.
• Registri una volta il Suo sito nella gratuita Google Search Console e vi carichi la Sua sitemap. Così vede nero su bianco cosa pensa Google del Suo sito.

Se tutto ciò Le sembra troppo tecnico, va benissimo, è proprio per questo che esistono persone come me. Nei miei siti sitemap e robots.txt sono configurati in modo pulito fin dall'inizio, affinché Google legga correttamente il Suo sito dalla prima ora. Vuole sapere a che punto è il Suo sito attuale? Dia un'occhiata volentieri agli altri articoli oppure mi contatti senza impegno tramite il modulo di contatto, ci do un'occhiata e Le dico onestamente se Google trova davvero il Suo sito in modo corretto.