Quando si parla di meta tag robots il rischio è sempre lo stesso: confonderlo con il robots.txt. In realtà sono due elementi molto differenti che svolgono una funzione simile: comunicano con Google. Danno indicazioni al motore di ricerca, con metodi diversi. Ma altrettanto validi.
Per un webmaster è importante poter lavorare con la massima flessibilità e autonomia questo punto. Chi si occupa di SEO deve essere in grado di suggerire a Google come comportarsi di fronte a una risorsa. Se seguirla o meno. E se dare importanza i link inseriti.
Questo è decisivo, importante per la gestione della tua presenza online. Ecco perché ho pensato di dare qualche riferimento utile rispetto al meta tag robots, una stringa di testo che non si vede nella pagina restituita dal browser. Ma può fare tanto per l’equilibrio del sito web.
Argomenti
Si tratta di un meta tag che controlla il comportamento della scansione. Questa stringa di codice rientra nell’elenco dei comandi ufficiali di Google.
Viene usata per comunicare con i programmi che si occupano della scansione del sito web.
Mentre, ad esempio, la description suggerisce un testo per introdurre il contenuto del documento da inserire nella serp, il meta tag robots dà notifiche rispetto ai parametri della pubblicazione.
Questa stringa può controllare l’indicizzazione di una risorsa. Il vantaggio: puoi attivare dei processi specifici, non operazioni di massa ma puntuali e certosini per regolare un passaggio decisivo: come Google debba vedere una singola pagina. Qualche dato in più?
Da leggere: cosa fare quando il sito non si vede su Google
La posizione dell’elemento, come per i meta tag delle pagine web, è la sezione header del documento HTML. In questo modo si convalida la presenza di queste istruzioni e i vari crawler possono leggere le indicazioni del webmaster e agire di conseguenza.
Per modificare l’elemento senza intervenire sul codice puoi usare WordPress SEO by Yoast che nelle funzioni avanzate permette di modificare la visibilità di una pagina tramite un menu a tendina. Ovviamente è un approccio limitato ma semplice e veloce.
Il modo migliore per capire cos’è il robots in questo contesto? Mostrarlo. Forse hai già visto una stringa del genere, ecco un esempio preso dalla guida Google:
<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
</head>
<body>(…)</body>
</html>
Come puoi vedere l’elemento in grassetto rappresenta il meta tag robots, composto da due elementi. Vale a dire il valore dell’attributo (name) e il tipo di comando da attribuire al documento (content). In questo caso si è indicato che il comando vale per tutti i crawler.
<meta name="googlebot" content="noindex" />
Così, invece, l’indicazione vale solo per un determinato programma di scansione, vale a dire il bot principale di Google. Il resto degli spider viene esonerato dal comando.
Il tag robots viene preso in considerazione dopo l’OK del robots.txt. Se quest’ultimo impedisce la lettura della pagina, le informazioni successive sono ignorate. Queste sono delucidazioni che i motori di ricerca possono prendere in considerazione ma non dei blocchi sicuri. Se hai delle informazioni riservate che non vuoi far indicizzare conviene usare una password per proteggere l’accesso.
Il tag title mi aiuta a comunicare il topic base a Google e fa uscire il titolo nello snippet, la meta description si occupa della descrizione. Il tag keyword non serve a niente. E il robots? Qual è il suo compito? Comunica al motore di ricerca come comportarsi con:
Questi sono i comandi principali. I valori predefiniti sono attivi (index e follow) ma non devono essere specificati. Google riconosce più valori per ogni comando, basta separarli calla virgola. Non vengono influenzati da maiuscole o minuscole. Un esempio?
<meta name="robots" content="noindex, nofollow" />
La pagina web è praticamente inesistente. O almeno questa è la richiesta del webmaster. Ma non esistono solo i comandi per non far indicizzare una pagina o mettere i link in nofollow.
<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">
Ricorda, inoltre, che per comunicare le tue preferenze a due spider differenti devi usare due comandi diversi su righe consecutive. Sopra trovi un esempio della corretta sintassi per scrivere un meta tag robots dedicato a due software differenti di Mountain View.
Come già detto, ci sono diversi comandi che puoi inserire in questo elemento del codice HTML per gestire la relazione tra motore di ricerca e pagina web. Ecco la lista delle possibilità che puoi prendere in esame e implementare sul tuo blog o sito web.
all | Valore predefinito. Nessun limite a indicizzazione. |
noindex | Non mostrare la pagina nei risultati di ricerca. |
nofollow | Non seguire i link su questa pagina. |
none | Uguale a noindex, nofollow. |
noarchive | Non mostrare link “Copia cache” nella serp. |
nosnippet | Impedisce la visualizzazione dello snippet nella serp. |
notranslate | Non proporre la traduzione della pagina nella serp. |
noimageindex | Non indicizzare le immagini. |
Da considerare la presenza del tag unavailable_after. Una variabile per non mostrare la pagina nei risultati di ricerca dopo la data e l’ora specificata in formato RFC 850.
Ricorda, inoltre, che puoi implementare X-Robots-Tag lato htaccess per impostare le stesse regole del meta tag robots ai file non HTML tipo immagini e PDF. Ecco un esempio di come può presentarsi il comando per noindex e nofollow sui Portable Document Format:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Semplice: con questo tool puoi suggerire a Google quali sono le risorse che non deve prendere in considerazione. Perché, ad esempio, non costituiscono un valore reale per gli utenti e devono essere online solo per una questione di servizio. Come le pagine privacy.
Oppure con le risorse dedicate ai media partner. Se hai una pagina con collegamenti a clienti e collaboratori forse può essere il caso di mettere tutti i link in nofollow. Google deve vedere che esiste quella risorsa ma non è consentito dare valore in termini SEO a quei collegamenti.
Quindi puoi usare il meta tag robots per dare informazioni specifiche. Ed evitare una possibile penalizzazione, dato che Mountain View non è d’accordo con queste pratiche.
Da leggere: cancellare una pagina da Google
Il passaggio è importante per ottenere il miglior risultato possibile dal tuo sito web. Ricorda di lavorare in modo da semplificare la vita al motore di ricerca e di controllare sempre che non ci siano blocchi con il meta tag robots sulle pagine che ti interessano. A volte, come capita con il robots.txt, basta una svista per ritrovarsi con risorse importanti deindicizzate.
