Spesso hai bisogno di un passaggio: deindicizzare una pagina web. Non la vuoi cancellare, non hai bisogno di eliminare una sezione da Google. La tua risorsa deve essere presente, sempre online. Solo che non vuoi che appaia nelle ricerche di Google.
Sembra un’operazione complessa? In realtà basta lavorare con alcuni tag o definire delle regole ben precise per deindicizzare una pagina web dai motori di ricerca come Google ma anche Bing e Yahoo! Da dove iniziare questo passaggio?
Argomenti
Parlare di deindicizzazione vuol dire togliere lo status di pagina indicizzata a una risorsa che nella sua condizione iniziale è stata inclusa nell’archivio di Google.
Il crawler, il software che scopre le varie risorse pubblicate da un dominio web, ha intercettato la pubblicazione che viene restituita nelle serp in base alle query. Quindi se con l’indicizzazione di una pagina web facciamo in modo che la pubblicazione sia visibile a Google e ai motori di ricerca, con la deindicizzazione compiamo il percorso inverso: la togliamo dall’archivio e quindi dalle serp.
Di solito si tende a deindicizzare una pagina – e non a cancellarla o eliminarla – quando da un punto di vista della navigazione è indispensabile ma non si vuole farla apparire nei motori di ricerca. Questo può avvenire per motivi di privacy: hai pubblicato un contenuto particolare che vuoi dare solo agli iscritti che ricevono la newsletter e non a quelli che arrivano via Google.
Inoltre puoi deindicizzare i contenuti per evitare contenuti duplicati o per non appesantire il lavoro di scansione con contenuti inutili. Esempio concreto: mi servono i tag per migliorare la navigazione e portare le persone verso pagine specifiche ma queste risorse non hanno alcun valore in termini di posizionamento, traffico e link baiting. Quindi deindicizzo queste risorse.
Ma le tengo disponibili per l’utente. Un discorso simile posso fare per landing page delle sponsorizzate. Una condizione molto particolare e che ti spinge a deindicizzare una pagina web: la presenza di molti contenuti vecchi pubblicati su un blog. Sono dei comunicati stampa, delle notizie vecchie che non hanno valore ma servono da archivio. Come muoversi? Bisogna deindicizzare.
Da leggere: cos’è e a cosa serve il rel canonical
Così come avviene per l’eliminazione, anche l’opera che ti porta a deindicizzare una pagina web deve essere preceduta da una serie di attività. In primo luogo devi monitorare il traffico: stiamo parlando di una mole importante di visite? Ma da dove arrivano?
Se sono visite referral, quindi che arrivano da link esterni, non ci sono problemi ma se il pubblico arriva dal motore di ricerca bisogna valutare se e come recuperare questo traffico: una volta indicizzata la pubblicazione non genererà più traffico. Un traffico che deve essere comunque valutato: sono visite che abbandonano la pagina o navigano verso le pagine di conversione?
Inoltre, per quali keyword è posizionata la risorsa? Nessuna? Un controllo su Semrush o Seozoom ti permette di evitare inutili perdite di ranking deindicizzando una pagina web con buone risorse SEO. E che potrebbe essere significativa per il traffico.
Che sia un articolo o una pagina fissa, il processo per deindicizzare una risorsa del sito web è simile: devi aggiungere il meta tag robots con valore noindex nell’head. In questo modo puoi intervenire sulla singola risorsa e suggerire a Google che quella pagina web, e solo quella che hai suggerito, non deve essere più indicizzata. Ecco un esempio di meta tag robots con noindex:
<meta name="robots" content="noindex">
Come implementare quest’operazione? Se hai un plugin Yoast – o una qualsiasi suite SEO per WordPress – puoi andare nella sezione finale dedicata alle funzioni avanzate. Alla voce Consenti ai motori di ricerca di mostrare Articolo nei risultati delle ricerche? puoi scegliere sì o no. Con quest’ultima opzione inserisci il noindex sulla singola pagina e deindicizzi il contenuto.
Metodo differente: puoi utilizzare il robots.txt per deindicizzare intere sezioni del sito web. Ad esempio, puoi inserire tutti i comunicati stampa e le news vecchie in una cartella e intervenire sul robots.txt per deindicizzarla. In ogni caso ricorda che le istruzione del robots.txt non sono tecnicamente pensate per escludere dall’indicizzazione una o più pagine. Google sottolinea di
“Non utilizzare un file robots.txt come mezzo per nascondere le tue pagine web dai risultati di ricerca di Google. Se altre pagine rimandano a una pagina del tuo sito con testo descrittivo, Google potrebbe comunque indicizzare l’URL senza visitare la pagina. Se vuoi impedire la visualizzazione della tua pagina nei risultati di ricerca, utilizza un altro metodo, ad esempio la protezione tramite password oppure
noindex“.
Tutto questo senza dimenticare che indicazioni di robots.txt e meta tag non devono essere in contrasto. Al momento la soluzione per rendere irraggiungibile un blocco di contenuti sulla serp è quello di proteggere l’intera directory con una password.
Di default puoi farlo per un singolo articolo su WordPress, altrimenti usi un plugin come WordPress Password Protect Page – PPWP Plugin che ti consente di bloccare intere sezioni con una parola nota solo al pubblico che vuoi far entrare.
Da leggere: come gestire il tag hreflang
Hai deindicizzato la pagina web ma al momento la risorsa è ancora visibile. Vuoi anticipare l’operazione? Google mette a disposizione, nella search console, uno strumento di rimozione URL della serp. Non serve a eliminare la pagina.
Ma la rendi momentaneamente invisibile. Si usa per dare valore immediato alle modifiche che dovrai fare alla risorsa se vuoi renderla effettivamente non disponibile su Google. Quindi, prima vai sulla search console e inserisci nel tool in questione l’URL che non vuoi indicizzare. Poi procedi o con la rimozione definitiva o con la deindicizzazione come ti ho già spiegato.
