Uno degli aspetti meno noti, ma altrettanto importanti, della SEO è la deindicizzazione delle pagine web. Vediamo di cosa si tratta e come si fa.
Cosa significa Noindex?
Impostare noindex una pagina significa dire ai motori di ricerca di non mostrarla nei loro risultati. Questo si fa utilizzando una direttiva speciale chiamata “noindex”. Può sembrare controproducente voler nascondere una pagina dai risultati di ricerca, ma ci sono diversi motivi per cui potresti volerlo fare. Ad esempio, potresti voler impedire l’indicizzazione delle pagine di ringraziamento, le pagine di login, le pagine dei termini di servizio, i contenuti a pagamento, o le pagine di errore. Vedremo tra qualche paragrafo perché.
Metodi per non fare indicizzare le pagine
Esistono diversi modi per impedire l’indicizzazione di una pagina. I tre più comuni sono l’uso del meta tag robots, il file robots.txt e il tag X-Robots.
Meta tag robots
Il meta tag robots è un tag che si aggiunge alla sezione <head> di una pagina web specifica e che trasmette istruzioni solo per quella pagina. Questo tag non solo può essere utilizzato per dire a un crawler di ricerca di non indicizzare una pagina ma può anche richiedergli di non seguire i link.
robots.txt
Il robots.txt è un file che permette ai proprietari di siti web di dire ai motori di ricerca quali parti del loro sito non vogliono che vengano esplorate. È come un vigile che dirige il traffico dei crawler per il tuo sito, e si trova nella directory principale del tuo dominio o sottodominio. Un file robots.txt è ideale per bloccare intere sottodirectory dall’essere analizzate, piuttosto che per pagine individuali.
Ricorda: il robots.txt impedisce solo ai crawler di accedere a una pagina, non di indicizzarla. Se, ad esempio, questa riceve link esterni, i motori di ricerca potrebbero indicizzarla. Utilizza i meta tag robots insieme a questo file per evitare problemi.
Il robots.txt è particolarmente utile per bloccare URL con parametri, come quelle create da filtri o ricerche; o per impedire l’accesso ad aree non utilizzate dall’utenza, come ad esempio sezioni per i dipendenti. Può essere anche usato per escludere l’indicizzazione di contenuto creato dagli utenti.
Tag X-Robots
Il tag X-Robots è utilizzato per bloccare i PDF, i video, o immagini dall’apparire in SERP. Le stesse direttive specificate per i meta tag robots vengono utilizzate per X-Robots. Tuttavia, a differenza del meta tag robots, che risiede nell’intestazione HTML di una pagina, un tag X-Robots viene posizionato nella risposta dell’intestazione HTTP.
Il metodo più semplice per mettere una pagina noindex
Inserire il meta tag robots da HTML è il metodo più veloce per impedire l’indicizzazione, se il tuo sito è su WordPress Yoast ti darà una mano.
Inserire il meta tag robots da HTML
Per impostare noindex una pagina, devi inserire il meta tag robots nell’intestazione della pagina HTML. Il codice non è sensibile alle maiuscole e minuscole e si presenta così: <meta name=”robots” content=”noindex”>.
Impostare noindex da Yoast
Se utilizzi WordPress, il plugin Yoast SEO ti consente di mettere in noindex facilmente una pagina senza scrivere alcun codice. Devi semplicemente cliccare sulla scheda ‘Avanzate’ nella casella meta di Yoast SEO e selezionare ‘No’ dal menu a discesa sotto la domanda ‘Consenti ai motori di ricerca di mostrare questo post nei risultati di ricerca?’. Queste opzioni sono presenti per ogni pagina.
Casi in cui è utile inserire il noindex in una pagina
Esistono diversi motivi per cui non voler far apparire i propri contenuti su Google, vediamo i più comuni:
Pagine non cercate dagli utenti
Molti siti prevedono pagine che gli utenti normalmente non cercano sui motori di ricerca, di conseguenza, per evitare di sprecare crawl budget è utile impedirne l’indicizzazione.
Stiamo parlando di pagine come la privacy policy, la cookie policy e pagine di servizio come il carrello e le pagine di ringraziamento.
Alcuni siti di e-commerce potrebbero anche avere prodotti disponibili per servire clienti specifici, anche se la domanda per tali prodotti non è rilevante ed è quasi nulla in SERP. Ad esempio, un rivenditore di ricambi auto o un’azienda tecnica potrebbe avere prodotti per modelli specifici o attrezzature rare. Se queste pagine di prodotto o categoria non stanno generando traffico organico, possono generalmente essere deindicizzate.
Cannibalizzazione di keyword
La cannibalizzazione di keyword si verifica quando due pagine condividono keyword simili e lo stesso search intent; ciò le fa entrare in competizione l’una con l’altra per le stesse SERP. Se hai due pagine che si cannibalizzano a vicenda e vuoi mantenerle entrambe senza cambiarne il contenuto, imposta noindex una di esse.
Campagne pubblicitarie
Le landing page relative a campagne di advertising dovrebbero sempre essere noindex. Essendo pagine spesso momentanee e contenenti chiavi che potrebbero andare a cannibalizzare altri contenuti utili alle conversioni, è sempre meglio non farle posizionare nei risultati organici. Ciò non andrà in alcun modo a inficiare sulle campagne search o su altre manovre pubblicitarie.
Come rimuovo una pagina già indicizzata dalle SERP?
Se una pagina è già stata indicizzata, l’aggiunta di un tag noindex non la rimuoverà immediatamente dai risultati di ricerca. I bot di ricerca devono ricontrollare la pagina per vedere il tag. Puoi chiedere a Google di ricontrollare la pagina utilizzando lo strumento di ispezione URL in Google Search Console. Se hai bisogno di rimuovere una pagina dai risultati di ricerca immediatamente, puoi utilizzare lo strumento di rimozione in Google Search Console.
In conclusione,bloccare l’inserimento di una pagina in SERP è un aspetto importante della SEO che non dovrebbe essere trascurato. Nonostante possa sembrare controproducente, ci sono molte situazioni in cui potrebbe essere vantaggioso impedire l’indicizzazione di certe pagine del tuo sito. Utilizzando le tecniche descritte in questo articolo, sarai in grado di impostare come noindex le pagine quando necessario.
Se hai bisogno di assistenza non esitare a contattarci, il nostro team di esperti SEO è in grado di risolvere qualsiasi problematica.
