Comment supprimer un site des moteurs de recherche

La plupart du temps, on cherche à être bien référencé dans les moteurs de recherche. Il arrive pourtant qu’on doive empêcher l’indexation d’un site complet (un site de recette par exemple). Voilà comment supprimer un site indexé par erreur, et empêcher les nouveaux contenus d’être indexés.

1. Demander aux moteurs d’oublier vos contenus

Google

  1. Se connecter à Google Webmaster Tools (nécessite un compte Google).
  2. S’identifier comme propriétaire du site
  3. Aller sur le formulaire de demande de suppression de contenu indexé

Yahoo

  1. Se connecter à Yahoo Site Explorer (nécessite un compte Yahoo).
  2. S’identifier comme propriétaire du site
  3. Sélectionner le site, puis naviguer vers Actions > Delete URLs

Bing

  1. Se connecter à Bing Webmaster Tools (nécessite un compte Microsoft : Hotmail, livemail, etc.). Note : l’outil est également accessible en https, mais leur certificat n’est pas valide.
  2. S’identifier comme propriétaire du site
  3. Sélectionner le site, puis naviguer vers Référencement > Bloquer les URLs

2. Indiquer aux moteurs de ne plus indexer le site

Là, c’est beaucoup plus simple. Vous avez même le choix des armes : un fichier robots.txt à la racine du site, ou un fichier .htaccess.

Robots.txt

Avant d’explorer un site, les robots demandent le fichier robots.txt. S’il le trouvent, ils respectent les instructions. On peut dire à un robot ou à tous s’ils doivent ignorer des dossiers ou fichiers, seulement suivre les liens, ou ne pas mettre en cache. Ce standard est documenté sur le site robotstxt.org. Vous trouverez également en pièce jointe un fichier robots.txt qui, placé à la racine de votre site, interdira à tous les robots d’accéder à votre site. A n’utiliser que si vous voulez que le site ne soit pas indexé !

.htaccess

Les instructions dans les fichiers .htaccess indiquent au serveur Apache comment répondre aux demandes qui lui arrivent. A la différence du fichier robots.txt, qui n’engagent que les robots « polis », ces instructions sont suivies par le serveur qui refusera donc de traiter avec le robot.

Pour un site de recette, on bloque souvent toutes les adresses IPs sauf celles des développeurs et du client.

Attention cependant, une coquille dans ce fichier peut rendre le site totalement inutilisable…

4 réflexions au sujet de « Comment supprimer un site des moteurs de recherche »

  1. Je pense que tu devrais en parler à Karl et Marc pour leur petit livre sur le droit à l’oubli numérique.

  2. Merci pour les astuces, j’en connaissais déjà la plupart, le reproche que je ferai à google est d’être un peu long à évacuer les données que l’on veut effacer

  3. Bonjour,

    Effectivement ce sont des choses à connaitre mais quelle est l’intérêt de travailler des heures sur un site pour supprimer ses URLS des moteurs de recherches ?

  4. Je te tutoies hein?
    Tu as également une autre façon qui est de mettre la meta dans le <head>
    <meta name= »ROBOTS » content= »NOINDEX, NOFOLLOW » />
    qui peut être un complément ;)

Les commentaires sont fermés.