1. Demander aux moteurs d'oublier vos contenus

Google

  1. Se connecter à Google Webmaster Tools (nécessite un compte Google).
  2. S'identifier comme propriétaire du site
  3. Aller sur le formulaire de demande de suppression de contenu indexé

Yahoo

  1. Se connecter à Yahoo Site Explorer (nécessite un compte Yahoo).
  2. S'identifier comme propriétaire du site
  3. Sélectionner le site, puis naviguer vers Actions > Delete URLs

Bing

  1. Se connecter à Bing Webmaster Tools (nécessite un compte Microsoft : Hotmail, livemail, etc.). Note : l'outil est également accessible en https, mais leur certificat n'est pas valide.
  2. S'identifier comme propriétaire du site
  3. Sélectionner le site, puis naviguer vers Référencement > Bloquer les URLs

2. Indiquer aux moteurs de ne plus indexer le site

Là, c'est beaucoup plus simple. Vous avez même le choix des armes : un fichier robots.txt à la racine du site, ou un fichier .htaccess.

Robots.txt

Avant d'explorer un site, les robots demandent le fichier robots.txt. S'il le trouvent, ils respectent les instructions. On peut dire à un robot ou à tous s'ils doivent ignorer des dossiers ou fichiers, seulement suivre les liens, ou ne pas mettre en cache. Ce standard est documenté sur le site robotstxt.org. Vous trouverez également en pièce jointe un fichier robots.txt qui, placé à la racine de votre site, interdira à tous les robots d'accéder à votre site. A n'utiliser que si vous voulez que le site ne soit pas indexé !

.htaccess

Les instructions dans les fichiers .htaccess indiquent au serveur Apache comment répondre aux demandes qui lui arrivent. A la différence du fichier robots.txt, qui n'engagent que les robots "polis", ces instructions sont suivies par le serveur qui refusera donc de traiter avec le robot.

Pour un site de recette, on bloque souvent toutes les adresses IPs sauf celles des développeurs et du client.

Attention cependant, une coquille dans ce fichier peut rendre le site totalement inutilisable...