Comment désindexer des dizaines de milliers de pages qui n'existent plus ?

domaine1 · #1 (**permalien**) 25/12/2015, 10h48

Bonjour,
il y a un peu plus de 3 mois, j'ai eu des dizaines de milliers de pages de spams en japonais sur mes sites, après que quelqu'un ait pris le contrôle du ftp.
J'ai supprimé ces pages quelques jours après et envoyé des sitemaps, mais elles continuent à être indexées. Comment faire pour ne plus les indexer ?

Par exemple site:davidchelly.com donne des milliers de pages qui n'existent pas. Le sitemap est ici :
http://www.davidchelly.com/sitemap.xml

Est-ce qu'il y aurait une instruction avec robots.txt ou htaccess ? Toutes les pages à supprimer commencent par eat-

merci !

Didier · #2 (**permalien**) 26/12/2015, 12h01

Bonjour David,

Il me semble que l'on ne desindexe pas des pages mais INDEXE les bonnes.

A tu compte dans Google Webmaster & Bing Webmaster?

Tu a un sitemap c'est bien.
Est il soumis dans les outils Webmaster ou a tu indexé(ping) les pages?

Ton url racine est première dans Google suivie de +8500 pages d'ancien spam retournant en 404.
Ca fait combien de temps que tu a réparer ceci et surtout combien de temps sont restée indexée les milliers de pages de spam?

Noter que Bing ne comporte aucune mauvaises pages
Contrairement à Google pour la commande site:davidchelly.com

A tu des messages/alertes/recommandations dans ton Google webmaster concernant ce site?

domaine1 · #3 (**permalien**) 27/12/2015, 10h35

merci Didier,
apparemment, les instructions ici donnent la réponse :

https://sites.google.com/site/webmas...et-repertoires

il faut indiquer à google que les pages n'existent plus, le sitemap et le fait de les supprimer ne suffit pas.
J'ai juste rajouté un fichier .htaccess comme google le conseille et ça devrait être résolu. Sur les ndd qui ont été spammés où j'avais un fichier htaccess, les pages ont disparu en qq jours.
Ca devrait être bon maintenant

Didier · #4 (**permalien**) 27/12/2015, 10h43

Merci David pour le lien je n'avais pas trouvé cette info.
Je met en signet!

ruben · #5 (**permalien**) 04/01/2016, 15h41

Tu peux essayer de rediriger ta page d'erreur 404 (qui ne recense certainement que des erreurs liées aux anciennes pages spammées) en 301 vers une page neutre sur laquelle tu ajoutes une balise meta noindex.

Donc en gros je configurerais comme page 404 une page en php (via ton htacess)
Dans un deuxième temps je créerais une page neutre de type pageneutre.php

Sur la page 404.php j'ajouterai un code du genre :

<?php
header("Status: 301 Moved Permanently", false, 301);
header("Location: http://www.tonsite.com/pageneutre.php");
exit();
?>

et sur pageneutre.php dans le META je mettrais :

<meta name="robots" content="noindex,nofollow" />

ruben · #6 (**permalien**) 05/01/2016, 13h22

Actuellement tes anciennes URL spam sont redirigées vers ta homepage en 302 qui est une redirection temporaire. Google ne désindexe donc pas les pages. Il faut que tu fasses une redirection permanente 301. Je te conseille également comme expliqué dans message plus haut de ne pas rediriger toutes ces pages vers ton Index. Si tu utilises une page neutre non indexée tu peux sans soucis à partir de cette dernière refaire une redirection vers ta Home. Il faut juste que celle-ci ne soit pas interprétée par GG. Tu peux faire une redirection Meta refresh en mettant un timing à 5s par exemple.

domaine1 · #7 (**permalien**) 05/01/2016, 13h47

Envoyé par ruben

Actuellement tes anciennes URL spam sont redirigées vers ta homepage en 302 qui est une redirection temporaire. Google ne désindexe donc pas les pages. Il faut que tu fasses une redirection permanente 301. Je te conseille également comme expliqué dans message plus haut de ne pas rediriger toutes ces pages vers ton Index. Si tu utilises une page neutre non indexée tu peux sans soucis à partir de cette dernière refaire une redirection vers ta Home. Il faut juste que celle-ci ne soit pas interprétée par GG. Tu peux faire une redirection Meta refresh en mettant un timing à 5s par exemple.

merci bien Alex de ce message et du précédent,
mon htaccess est :

RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\.davidchelly\.com [NC]
RewriteRule (.*) http://www.davidchelly.com/$1 [QSA,R=301,L]
ErrorDocument 404 David Chelly : sites et stratégie internet, noms de domaine

L'instruction ErrorDocument met du 302 par défaut ? Je dois utiliser une autre syntaxe ?

ruben · #8 (**permalien**) 06/01/2016, 13h58

Selon moi pour avoir une vraie erreur 404 tu ne dois pas avoir une redirection vers une url absolue mais du type :
ErrorDocument 404 /404.php
Cela dit je trouve étonnant que ça renvoie une 302. Edit : je pensais que l'utilisation d'une URL absolu transmettait un code 200, mais visiblement ça peut aussi renvoyer un 302.
Pour info des pages qui n'existeront plus jamais devraient être en 410.