Gravure-News

[Roms6]

Avis au Webmasters, j'ai un gros problème : le GoogleBot n'arrette pas de crawler cette page sur mon site : *ttp://www.gamenews-fr.com/.html qui ne mène qu'à un 403 forbidden, et je n'arrive pas à comprendre pourquoi il tient à visiter cette page alors qu'aucun refferer n'y mène...

Bref, j'ai donc utilisé mon fichier robots.txt et ai rajouté dans Disallow: /.html mais là où ca coince vraiment c'est que le GoogleBot n'en a que faire et continue d'aller sur cette page...

Une solution pour ca ?

[CapJack]

Ben vi : ça veut dire que, quelque part sur ton site (ou sur un autre site ?) un lien existe vers cette adresse... GoogleBot parcourt obligatoirement l'arborescence de ton site, donc le problème vient de là : vérifie toutes tes pages !

[gowap]

Pour économiser la bande passante, Googlebot télécharge le fichier robots.txt une fois par jour uniquement ou après extraction d'un grand nombre de pages du serveur. Il peut donc s'écouler un certain délai avant que Googlebot soit informé des modifications apportées au fichier robots.txt. Googlebot est également réparti sur plusieurs ordinateurs, qui conservent chacun leur propre version du fichier robots.txt.

[Roms6]

Merci

De toute façon je suis pas certain que le fait qu'il référence cette page aurait changé quelque chose mais bon autant qu'il référence une "vraie" page.

Pour ce qui est du refferrer ca m'intrigue, normalement je devrais voir tous les refferers dans mes stats...

[Roms6]

Bon, étant donné que tous les bots ont fait de même (ca m'énerve de voir un bot crawler une page pour rien ), j'ai retiré le Disallow: /.html

Et j'ai fait dans l'utile pour mon .htaccess :

ErrorDocument 403 *ttp://www.gamenews-fr.com/403.html
Redirect permanent /403.html *ttp://www.gamenews-fr.com/

C'est réglé