Un site peut rester parfaitement accessible aux internautes tout en devenant invisible dans Google. Abondance a documenté le cas d’un commerce en ligne dont une modification effectuée sur Cloudflare, le service placé devant le serveur, a bloqué les robots du moteur de recherche pendant un week-end.
Une quarantaine de pages retirées de l’index
L’incident a été repéré le lundi matin grâce à une alerte de la Search Console. La vérification menée par l’équipe chargée du référencement a montré qu’environ 40 pages sur près de 300 n’étaient plus présentes dans Google. Les pages les plus importantes du site figuraient parmi les contenus touchés.
Le problème venait d’une règle modifiée le vendredi soir par l’infogérant. Celle-ci empêchait les robots de Google de consulter les pages et leur renvoyait un code 403, qui signifie que l’accès est interdit. Les visiteurs humains, eux, continuaient à afficher normalement le site : cette différence a rendu la panne difficile à détecter pendant le week-end.
| Élément | Constat |
|---|---|
| Site concerné | Commerce en ligne d’activités de loisirs |
| Pages sorties de l’index | Environ 40 sur près de 300 |
| Origine | Règle Cloudflare bloquant les robots |
| Retour dans Google | Presque toutes les pages en moins de 24 heures |
Le code reçu par Google change la réaction du moteur
Selon la documentation de Google citée par Abondance, une réponse 403 appartient à la famille des erreurs 4xx. Pour le moteur, elle indique que le contenu n’est pas disponible. Une page déjà indexée peut alors être retirée des résultats, à l’image d’une page supprimée. Google recommande par ailleurs de ne pas utiliser les codes 401 et 403 pour ralentir ses robots.
Les erreurs liées au serveur, classées dans la famille des 5xx, sont traitées différemment. Le type de réponse transmis par le site constitue donc un élément déterminant pour son référencement, même lorsque l’incident ne dure que quelques heures.
Une vérification à effectuer avant les périodes sensibles
Après la correction de la règle, une demande de réindexation a été envoyée depuis la Search Console. D’après Abondance, presque toutes les pages concernées étaient revenues dans l’index en moins de 24 heures. L’incident s’est produit à quelques jours du Black Friday, une période particulièrement importante pour ce commerce.
- contrôler régulièrement les alertes de la Search Console ;
- vérifier les réponses reçues par les robots après toute modification de sécurité ;
- inclure les règles de filtrage et de pare-feu dans les contrôles de référencement ;
- tester les pages principales après une intervention de l’hébergeur ou de l’infogérant.