Problème de crawl

[Creastyle]

Coucou tout le monde,

j'ai une petite question, je vois dans mes logs que certains robots font "mumuse" avec mon panier, c'est pénible car j'ai un module qui me permet de rediriger les pages non trouvées vers les bonnes url mais je me retrouve avec une dizaine de page de ce type :
http://www.monsite.fr/boutique/page/7/?add-to-cart=1327
http://www.monsite.fr/boutique/page/7/? ... cart=1303&
view=list

etc..

quelqu'un à une idée pour bloquer ça ?

merci

[LeorLindel]

Salut,

Il te faut créer un fichier robots.txt à mettre à la racine de la boutique et le remplir de cette manière (à élaguer ou compléter suivant besoins)

Code: Tout sélectionner

User-agent: *
Disallow: /*&limit
Disallow: /*&sort
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
Disallow: /*?route=affiliate/
Disallow: /*?tag

[Creastyle]

Hello Leor,
le mien contient ceci :

Code: Tout sélectionner

User-agent: *
Disallow: /*&limit
Disallow: /*&sort
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
Disallow: /*?route=affiliate/
Disallow: /cgi-bin
Disallow: /*?limit
Disallow: /*?sort
Disallow: /*&keyword
Disallow: /*?page=1
Allow: /

donc les lignes que tu indique mais pourtant j'ai quand même certains robots qui me remplissent mes lignes 404

je ne sais pas quoi ajouter pour les empêcher de faire cela