{"version":"1.1","schema_version":"1.1.0","plugin_version":"1.1.2","url":"https://kalys.fr/robots-txt/","llm_html_url":"https://kalys.fr/robots-txt/llm","llm_json_url":"https://kalys.fr/robots-txt/llm.json","manifest_url":"https://kalys.fr/llm-endpoints-manifest.json","language":"fr-FR","locale":"fr_FR","title":"Shopify Robots.txt : comment le modifier (et pourquoi !)","site":{"name":"Kalys","url":"https://kalys.fr/"},"author":{"id":2,"name":"Charly Cabécadas","url":"https://kalys.fr/author/charlyseo/"},"published_at":"2025-10-17T07:59:53+00:00","modified_at":"2026-02-10T11:59:06+00:00","word_count":2465,"reading_time_seconds":740,"summary":"Après des années d’attente, nous sommes enfin en mesure de modifier le fichier Robots.txt sur nos boutiques Shopify (à la fois basic et Shopify Plus). Voici comment le modifier, quand vous devez le personnaliser et en quoi il est utile pour le référencement. Qu’est-ce que le robots.txt ? Le fichier robots.txt se compose de règles qui indique aux […]","summary_points":["Après des années d’attente, nous sommes enfin en mesure de modifier le fichier Robots.txt sur nos boutiques Shopify (à la fois basic et Shopify Plus).","Voici comment le modifier, quand vous devez le personnaliser et en quoi il est utile pour le référencement.","Comment modifier le robots.txt et pourquoi ?","Réponse en video\n\n\n\nQu’est-ce que le robots.txt ?"],"topics":["Shopify SEO"],"entities":[],"entities_metadata":[{"id":8,"name":"Shopify SEO","slug":"seo-shopify","taxonomy":"category","count":20,"url":"https://kalys.fr/seo-shopify/"}],"tags":["Shopify SEO"],"content_hash":"a1b824aa6c3e3d8321a0f6bf354cf77f","plain_text":"Après des années d’attente, nous sommes enfin en mesure de modifier le fichier Robots.txt sur nos boutiques Shopify (à la fois basic et Shopify Plus).\n\n\n\nVoici comment le modifier, quand vous devez le personnaliser et en quoi il est utile pour le référencement.\n\n\n\nComment modifier le robots.txt et pourquoi ? Réponse en video\n\n\n\nQu’est-ce que le robots.txt ?\n\n\n\nLe fichier robots.txt se compose de règles qui indique aux robots d’exploration quelles pages peuvent ou ne peuvent pas être consultées. Une règle se compose d’une directive, qui peut être Allowou Disallow, et d’une valeur du chemin d’URL associé. Par exemple : Disallow: /collections/all*\n\n\n\nCe fichier se trouvera toujours à cette adresse : votresite.com/robots.txt\n\n\n\nLes robots comme Googlebot ou bingbot tiennent en compte ce fichier et respectent ses consignes avant de venir explorer votre site.\n\n\n\nQuel est son but en SEO ?\n\n\n\nGrâce au fichier robots.txt, les propriétaires de sites peuvent apporter les modifications suivantes :\n\n\n\n\nAutoriser ou interdire l’accès de certaines URL à l’exploration.\n\n\n\nAjouter des règles de délai d’exploration pour certains crawlers\n\n\n\nAjouter des URLs sitemap supplémentaires\n\n\n\nBloquer certains crawlers\n\n\n\n\nRappel SEO : Ne bloquez pas l’accès à des pages via le robots.txt avant de les avoir retirées des résultats de recherche (balise noindex).\n\n\n\nDepuis le 18 juin 2021 Tobias Lutke, PDG de Shopify, a annoncé que le fichier robots.txt était dorénavant accessible et personnalisable.\n\n\n\nComment créer et modifier le robots.txt sur Shopify ?\n\n\n\nToutes les boutiques ont par défaut un fichier robots.txt préconfiguré et optimisé par Shopify lui-même. Si vous souhaitez toutefois le personnaliser, voici comment faire :\n\n\n\n\nOuvrez votre Tableau de bord\n\n\n\nAllez dans Boutique en ligne > Thèmes\n\n\n\nSur votre thème, cliquez sur Actions > Modifier le code\n\n\n\nDans le dossier Modèles (Templates), faites un clic droit pour Créer un nouveau fichier\n\n\n\nAppelez ce nouveau fichier > « robots.txt.liquid »\n\n\n\nValidez\n\n\n\n\nMaintenant que l’on a créé le fichier, on va pouvoir le personnaliser comme on veut.\n\n\n\nPersonnaliser robots.txt.liquid\n\n\n\nIl y a 3 personnalisations qu’on veut apporter à ce fichier :\n\n\n\n\nAjouter une nouvelle règle à un groupe existant\n\n\n\nEnlever une règle d’un groupe existant\n\n\n\nAjouter des règles faites sur mesure\n\n\n\n\nUn groupe renvoie à un ensemble de règles pour des robots spécifiques.\n\n\n\nAjouter une nouvelle règle à un groupe existant\n\n\n\nVoici le fichier modifié pour inclure quelques règles par défaut que nous avons tendance à utiliser pour les clients :\n\n\n\n{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}\n\n {%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}\n\n {%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}\n\n\n\n\n\n\n\nCe que dit ce code c’est que si le user_agent (nom du robot) est égal à *, qui s’applique à tous les bots, alors interdit ce qui suit :\n\n\n\n\n/collection/all* – Cela bloquera la collection par défaut contenant tous les produits incluant la pagination.\n\n\n\n/*?q=* – Cette commande empêche l’exploration des url avec le paramètre de recherche « query », souvent utilisé comme un hack sur les types de pages vendeurs ou collection.\n\n\n\n/collection/*/* – Ça va bloquer les url en doublon d’accès aux produits (prudence avec lui, il peut empêcher les produits d’être parcourus si vous n’avez pas personnalisé les liens internes)\n\n\n\n/blogs/*/tagged/* – Celui-là empêchera les tags de blog d’être parcouru\n\n\n\n\nLe (*) est un caractère générique qui signifie « tout ce qui se trouve ici », c’est-à-dire que pour l’exemple /*?q=* toutes /urls?q=parametres sera bloquées.\n\n\n\nSi vous souhaitez réutiliser le fichier robots.txt par défaut, supprimer simplement le fichier robots.txt.liquid que vous venez de créer.\n\n\n\nEnlever une règle par défaut d’un groupe existant\n\n\n\nCe n’est pas recommandé, mais si vous avez besoin, les règles par défaut peuvent être supprimées du fichier robots.txt.\n\n\n\nVoilà le robots.txt par défaut de Shopify :\n\n\n\nwe use Shopify as our ecommerce platform\n\nUser-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\n# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\n\nUser-agent: Nutch\nDisallow: /\n\nUser-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: MJ12bot\nCrawl-Delay: 10\n\nUser-agent: Pinterest\nCrawl-delay: 1we use Shopify as our ecommerce platform\n\nUser-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\n# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\n\nUser-agent: Nutch\nDisallow: /\n\nUser-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: MJ12bot\nCrawl-Delay: 10\n\nUser-agent: Pinterest\nCrawl-delay: 1\n\n\n\nPar exemple, enlevons la règle /account, voici un exemple de code pour faire ça :\n\n\n\n{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}\n\n\n\n\n\n\n\nCe que nous lui disons c’est : s’il y a une ligne « Disallow » avec la valeur « /account », n’affiche pas cette règle.\n\n\n\nAjouter des règles personnalisées\n\n\n\nSi vous souhaitez ajouter une règle qui ne s’applique pas à un groupe par défaut de shopify (*, adsbot-google, AhrefsBot, AhrefsSiteAudit, Nutch, MJ12bot et Pinterest) alors vous pouvez l’ajouter à la toute fin du fichier.\n\n\n\nPar exemple, si vous voulez bloquer la WayBackMachine vous pouvez ajouter le code suivant :/\n\n\n\nUser-agent: ia_archiver\nDisallow: /User-agent: ia_archiver\nDisallow: /\n\n\n\n\n\n\n\nOu si vous voulez plutôt ajouter un sitemap que vous venez de créer, vous pouvez ajouter ce code-ci :\n\n\n\nSitemap: [sitemap-url]Sitemap: [sitemap-url]\n\n\n\n\n\n\n\nPourquoi personnaliser le robots.txt ?\n\n\n\nSi vous n’êtes pas dans le SEO, vous pouvez vous demander s’il est important de personnaliser ce fichier.\n\n\n\nOui, pour 2 raisons :\n\n\n\n\nLe budget de Crawl\n\n\n\nLes contenus pauvres\n\n\n\n\nLe budget de Crawl\n\n\n\nDans la partie SEO Technique, le référenceur s’intéresse au budget de crawl. Kézako ? Ce terme représente le nombre de pages limites que Googlebot va crawler sur un site web lors de chaque passage.\n\n\n\nPlus simplement :\n\n\n\nLes moteurs de recherche ne peuvent pas crawler l’entièreté du web régulièrement, il y a trop de contenus pour ça. Ils utilisent donc des algorithmes pour décider de la quantité de ressources à allouer à chaque site web.\n\n\n\nSi votre site requiert plus de ressources qu’il n’en a allouées, alors des pages peuvent être ignorées lors du crawling régulier.\n\n\n\nEn SEO, on veut que les moteurs de recherche comme Google ou Bing crawlent régulièrement notre site web pour suivre les améliorations apportées. Si des pages ne sont pas crawlées, ils n’auront aucune idée de ce qui a pu changer, alors vous ne verrez aucune progression dans vos positions.\n\n\n\nC’est d’autant plus important quand des pages de moins bonne qualité sont analysées au détriment de celles bien conçues.\n\n\n\nQuand les experts SEO discutent du crawl budget, ils réfléchissent à comment tirer le meilleur de ce fameux budget alloué.\n\n\n\nEn utilisant le robots.txt, on peut spécifiquement bloquer certaines pages ou répertoires du crawl, ce qui réduit le budget d’exploration gaspillé.\n\n\n\nLes contenus pauvres\n\n\n\nLe contenu pauvre désigne des pages de votre site avec peu de valeur ajoutée pour l’internaute et les moteurs.\n\n\n\nJe m’explique :\n\n\n\nSi vous vous rendez dans votresite.com/collections/vendors?q=brand, vous verrez une page par défaut créée pour tous les vendeurs dans votre tableau de bord shopify.\n\n\n\nIl n’y a ni contenus, ni description, et elle ne peut pas être personnalisée.\n\n\n\nContenu pauvre, si googlebot vient visiter cette page, le budget de crawl aura été gaspillé…\n\n\n\nCette page en l’état, n’a pas vraiment d’intérêt. On se doute que Google ne la positionnera pas dans ses résultats, c’est ce qu’on appelle une page au « contenu pauvre ».\n\n\n\nLa meilleure solution dans ce cas-là serait de supprimer ou de bloquer cette page, puis de créer manuellement une nouvelle collection shopify pour viser juste les vendeurs /noms de marque qui est entièrement personnalisable.\n\n\n\nQuelques questions\n\n\n\nDois-je bloquer les flux .atom ?\n\n\n\nUn flux RSS ou Atom est important pour certains besoins spécifiques comme par exemple :\n\n\n\n\nRelayer automatiquement des infos sur les réseaux sociaux.\n\n\n\nRécupérer dynamiquement toutes les données d’un catalogue de produit (Google Shopping, Comparateur…)\n\n\n\nAutres…\n\n\n\n\nSur une boutique shopify, les flux .atom peuvent remonter dans la Search Console comme « Explorée, actuellement non indexée ». Si vous pensez ne pas en avoir besoin, vous pouvez les bloquer via le fichier robot.\n\n\n\nDisallow: /*.atom$Disallow: /*.ATOM$\n\n\n\nJe l’ai ajouté deux fois car le fichier robots.txt est sensible à la casse, mais vous pouvez supprimer la règle en majuscule si vous le souhaitez.\n\n\n\nDois-je bloquer les robots de spam ?\n\n\n\nVous souhaitez empêcher les robots de spam malveillants d’espionner votre site ? Utile également pour pouvoir analyser des données de visites fiables (Google Analytics). Vous pouvez identifier ces bots grâce à vos logs puis les bloquer. La liste des bots fréquemment bloqués se trouve ici.\n\n\n\nConclusion\n\n\n\nNous espérons n’avoir perdu personne en route, c’est assez technique.\n\n\n\nNous vous rappelons de faire très attention avec ce fichier si vous n’êtes pas un développeur ou que vous n’êtes pas dans le SEO.\n\n\n\nIl est possible de bloquer l’accès à tout votre site et de créer de sérieux problèmes avec cette fonctionnalité.\n\n\n\nVous pouvez aussi tester vos règles en utilisant l’outil de test du robots.txt par google, dans la GSC (Google Search Console).\n\n\n\nEn espérant que ce guide vous est venu en aide, si vous avez besoin d’aide dans ce domaine, n’hésitez pas à faire appel à nous.\n\n\n\nPartagez vos commentaires si vous avez d’autres astuces dans le robots.txt de Shopify. Merci !","paragraphs":["Après des années d’attente, nous sommes enfin en mesure de modifier le fichier Robots.txt sur nos boutiques Shopify (à la fois basic et Shopify Plus).","Voici comment le modifier, quand vous devez le personnaliser et en quoi il est utile pour le référencement.","Comment modifier le robots.txt et pourquoi ? Réponse en video","Qu’est-ce que le robots.txt ?","Le fichier robots.txt se compose de règles qui indique aux robots d’exploration quelles pages peuvent ou ne peuvent pas être consultées. Une règle se compose d’une directive, qui peut être Allowou Disallow, et d’une valeur du chemin d’URL associé. Par exemple : Disallow: /collections/all*","Ce fichier se trouvera toujours à cette adresse : votresite.com/robots.txt","Les robots comme Googlebot ou bingbot tiennent en compte ce fichier et respectent ses consignes avant de venir explorer votre site.","Quel est son but en SEO ?","Grâce au fichier robots.txt, les propriétaires de sites peuvent apporter les modifications suivantes :","Autoriser ou interdire l’accès de certaines URL à l’exploration.","Ajouter des règles de délai d’exploration pour certains crawlers","Ajouter des URLs sitemap supplémentaires","Bloquer certains crawlers","Rappel SEO : Ne bloquez pas l’accès à des pages via le robots.txt avant de les avoir retirées des résultats de recherche (balise noindex).","Depuis le 18 juin 2021 Tobias Lutke, PDG de Shopify, a annoncé que le fichier robots.txt était dorénavant accessible et personnalisable.","Comment créer et modifier le robots.txt sur Shopify ?","Toutes les boutiques ont par défaut un fichier robots.txt préconfiguré et optimisé par Shopify lui-même. Si vous souhaitez toutefois le personnaliser, voici comment faire :","Ouvrez votre Tableau de bord","Allez dans Boutique en ligne > Thèmes","Sur votre thème, cliquez sur Actions > Modifier le code","Dans le dossier Modèles (Templates), faites un clic droit pour Créer un nouveau fichier","Appelez ce nouveau fichier > « robots.txt.liquid »","Validez","Maintenant que l’on a créé le fichier, on va pouvoir le personnaliser comme on veut.","Personnaliser robots.txt.liquid","Il y a 3 personnalisations qu’on veut apporter à ce fichier :","Ajouter une nouvelle règle à un groupe existant","Enlever une règle d’un groupe existant","Ajouter des règles faites sur mesure","Un groupe renvoie à un ensemble de règles pour des robots spécifiques.","Ajouter une nouvelle règle à un groupe existant","Voici le fichier modifié pour inclure quelques règles par défaut que nous avons tendance à utiliser pour les clients :","{% for group in robots.default_groups %}\n {{- group.user_agent }}","{%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}","{%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}","{%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}","{%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}","{%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}","{%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}","Ce que dit ce code c’est que si le user_agent (nom du robot) est égal à *, qui s’applique à tous les bots, alors interdit ce qui suit :","/collection/all* – Cela bloquera la collection par défaut contenant tous les produits incluant la pagination.","/*?q=* – Cette commande empêche l’exploration des url avec le paramètre de recherche « query », souvent utilisé comme un hack sur les types de pages vendeurs ou collection.","/collection/*/* – Ça va bloquer les url en doublon d’accès aux produits (prudence avec lui, il peut empêcher les produits d’être parcourus si vous n’avez pas personnalisé les liens internes)","/blogs/*/tagged/* – Celui-là empêchera les tags de blog d’être parcouru","Le (*) est un caractère générique qui signifie « tout ce qui se trouve ici », c’est-à-dire que pour l’exemple /*?q=* toutes /urls?q=parametres sera bloquées.","Si vous souhaitez réutiliser le fichier robots.txt par défaut, supprimer simplement le fichier robots.txt.liquid que vous venez de créer.","Enlever une règle par défaut d’un groupe existant","Ce n’est pas recommandé, mais si vous avez besoin, les règles par défaut peuvent être supprimées du fichier robots.txt.","Voilà le robots.txt par défaut de Shopify :","we use Shopify as our ecommerce platform","User-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml","# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*","User-agent: Nutch\nDisallow: /","User-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml","User-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml","User-agent: MJ12bot\nCrawl-Delay: 10","User-agent: Pinterest\nCrawl-delay: 1we use Shopify as our ecommerce platform","User-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml","# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*","User-agent: Nutch\nDisallow: /","User-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml","User-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml","User-agent: MJ12bot\nCrawl-Delay: 10","User-agent: Pinterest\nCrawl-delay: 1","Par exemple, enlevons la règle /account, voici un exemple de code pour faire ça :","{% for group in robots.default_groups %}\n {{- group.user_agent }}","{%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}","{%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}","{%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}","{%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}","Ce que nous lui disons c’est : s’il y a une ligne « Disallow » avec la valeur « /account », n’affiche pas cette règle.","Ajouter des règles personnalisées","Si vous souhaitez ajouter une règle qui ne s’applique pas à un groupe par défaut de shopify (*, adsbot-google, AhrefsBot, AhrefsSiteAudit, Nutch, MJ12bot et Pinterest) alors vous pouvez l’ajouter à la toute fin du fichier.","Par exemple, si vous voulez bloquer la WayBackMachine vous pouvez ajouter le code suivant :/","User-agent: ia_archiver\nDisallow: /User-agent: ia_archiver\nDisallow: /","Ou si vous voulez plutôt ajouter un sitemap que vous venez de créer, vous pouvez ajouter ce code-ci :","Sitemap: [sitemap-url]Sitemap: [sitemap-url]","Pourquoi personnaliser le robots.txt ?","Si vous n’êtes pas dans le SEO, vous pouvez vous demander s’il est important de personnaliser ce fichier.","Oui, pour 2 raisons :","Le budget de Crawl","Les contenus pauvres","Le budget de Crawl","Dans la partie SEO Technique, le référenceur s’intéresse au budget de crawl. Kézako ? Ce terme représente le nombre de pages limites que Googlebot va crawler sur un site web lors de chaque passage.","Plus simplement :","Les moteurs de recherche ne peuvent pas crawler l’entièreté du web régulièrement, il y a trop de contenus pour ça. Ils utilisent donc des algorithmes pour décider de la quantité de ressources à allouer à chaque site web.","Si votre site requiert plus de ressources qu’il n’en a allouées, alors des pages peuvent être ignorées lors du crawling régulier.","En SEO, on veut que les moteurs de recherche comme Google ou Bing crawlent régulièrement notre site web pour suivre les améliorations apportées. Si des pages ne sont pas crawlées, ils n’auront aucune idée de ce qui a pu changer, alors vous ne verrez aucune progression dans vos positions.","C’est d’autant plus important quand des pages de moins bonne qualité sont analysées au détriment de celles bien conçues.","Quand les experts SEO discutent du crawl budget, ils réfléchissent à comment tirer le meilleur de ce fameux budget alloué.","En utilisant le robots.txt, on peut spécifiquement bloquer certaines pages ou répertoires du crawl, ce qui réduit le budget d’exploration gaspillé.","Les contenus pauvres","Le contenu pauvre désigne des pages de votre site avec peu de valeur ajoutée pour l’internaute et les moteurs.","Je m’explique :","Si vous vous rendez dans votresite.com/collections/vendors?q=brand, vous verrez une page par défaut créée pour tous les vendeurs dans votre tableau de bord shopify.","Il n’y a ni contenus, ni description, et elle ne peut pas être personnalisée.","Contenu pauvre, si googlebot vient visiter cette page, le budget de crawl aura été gaspillé…","Cette page en l’état, n’a pas vraiment d’intérêt. On se doute que Google ne la positionnera pas dans ses résultats, c’est ce qu’on appelle une page au « contenu pauvre ».","La meilleure solution dans ce cas-là serait de supprimer ou de bloquer cette page, puis de créer manuellement une nouvelle collection shopify pour viser juste les vendeurs /noms de marque qui est entièrement personnalisable.","Quelques questions","Dois-je bloquer les flux .atom ?","Un flux RSS ou Atom est important pour certains besoins spécifiques comme par exemple :","Relayer automatiquement des infos sur les réseaux sociaux.","Récupérer dynamiquement toutes les données d’un catalogue de produit (Google Shopping, Comparateur…)","Autres…","Sur une boutique shopify, les flux .atom peuvent remonter dans la Search Console comme « Explorée, actuellement non indexée ». Si vous pensez ne pas en avoir besoin, vous pouvez les bloquer via le fichier robot.","Disallow: /*.atom$Disallow: /*.ATOM$","Je l’ai ajouté deux fois car le fichier robots.txt est sensible à la casse, mais vous pouvez supprimer la règle en majuscule si vous le souhaitez.","Dois-je bloquer les robots de spam ?","Vous souhaitez empêcher les robots de spam malveillants d’espionner votre site ? Utile également pour pouvoir analyser des données de visites fiables (Google Analytics). Vous pouvez identifier ces bots grâce à vos logs puis les bloquer. La liste des bots fréquemment bloqués se trouve ici.","Conclusion","Nous espérons n’avoir perdu personne en route, c’est assez technique.","Nous vous rappelons de faire très attention avec ce fichier si vous n’êtes pas un développeur ou que vous n’êtes pas dans le SEO.","Il est possible de bloquer l’accès à tout votre site et de créer de sérieux problèmes avec cette fonctionnalité.","Vous pouvez aussi tester vos règles en utilisant l’outil de test du robots.txt par google, dans la GSC (Google Search Console).","En espérant que ce guide vous est venu en aide, si vous avez besoin d’aide dans ce domaine, n’hésitez pas à faire appel à nous.","Partagez vos commentaires si vous avez d’autres astuces dans le robots.txt de Shopify. Merci !"],"content_blocks":[{"id":"paragraph-1","type":"core/paragraph","heading":"","plain_text":"Après des années d’attente, nous sommes enfin en mesure de modifier le fichier Robots.txt sur nos boutiques Shopify (à la fois basic et Shopify Plus).","html":"\n

Après des années d’attente, nous sommes enfin en mesure de modifier le fichier Robots.txt sur nos boutiques Shopify (à la fois basic et Shopify Plus).

\n"},{"id":"paragraph-2","type":"core/paragraph","heading":"","plain_text":"Voici comment le modifier, quand vous devez le personnaliser et en quoi il est utile pour le référencement.","html":"\n

Voici comment le modifier, quand vous devez le personnaliser et en quoi il est utile pour le référencement.

\n"},{"id":"image-3","type":"core/image","heading":"","plain_text":"Comment modifier le robots.txt et pourquoi ? Réponse en video","html":"\n
\"shopify
Comment modifier le robots.txt et pourquoi ? Réponse en video
\n"},{"id":"heading-4","type":"core/heading","heading":"Qu’est-ce que le robots.txt ?","plain_text":"Qu’est-ce que le robots.txt ?","html":"\n

Qu’est-ce que le robots.txt ?

\n"},{"id":"paragraph-5","type":"core/paragraph","heading":"","plain_text":"Le fichier robots.txt se compose de règles qui indique aux robots d’exploration quelles pages peuvent ou ne peuvent pas être consultées. Une règle se compose d’une directive, qui peut être Allowou Disallow, et d’une valeur du chemin d’URL associé. Par exemple : Disallow: /collections/all*","html":"\n

Le fichier robots.txt se compose de règles qui indique aux robots d’exploration quelles pages peuvent ou ne peuvent pas être consultées. Une règle se compose d’une directive, qui peut être Allowou Disallow, et d’une valeur du chemin d’URL associé. Par exemple : Disallow: /collections/all*

\n"},{"id":"paragraph-6","type":"core/paragraph","heading":"","plain_text":"Ce fichier se trouvera toujours à cette adresse : votresite.com/robots.txt","html":"\n

Ce fichier se trouvera toujours à cette adresse : votresite.com/robots.txt

\n"},{"id":"paragraph-7","type":"core/paragraph","heading":"","plain_text":"Les robots comme Googlebot ou bingbot tiennent en compte ce fichier et respectent ses consignes avant de venir explorer votre site.","html":"\n

Les robots comme Googlebot ou bingbot tiennent en compte ce fichier et respectent ses consignes avant de venir explorer votre site.

\n"},{"id":"heading-8","type":"core/heading","heading":"Quel est son but en SEO ?","plain_text":"Quel est son but en SEO ?","html":"\n

Quel est son but en SEO ?

\n"},{"id":"paragraph-9","type":"core/paragraph","heading":"","plain_text":"Grâce au fichier robots.txt, les propriétaires de sites peuvent apporter les modifications suivantes :","html":"\n

Grâce au fichier robots.txt, les propriétaires de sites peuvent apporter les modifications suivantes :

\n"},{"id":"list-10","type":"core/list","heading":"","plain_text":"Autoriser ou interdire l’accès de certaines URL à l’exploration.\n\n\n\nAjouter des règles de délai d’exploration pour certains crawlers\n\n\n\nAjouter des URLs sitemap supplémentaires\n\n\n\nBloquer certains crawlers","html":"\n\n"},{"id":"paragraph-11","type":"core/paragraph","heading":"","plain_text":"Rappel SEO : Ne bloquez pas l’accès à des pages via le robots.txt avant de les avoir retirées des résultats de recherche (balise noindex).","html":"\n

Rappel SEO : Ne bloquez pas l’accès à des pages via le robots.txt avant de les avoir retirées des résultats de recherche (balise noindex).

\n"},{"id":"image-12","type":"core/image","heading":"","plain_text":"Depuis le 18 juin 2021 Tobias Lutke, PDG de Shopify, a annoncé que le fichier robots.txt était dorénavant accessible et personnalisable.","html":"\n
\"annonce
Depuis le 18 juin 2021 Tobias Lutke, PDG de Shopify, a annoncé que le fichier robots.txt était dorénavant accessible et personnalisable.
\n"},{"id":"heading-13","type":"core/heading","heading":"Comment créer et modifier le robots.txt sur Shopify ?","plain_text":"Comment créer et modifier le robots.txt sur Shopify ?","html":"\n

Comment créer et modifier le robots.txt sur Shopify ?

\n"},{"id":"paragraph-14","type":"core/paragraph","heading":"","plain_text":"Toutes les boutiques ont par défaut un fichier robots.txt préconfiguré et optimisé par Shopify lui-même. Si vous souhaitez toutefois le personnaliser, voici comment faire :","html":"\n

Toutes les boutiques ont par défaut un fichier robots.txt préconfiguré et optimisé par Shopify lui-même. Si vous souhaitez toutefois le personnaliser, voici comment faire :

\n"},{"id":"list-15","type":"core/list","heading":"","plain_text":"Ouvrez votre Tableau de bord\n\n\n\nAllez dans Boutique en ligne > Thèmes\n\n\n\nSur votre thème, cliquez sur Actions > Modifier le code\n\n\n\nDans le dossier Modèles (Templates), faites un clic droit pour Créer un nouveau fichier\n\n\n\nAppelez ce nouveau fichier > « robots.txt.liquid »\n\n\n\nValidez","html":"\n
    \n
  1. Ouvrez votre Tableau de bord
    2. \n\n\n\n
  2. Allez dans Boutique en ligne > Thèmes
    3. \n\n\n\n
  3. Sur votre thème, cliquez sur Actions > Modifier le code
    4. \n\n\n\n
  4. Dans le dossier Modèles (Templates), faites un clic droit pour Créer un nouveau fichier
    5. \n\n\n\n
  5. Appelez ce nouveau fichier > « robots.txt.liquid »
    6. \n\n\n\n
  6. Validez
    7. \n
\n"},{"id":"paragraph-16","type":"core/paragraph","heading":"","plain_text":"Maintenant que l’on a créé le fichier, on va pouvoir le personnaliser comme on veut.","html":"\n

Maintenant que l’on a créé le fichier, on va pouvoir le personnaliser comme on veut.

\n"},{"id":"heading-17","type":"core/heading","heading":"Personnaliser robots.txt.liquid","plain_text":"Personnaliser robots.txt.liquid","html":"\n

Personnaliser robots.txt.liquid

\n"},{"id":"paragraph-18","type":"core/paragraph","heading":"","plain_text":"Il y a 3 personnalisations qu’on veut apporter à ce fichier :","html":"\n

Il y a 3 personnalisations qu’on veut apporter à ce fichier :

\n"},{"id":"list-19","type":"core/list","heading":"","plain_text":"Ajouter une nouvelle règle à un groupe existant\n\n\n\nEnlever une règle d’un groupe existant\n\n\n\nAjouter des règles faites sur mesure","html":"\n\n"},{"id":"paragraph-20","type":"core/paragraph","heading":"","plain_text":"Un groupe renvoie à un ensemble de règles pour des robots spécifiques.","html":"\n

Un groupe renvoie à un ensemble de règles pour des robots spécifiques.

\n"},{"id":"heading-21","type":"core/heading","heading":"Ajouter une nouvelle règle à un groupe existant","plain_text":"Ajouter une nouvelle règle à un groupe existant","html":"\n

Ajouter une nouvelle règle à un groupe existant

\n"},{"id":"paragraph-22","type":"core/paragraph","heading":"","plain_text":"Voici le fichier modifié pour inclure quelques règles par défaut que nous avons tendance à utiliser pour les clients :","html":"\n

Voici le fichier modifié pour inclure quelques règles par défaut que nous avons tendance à utiliser pour les clients :

\n"},{"id":"kevinbatdorfcode-block-pro-23","type":"kevinbatdorf/code-block-pro","heading":"","plain_text":"{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}\n\n {%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}\n\n {%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}","html":"\n
{% for group in robots.default_groups %}\n  {{- group.user_agent }}\n\n  {%- for rule in group.rules -%}\n    {{ rule }}\n  {%- endfor -%}\n\n  {%- if group.user_agent.value == '*' -%}\n    {{ 'Disallow: /collections/all*' }}\n    {{ 'Disallow: /*?q=*' }}\n    {{ 'Disallow: /collections/*/*' }}\n    {{ 'Disallow: /blogs/*/tagged/*' }}\n  {%- endif -%}\n\n  {%- if group.sitemap != blank -%}\n      {{ group.sitemap }}\n  {%- endif -%}\n{% endfor %}
\n"},{"id":"paragraph-24","type":"core/paragraph","heading":"","plain_text":"Ce que dit ce code c’est que si le user_agent (nom du robot) est égal à *, qui s’applique à tous les bots, alors interdit ce qui suit :","html":"\n

Ce que dit ce code c’est que si le user_agent (nom du robot) est égal à *, qui s’applique à tous les bots, alors interdit ce qui suit :

\n"},{"id":"list-25","type":"core/list","heading":"","plain_text":"/collection/all* – Cela bloquera la collection par défaut contenant tous les produits incluant la pagination.\n\n\n\n/*?q=* – Cette commande empêche l’exploration des url avec le paramètre de recherche « query », souvent utilisé comme un hack sur les types de pages vendeurs ou collection.\n\n\n\n/collection/*/* – Ça va bloquer les url en doublon d’accès aux produits (prudence avec lui, il peut empêcher les produits d’être parcourus si vous n’avez pas personnalisé les liens internes)\n\n\n\n/blogs/*/tagged/* – Celui-là empêchera les tags de blog d’être parcouru","html":"\n\n"},{"id":"paragraph-26","type":"core/paragraph","heading":"","plain_text":"Le (*) est un caractère générique qui signifie « tout ce qui se trouve ici », c’est-à-dire que pour l’exemple /*?q=* toutes /urls?q=parametres sera bloquées.","html":"\n

Le (*) est un caractère générique qui signifie « tout ce qui se trouve ici », c’est-à-dire que pour l’exemple /*?q=* toutes /urls?q=parametres sera bloquées.

\n"},{"id":"paragraph-27","type":"core/paragraph","heading":"","plain_text":"Si vous souhaitez réutiliser le fichier robots.txt par défaut, supprimer simplement le fichier robots.txt.liquid que vous venez de créer.","html":"\n

Si vous souhaitez réutiliser le fichier robots.txt par défaut, supprimer simplement le fichier robots.txt.liquid que vous venez de créer.

\n"},{"id":"heading-28","type":"core/heading","heading":"Enlever une règle par défaut d’un groupe existant","plain_text":"Enlever une règle par défaut d’un groupe existant","html":"\n

Enlever une règle par défaut d’un groupe existant

\n"},{"id":"paragraph-29","type":"core/paragraph","heading":"","plain_text":"Ce n’est pas recommandé, mais si vous avez besoin, les règles par défaut peuvent être supprimées du fichier robots.txt.","html":"\n

Ce n’est pas recommandé, mais si vous avez besoin, les règles par défaut peuvent être supprimées du fichier robots.txt.

\n"},{"id":"paragraph-30","type":"core/paragraph","heading":"","plain_text":"Voilà le robots.txt par défaut de Shopify :","html":"\n

Voilà le robots.txt par défaut de Shopify :

\n"},{"id":"kevinbatdorfcode-block-pro-31","type":"kevinbatdorf/code-block-pro","heading":"","plain_text":"we use Shopify as our ecommerce platform\n\nUser-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\n# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\n\nUser-agent: Nutch\nDisallow: /\n\nUser-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: MJ12bot\nCrawl-Delay: 10\n\nUser-agent: Pinterest\nCrawl-delay: 1we use Shopify as our ecommerce platform\n\nUser-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\n# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\n\nUser-agent: Nutch\nDisallow: /\n\nUser-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: MJ12bot\nCrawl-Delay: 10\n\nUser-agent: Pinterest\nCrawl-delay: 1","html":"\n
we use Shopify as our ecommerce platform\n\nUser-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\n# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\n\nUser-agent: Nutch\nDisallow: /\n\nUser-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: MJ12bot\nCrawl-Delay: 10\n\nUser-agent: Pinterest\nCrawl-delay: 1
\n"},{"id":"paragraph-32","type":"core/paragraph","heading":"","plain_text":"Par exemple, enlevons la règle /account, voici un exemple de code pour faire ça :","html":"\n

Par exemple, enlevons la règle /account, voici un exemple de code pour faire ça :

\n"},{"id":"kevinbatdorfcode-block-pro-33","type":"kevinbatdorf/code-block-pro","heading":"","plain_text":"{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}","html":"\n
{% for group in robots.default_groups %}\n  {{- group.user_agent }}\n\n  {%- for rule in group.rules -%}\n    {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n      {{ rule }}\n    {%- endunless -%}\n  {%- endfor -%}\n\n  {%- if group.sitemap != blank -%}\n      {{ group.sitemap }}\n  {%- endif -%}\n{% endfor %}
\n"},{"id":"paragraph-34","type":"core/paragraph","heading":"","plain_text":"Ce que nous lui disons c’est : s’il y a une ligne « Disallow » avec la valeur « /account », n’affiche pas cette règle.","html":"\n

Ce que nous lui disons c’est : s’il y a une ligne « Disallow » avec la valeur « /account », n’affiche pas cette règle.

\n"},{"id":"heading-35","type":"core/heading","heading":"Ajouter des règles personnalisées","plain_text":"Ajouter des règles personnalisées","html":"\n

Ajouter des règles personnalisées

\n"},{"id":"paragraph-36","type":"core/paragraph","heading":"","plain_text":"Si vous souhaitez ajouter une règle qui ne s’applique pas à un groupe par défaut de shopify (*, adsbot-google, AhrefsBot, AhrefsSiteAudit, Nutch, MJ12bot et Pinterest) alors vous pouvez l’ajouter à la toute fin du fichier.","html":"\n

Si vous souhaitez ajouter une règle qui ne s’applique pas à un groupe par défaut de shopify (*, adsbot-google, AhrefsBot, AhrefsSiteAudit, Nutch, MJ12bot et Pinterest) alors vous pouvez l’ajouter à la toute fin du fichier.

\n"},{"id":"paragraph-37","type":"core/paragraph","heading":"","plain_text":"Par exemple, si vous voulez bloquer la WayBackMachine vous pouvez ajouter le code suivant :/","html":"\n

Par exemple, si vous voulez bloquer la WayBackMachine vous pouvez ajouter le code suivant :/

\n"},{"id":"kevinbatdorfcode-block-pro-38","type":"kevinbatdorf/code-block-pro","heading":"","plain_text":"User-agent: ia_archiver\nDisallow: /User-agent: ia_archiver\nDisallow: /","html":"\n
User-agent: ia_archiver\nDisallow: /
\n"},{"id":"paragraph-39","type":"core/paragraph","heading":"","plain_text":"Ou si vous voulez plutôt ajouter un sitemap que vous venez de créer, vous pouvez ajouter ce code-ci :","html":"\n

Ou si vous voulez plutôt ajouter un sitemap que vous venez de créer, vous pouvez ajouter ce code-ci :

\n"},{"id":"kevinbatdorfcode-block-pro-40","type":"kevinbatdorf/code-block-pro","heading":"","plain_text":"Sitemap: [sitemap-url]Sitemap: [sitemap-url]","html":"\n
Sitemap: [sitemap-url]
\n"},{"id":"heading-41","type":"core/heading","heading":"Pourquoi personnaliser le robots.txt ?","plain_text":"Pourquoi personnaliser le robots.txt ?","html":"\n

Pourquoi personnaliser le robots.txt ?

\n"},{"id":"paragraph-42","type":"core/paragraph","heading":"","plain_text":"Si vous n’êtes pas dans le SEO, vous pouvez vous demander s’il est important de personnaliser ce fichier.","html":"\n

Si vous n’êtes pas dans le SEO, vous pouvez vous demander s’il est important de personnaliser ce fichier.

\n"},{"id":"paragraph-43","type":"core/paragraph","heading":"","plain_text":"Oui, pour 2 raisons :","html":"\n

Oui, pour 2 raisons :

\n"},{"id":"list-44","type":"core/list","heading":"","plain_text":"Le budget de Crawl\n\n\n\nLes contenus pauvres","html":"\n
    \n
  1. Le budget de Crawl
    2. \n\n\n\n
  2. Les contenus pauvres
    3. \n
\n"},{"id":"heading-45","type":"core/heading","heading":"Le budget de Crawl","plain_text":"Le budget de Crawl","html":"\n

Le budget de Crawl

\n"},{"id":"paragraph-46","type":"core/paragraph","heading":"","plain_text":"Dans la partie SEO Technique, le référenceur s’intéresse au budget de crawl. Kézako ? Ce terme représente le nombre de pages limites que Googlebot va crawler sur un site web lors de chaque passage.","html":"\n

Dans la partie SEO Technique, le référenceur s’intéresse au budget de crawl. Kézako ? Ce terme représente le nombre de pages limites que Googlebot va crawler sur un site web lors de chaque passage.

\n"},{"id":"paragraph-47","type":"core/paragraph","heading":"","plain_text":"Plus simplement :","html":"\n

Plus simplement :

\n"},{"id":"paragraph-48","type":"core/paragraph","heading":"","plain_text":"Les moteurs de recherche ne peuvent pas crawler l’entièreté du web régulièrement, il y a trop de contenus pour ça. Ils utilisent donc des algorithmes pour décider de la quantité de ressources à allouer à chaque site web.","html":"\n

Les moteurs de recherche ne peuvent pas crawler l’entièreté du web régulièrement, il y a trop de contenus pour ça. Ils utilisent donc des algorithmes pour décider de la quantité de ressources à allouer à chaque site web.

\n"},{"id":"paragraph-49","type":"core/paragraph","heading":"","plain_text":"Si votre site requiert plus de ressources qu’il n’en a allouées, alors des pages peuvent être ignorées lors du crawling régulier.","html":"\n

Si votre site requiert plus de ressources qu’il n’en a allouées, alors des pages peuvent être ignorées lors du crawling régulier.

\n"},{"id":"paragraph-50","type":"core/paragraph","heading":"","plain_text":"En SEO, on veut que les moteurs de recherche comme Google ou Bing crawlent régulièrement notre site web pour suivre les améliorations apportées. Si des pages ne sont pas crawlées, ils n’auront aucune idée de ce qui a pu changer, alors vous ne verrez aucune progression dans vos positions.","html":"\n

En SEO, on veut que les moteurs de recherche comme Google ou Bing crawlent régulièrement notre site web pour suivre les améliorations apportées. Si des pages ne sont pas crawlées, ils n’auront aucune idée de ce qui a pu changer, alors vous ne verrez aucune progression dans vos positions.

\n"},{"id":"paragraph-51","type":"core/paragraph","heading":"","plain_text":"C’est d’autant plus important quand des pages de moins bonne qualité sont analysées au détriment de celles bien conçues.","html":"\n

C’est d’autant plus important quand des pages de moins bonne qualité sont analysées au détriment de celles bien conçues.

\n"},{"id":"paragraph-52","type":"core/paragraph","heading":"","plain_text":"Quand les experts SEO discutent du crawl budget, ils réfléchissent à comment tirer le meilleur de ce fameux budget alloué.","html":"\n

Quand les experts SEO discutent du crawl budget, ils réfléchissent à comment tirer le meilleur de ce fameux budget alloué.

\n"},{"id":"paragraph-53","type":"core/paragraph","heading":"","plain_text":"En utilisant le robots.txt, on peut spécifiquement bloquer certaines pages ou répertoires du crawl, ce qui réduit le budget d’exploration gaspillé.","html":"\n

En utilisant le robots.txt, on peut spécifiquement bloquer certaines pages ou répertoires du crawl, ce qui réduit le budget d’exploration gaspillé.

\n"},{"id":"heading-54","type":"core/heading","heading":"Les contenus pauvres","plain_text":"Les contenus pauvres","html":"\n

Les contenus pauvres

\n"},{"id":"paragraph-55","type":"core/paragraph","heading":"","plain_text":"Le contenu pauvre désigne des pages de votre site avec peu de valeur ajoutée pour l’internaute et les moteurs.","html":"\n

Le contenu pauvre désigne des pages de votre site avec peu de valeur ajoutée pour l’internaute et les moteurs.

\n"},{"id":"paragraph-56","type":"core/paragraph","heading":"","plain_text":"Je m’explique :","html":"\n

Je m’explique :

\n"},{"id":"paragraph-57","type":"core/paragraph","heading":"","plain_text":"Si vous vous rendez dans votresite.com/collections/vendors?q=brand, vous verrez une page par défaut créée pour tous les vendeurs dans votre tableau de bord shopify.","html":"\n

Si vous vous rendez dans votresite.com/collections/vendors?q=brand, vous verrez une page par défaut créée pour tous les vendeurs dans votre tableau de bord shopify.

\n"},{"id":"paragraph-58","type":"core/paragraph","heading":"","plain_text":"Il n’y a ni contenus, ni description, et elle ne peut pas être personnalisée.","html":"\n

Il n’y a ni contenus, ni description, et elle ne peut pas être personnalisée.

\n"},{"id":"image-59","type":"core/image","heading":"","plain_text":"Contenu pauvre, si googlebot vient visiter cette page, le budget de crawl aura été gaspillé…","html":"\n
\"budget
Contenu pauvre, si googlebot vient visiter cette page, le budget de crawl aura été gaspillé…
\n"},{"id":"paragraph-60","type":"core/paragraph","heading":"","plain_text":"Cette page en l’état, n’a pas vraiment d’intérêt. On se doute que Google ne la positionnera pas dans ses résultats, c’est ce qu’on appelle une page au « contenu pauvre ».","html":"\n

Cette page en l’état, n’a pas vraiment d’intérêt. On se doute que Google ne la positionnera pas dans ses résultats, c’est ce qu’on appelle une page au « contenu pauvre ».

\n"},{"id":"paragraph-61","type":"core/paragraph","heading":"","plain_text":"La meilleure solution dans ce cas-là serait de supprimer ou de bloquer cette page, puis de créer manuellement une nouvelle collection shopify pour viser juste les vendeurs /noms de marque qui est entièrement personnalisable.","html":"\n

La meilleure solution dans ce cas-là serait de supprimer ou de bloquer cette page, puis de créer manuellement une nouvelle collection shopify pour viser juste les vendeurs /noms de marque qui est entièrement personnalisable.

\n"},{"id":"heading-62","type":"core/heading","heading":"Quelques questions","plain_text":"Quelques questions","html":"\n

Quelques questions

\n"},{"id":"heading-63","type":"core/heading","heading":"Dois-je bloquer les flux .atom ?","plain_text":"Dois-je bloquer les flux .atom ?","html":"\n

Dois-je bloquer les flux .atom ?

\n"},{"id":"paragraph-64","type":"core/paragraph","heading":"","plain_text":"Un flux RSS ou Atom est important pour certains besoins spécifiques comme par exemple :","html":"\n

Un flux RSS ou Atom est important pour certains besoins spécifiques comme par exemple :

\n"},{"id":"list-65","type":"core/list","heading":"","plain_text":"Relayer automatiquement des infos sur les réseaux sociaux.\n\n\n\nRécupérer dynamiquement toutes les données d’un catalogue de produit (Google Shopping, Comparateur…)\n\n\n\nAutres…","html":"\n\n"},{"id":"paragraph-66","type":"core/paragraph","heading":"","plain_text":"Sur une boutique shopify, les flux .atom peuvent remonter dans la Search Console comme « Explorée, actuellement non indexée ». Si vous pensez ne pas en avoir besoin, vous pouvez les bloquer via le fichier robot.","html":"\n

Sur une boutique shopify, les flux .atom peuvent remonter dans la Search Console comme « Explorée, actuellement non indexée ». Si vous pensez ne pas en avoir besoin, vous pouvez les bloquer via le fichier robot.

\n"},{"id":"paragraph-67","type":"core/paragraph","heading":"","plain_text":"Disallow: /*.atom$Disallow: /*.ATOM$","html":"\n

Disallow: /*.atom$
Disallow: /*.ATOM$

\n"},{"id":"paragraph-68","type":"core/paragraph","heading":"","plain_text":"Je l’ai ajouté deux fois car le fichier robots.txt est sensible à la casse, mais vous pouvez supprimer la règle en majuscule si vous le souhaitez.","html":"\n

Je l’ai ajouté deux fois car le fichier robots.txt est sensible à la casse, mais vous pouvez supprimer la règle en majuscule si vous le souhaitez.

\n"},{"id":"heading-69","type":"core/heading","heading":"Dois-je bloquer les robots de spam ?","plain_text":"Dois-je bloquer les robots de spam ?","html":"\n

Dois-je bloquer les robots de spam ?

\n"},{"id":"paragraph-70","type":"core/paragraph","heading":"","plain_text":"Vous souhaitez empêcher les robots de spam malveillants d’espionner votre site ? Utile également pour pouvoir analyser des données de visites fiables (Google Analytics). Vous pouvez identifier ces bots grâce à vos logs puis les bloquer. La liste des bots fréquemment bloqués se trouve ici.","html":"\n

Vous souhaitez empêcher les robots de spam malveillants d’espionner votre site ? Utile également pour pouvoir analyser des données de visites fiables (Google Analytics). Vous pouvez identifier ces bots grâce à vos logs puis les bloquer. La liste des bots fréquemment bloqués se trouve ici.

\n"},{"id":"heading-71","type":"core/heading","heading":"Conclusion","plain_text":"Conclusion","html":"\n

Conclusion

\n"},{"id":"paragraph-72","type":"core/paragraph","heading":"","plain_text":"Nous espérons n’avoir perdu personne en route, c’est assez technique.","html":"\n

Nous espérons n’avoir perdu personne en route, c’est assez technique.

\n"},{"id":"paragraph-73","type":"core/paragraph","heading":"","plain_text":"Nous vous rappelons de faire très attention avec ce fichier si vous n’êtes pas un développeur ou que vous n’êtes pas dans le SEO.","html":"\n

Nous vous rappelons de faire très attention avec ce fichier si vous n’êtes pas un développeur ou que vous n’êtes pas dans le SEO.

\n"},{"id":"paragraph-74","type":"core/paragraph","heading":"","plain_text":"Il est possible de bloquer l’accès à tout votre site et de créer de sérieux problèmes avec cette fonctionnalité.","html":"\n

Il est possible de bloquer l’accès à tout votre site et de créer de sérieux problèmes avec cette fonctionnalité.

\n"},{"id":"paragraph-75","type":"core/paragraph","heading":"","plain_text":"Vous pouvez aussi tester vos règles en utilisant l’outil de test du robots.txt par google, dans la GSC (Google Search Console).","html":"\n

Vous pouvez aussi tester vos règles en utilisant l’outil de test du robots.txt par google, dans la GSC (Google Search Console).

\n"},{"id":"paragraph-76","type":"core/paragraph","heading":"","plain_text":"En espérant que ce guide vous est venu en aide, si vous avez besoin d’aide dans ce domaine, n’hésitez pas à faire appel à nous.","html":"\n

En espérant que ce guide vous est venu en aide, si vous avez besoin d’aide dans ce domaine, n’hésitez pas à faire appel à nous.

\n"},{"id":"paragraph-77","type":"core/paragraph","heading":"","plain_text":"Partagez vos commentaires si vous avez d’autres astuces dans le robots.txt de Shopify. Merci !","html":"\n

Partagez vos commentaires si vous avez d’autres astuces dans le robots.txt de Shopify. Merci !

\n"}],"sections":[{"id":"paragraph-1","heading":"Paragraph","content":"Après des années d’attente, nous sommes enfin en mesure de modifier le fichier Robots.txt sur nos boutiques Shopify (à la fois basic et Shopify Plus)."},{"id":"paragraph-2","heading":"Paragraph","content":"Voici comment le modifier, quand vous devez le personnaliser et en quoi il est utile pour le référencement."},{"id":"image-3","heading":"Image","content":"Comment modifier le robots.txt et pourquoi ? Réponse en video"},{"id":"heading-4","heading":"Qu’est-ce que le robots.txt ?","content":"Qu’est-ce que le robots.txt ?"},{"id":"paragraph-5","heading":"Paragraph","content":"Le fichier robots.txt se compose de règles qui indique aux robots d’exploration quelles pages peuvent ou ne peuvent pas être consultées. Une règle se compose d’une directive, qui peut être Allowou Disallow, et d’une valeur du chemin d’URL associé. Par exemple : Disallow: /collections/all*"},{"id":"paragraph-6","heading":"Paragraph","content":"Ce fichier se trouvera toujours à cette adresse : votresite.com/robots.txt"},{"id":"paragraph-7","heading":"Paragraph","content":"Les robots comme Googlebot ou bingbot tiennent en compte ce fichier et respectent ses consignes avant de venir explorer votre site."},{"id":"heading-8","heading":"Quel est son but en SEO ?","content":"Quel est son but en SEO ?"},{"id":"paragraph-9","heading":"Paragraph","content":"Grâce au fichier robots.txt, les propriétaires de sites peuvent apporter les modifications suivantes :"},{"id":"list-10","heading":"List","content":"Autoriser ou interdire l’accès de certaines URL à l’exploration.\n\n\n\nAjouter des règles de délai d’exploration pour certains crawlers\n\n\n\nAjouter des URLs sitemap supplémentaires\n\n\n\nBloquer certains crawlers"},{"id":"paragraph-11","heading":"Paragraph","content":"Rappel SEO : Ne bloquez pas l’accès à des pages via le robots.txt avant de les avoir retirées des résultats de recherche (balise noindex)."},{"id":"image-12","heading":"Image","content":"Depuis le 18 juin 2021 Tobias Lutke, PDG de Shopify, a annoncé que le fichier robots.txt était dorénavant accessible et personnalisable."},{"id":"heading-13","heading":"Comment créer et modifier le robots.txt sur Shopify ?","content":"Comment créer et modifier le robots.txt sur Shopify ?"},{"id":"paragraph-14","heading":"Paragraph","content":"Toutes les boutiques ont par défaut un fichier robots.txt préconfiguré et optimisé par Shopify lui-même. Si vous souhaitez toutefois le personnaliser, voici comment faire :"},{"id":"list-15","heading":"List","content":"Ouvrez votre Tableau de bord\n\n\n\nAllez dans Boutique en ligne > Thèmes\n\n\n\nSur votre thème, cliquez sur Actions > Modifier le code\n\n\n\nDans le dossier Modèles (Templates), faites un clic droit pour Créer un nouveau fichier\n\n\n\nAppelez ce nouveau fichier > « robots.txt.liquid »\n\n\n\nValidez"},{"id":"paragraph-16","heading":"Paragraph","content":"Maintenant que l’on a créé le fichier, on va pouvoir le personnaliser comme on veut."},{"id":"heading-17","heading":"Personnaliser robots.txt.liquid","content":"Personnaliser robots.txt.liquid"},{"id":"paragraph-18","heading":"Paragraph","content":"Il y a 3 personnalisations qu’on veut apporter à ce fichier :"},{"id":"list-19","heading":"List","content":"Ajouter une nouvelle règle à un groupe existant\n\n\n\nEnlever une règle d’un groupe existant\n\n\n\nAjouter des règles faites sur mesure"},{"id":"paragraph-20","heading":"Paragraph","content":"Un groupe renvoie à un ensemble de règles pour des robots spécifiques."},{"id":"heading-21","heading":"Ajouter une nouvelle règle à un groupe existant","content":"Ajouter une nouvelle règle à un groupe existant"},{"id":"paragraph-22","heading":"Paragraph","content":"Voici le fichier modifié pour inclure quelques règles par défaut que nous avons tendance à utiliser pour les clients :"},{"id":"kevinbatdorfcode-block-pro-23","heading":"Kevinbatdorf/code-block-pro","content":"{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}\n\n {%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {{ rule }}\n {%- endfor -%}\n\n {%- if group.user_agent.value == '*' -%}\n {{ 'Disallow: /collections/all*' }}\n {{ 'Disallow: /*?q=*' }}\n {{ 'Disallow: /collections/*/*' }}\n {{ 'Disallow: /blogs/*/tagged/*' }}\n {%- endif -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}"},{"id":"paragraph-24","heading":"Paragraph","content":"Ce que dit ce code c’est que si le user_agent (nom du robot) est égal à *, qui s’applique à tous les bots, alors interdit ce qui suit :"},{"id":"list-25","heading":"List","content":"/collection/all* – Cela bloquera la collection par défaut contenant tous les produits incluant la pagination.\n\n\n\n/*?q=* – Cette commande empêche l’exploration des url avec le paramètre de recherche « query », souvent utilisé comme un hack sur les types de pages vendeurs ou collection.\n\n\n\n/collection/*/* – Ça va bloquer les url en doublon d’accès aux produits (prudence avec lui, il peut empêcher les produits d’être parcourus si vous n’avez pas personnalisé les liens internes)\n\n\n\n/blogs/*/tagged/* – Celui-là empêchera les tags de blog d’être parcouru"},{"id":"paragraph-26","heading":"Paragraph","content":"Le (*) est un caractère générique qui signifie « tout ce qui se trouve ici », c’est-à-dire que pour l’exemple /*?q=* toutes /urls?q=parametres sera bloquées."},{"id":"paragraph-27","heading":"Paragraph","content":"Si vous souhaitez réutiliser le fichier robots.txt par défaut, supprimer simplement le fichier robots.txt.liquid que vous venez de créer."},{"id":"heading-28","heading":"Enlever une règle par défaut d’un groupe existant","content":"Enlever une règle par défaut d’un groupe existant"},{"id":"paragraph-29","heading":"Paragraph","content":"Ce n’est pas recommandé, mais si vous avez besoin, les règles par défaut peuvent être supprimées du fichier robots.txt."},{"id":"paragraph-30","heading":"Paragraph","content":"Voilà le robots.txt par défaut de Shopify :"},{"id":"kevinbatdorfcode-block-pro-31","heading":"Kevinbatdorf/code-block-pro","content":"we use Shopify as our ecommerce platform\n\nUser-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\n# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\n\nUser-agent: Nutch\nDisallow: /\n\nUser-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: MJ12bot\nCrawl-Delay: 10\n\nUser-agent: Pinterest\nCrawl-delay: 1we use Shopify as our ecommerce platform\n\nUser-agent: *\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\n# Google adsbot ignores robots.txt unless specifically named!\nUser-agent: adsbot-google\nDisallow: /checkout\nDisallow: /carts\nDisallow: /orders\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\n\nUser-agent: Nutch\nDisallow: /\n\nUser-agent: AhrefsBot\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: AhrefsSiteAudit\nCrawl-delay: 10\nDisallow: /a/downloads/-/*\nDisallow: /admin\nDisallow: /cart\nDisallow: /orders\nDisallow: /checkout\nDisallow: /8203042875/checkouts\nDisallow: /8203042875/orders\nDisallow: /carts\nDisallow: /account\nDisallow: /collections/*sort_by*\nDisallow: /*/collections/*sort_by*\nDisallow: /collections/*+*\nDisallow: /collections/*%2B*\nDisallow: /collections/*%2b*\nDisallow: /*/collections/*+*\nDisallow: /*/collections/*%2B*\nDisallow: /*/collections/*%2b*\nDisallow: /blogs/*+*\nDisallow: /blogs/*%2B*\nDisallow: /blogs/*%2b*\nDisallow: /*/blogs/*+*\nDisallow: /*/blogs/*%2B*\nDisallow: /*/blogs/*%2b*\nDisallow: /*?*oseid=*\nDisallow: /*preview_theme_id*\nDisallow: /*preview_script_id*\nDisallow: /policies/\nDisallow: /*/*?*ls=*&ls=*\nDisallow: /*/*?*ls%3D*%3Fls%3D*\nDisallow: /*/*?*ls%3d*%3fls%3d*\nDisallow: /search\nDisallow: /apple-app-site-association\nSitemap: YOURWEBSITE.COM/sitemap.xml\n\nUser-agent: MJ12bot\nCrawl-Delay: 10\n\nUser-agent: Pinterest\nCrawl-delay: 1"},{"id":"paragraph-32","heading":"Paragraph","content":"Par exemple, enlevons la règle /account, voici un exemple de code pour faire ça :"},{"id":"kevinbatdorfcode-block-pro-33","heading":"Kevinbatdorf/code-block-pro","content":"{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}{% for group in robots.default_groups %}\n {{- group.user_agent }}\n\n {%- for rule in group.rules -%}\n {%- unless rule.directive == 'Disallow' and rule.value == '/account' -%}\n {{ rule }}\n {%- endunless -%}\n {%- endfor -%}\n\n {%- if group.sitemap != blank -%}\n {{ group.sitemap }}\n {%- endif -%}\n{% endfor %}"},{"id":"paragraph-34","heading":"Paragraph","content":"Ce que nous lui disons c’est : s’il y a une ligne « Disallow » avec la valeur « /account », n’affiche pas cette règle."},{"id":"heading-35","heading":"Ajouter des règles personnalisées","content":"Ajouter des règles personnalisées"},{"id":"paragraph-36","heading":"Paragraph","content":"Si vous souhaitez ajouter une règle qui ne s’applique pas à un groupe par défaut de shopify (*, adsbot-google, AhrefsBot, AhrefsSiteAudit, Nutch, MJ12bot et Pinterest) alors vous pouvez l’ajouter à la toute fin du fichier."},{"id":"paragraph-37","heading":"Paragraph","content":"Par exemple, si vous voulez bloquer la WayBackMachine vous pouvez ajouter le code suivant :/"},{"id":"kevinbatdorfcode-block-pro-38","heading":"Kevinbatdorf/code-block-pro","content":"User-agent: ia_archiver\nDisallow: /User-agent: ia_archiver\nDisallow: /"},{"id":"paragraph-39","heading":"Paragraph","content":"Ou si vous voulez plutôt ajouter un sitemap que vous venez de créer, vous pouvez ajouter ce code-ci :"},{"id":"kevinbatdorfcode-block-pro-40","heading":"Kevinbatdorf/code-block-pro","content":"Sitemap: [sitemap-url]Sitemap: [sitemap-url]"},{"id":"heading-41","heading":"Pourquoi personnaliser le robots.txt ?","content":"Pourquoi personnaliser le robots.txt ?"},{"id":"paragraph-42","heading":"Paragraph","content":"Si vous n’êtes pas dans le SEO, vous pouvez vous demander s’il est important de personnaliser ce fichier."},{"id":"paragraph-43","heading":"Paragraph","content":"Oui, pour 2 raisons :"},{"id":"list-44","heading":"List","content":"Le budget de Crawl\n\n\n\nLes contenus pauvres"},{"id":"heading-45","heading":"Le budget de Crawl","content":"Le budget de Crawl"},{"id":"paragraph-46","heading":"Paragraph","content":"Dans la partie SEO Technique, le référenceur s’intéresse au budget de crawl. Kézako ? Ce terme représente le nombre de pages limites que Googlebot va crawler sur un site web lors de chaque passage."},{"id":"paragraph-47","heading":"Paragraph","content":"Plus simplement :"},{"id":"paragraph-48","heading":"Paragraph","content":"Les moteurs de recherche ne peuvent pas crawler l’entièreté du web régulièrement, il y a trop de contenus pour ça. Ils utilisent donc des algorithmes pour décider de la quantité de ressources à allouer à chaque site web."},{"id":"paragraph-49","heading":"Paragraph","content":"Si votre site requiert plus de ressources qu’il n’en a allouées, alors des pages peuvent être ignorées lors du crawling régulier."},{"id":"paragraph-50","heading":"Paragraph","content":"En SEO, on veut que les moteurs de recherche comme Google ou Bing crawlent régulièrement notre site web pour suivre les améliorations apportées. Si des pages ne sont pas crawlées, ils n’auront aucune idée de ce qui a pu changer, alors vous ne verrez aucune progression dans vos positions."},{"id":"paragraph-51","heading":"Paragraph","content":"C’est d’autant plus important quand des pages de moins bonne qualité sont analysées au détriment de celles bien conçues."},{"id":"paragraph-52","heading":"Paragraph","content":"Quand les experts SEO discutent du crawl budget, ils réfléchissent à comment tirer le meilleur de ce fameux budget alloué."},{"id":"paragraph-53","heading":"Paragraph","content":"En utilisant le robots.txt, on peut spécifiquement bloquer certaines pages ou répertoires du crawl, ce qui réduit le budget d’exploration gaspillé."},{"id":"heading-54","heading":"Les contenus pauvres","content":"Les contenus pauvres"},{"id":"paragraph-55","heading":"Paragraph","content":"Le contenu pauvre désigne des pages de votre site avec peu de valeur ajoutée pour l’internaute et les moteurs."},{"id":"paragraph-56","heading":"Paragraph","content":"Je m’explique :"},{"id":"paragraph-57","heading":"Paragraph","content":"Si vous vous rendez dans votresite.com/collections/vendors?q=brand, vous verrez une page par défaut créée pour tous les vendeurs dans votre tableau de bord shopify."},{"id":"paragraph-58","heading":"Paragraph","content":"Il n’y a ni contenus, ni description, et elle ne peut pas être personnalisée."},{"id":"image-59","heading":"Image","content":"Contenu pauvre, si googlebot vient visiter cette page, le budget de crawl aura été gaspillé…"},{"id":"paragraph-60","heading":"Paragraph","content":"Cette page en l’état, n’a pas vraiment d’intérêt. On se doute que Google ne la positionnera pas dans ses résultats, c’est ce qu’on appelle une page au « contenu pauvre »."},{"id":"paragraph-61","heading":"Paragraph","content":"La meilleure solution dans ce cas-là serait de supprimer ou de bloquer cette page, puis de créer manuellement une nouvelle collection shopify pour viser juste les vendeurs /noms de marque qui est entièrement personnalisable."},{"id":"heading-62","heading":"Quelques questions","content":"Quelques questions"},{"id":"heading-63","heading":"Dois-je bloquer les flux .atom ?","content":"Dois-je bloquer les flux .atom ?"},{"id":"paragraph-64","heading":"Paragraph","content":"Un flux RSS ou Atom est important pour certains besoins spécifiques comme par exemple :"},{"id":"list-65","heading":"List","content":"Relayer automatiquement des infos sur les réseaux sociaux.\n\n\n\nRécupérer dynamiquement toutes les données d’un catalogue de produit (Google Shopping, Comparateur…)\n\n\n\nAutres…"},{"id":"paragraph-66","heading":"Paragraph","content":"Sur une boutique shopify, les flux .atom peuvent remonter dans la Search Console comme « Explorée, actuellement non indexée ». Si vous pensez ne pas en avoir besoin, vous pouvez les bloquer via le fichier robot."},{"id":"paragraph-67","heading":"Paragraph","content":"Disallow: /*.atom$Disallow: /*.ATOM$"},{"id":"paragraph-68","heading":"Paragraph","content":"Je l’ai ajouté deux fois car le fichier robots.txt est sensible à la casse, mais vous pouvez supprimer la règle en majuscule si vous le souhaitez."},{"id":"heading-69","heading":"Dois-je bloquer les robots de spam ?","content":"Dois-je bloquer les robots de spam ?"},{"id":"paragraph-70","heading":"Paragraph","content":"Vous souhaitez empêcher les robots de spam malveillants d’espionner votre site ? Utile également pour pouvoir analyser des données de visites fiables (Google Analytics). Vous pouvez identifier ces bots grâce à vos logs puis les bloquer. La liste des bots fréquemment bloqués se trouve ici."},{"id":"heading-71","heading":"Conclusion","content":"Conclusion"},{"id":"paragraph-72","heading":"Paragraph","content":"Nous espérons n’avoir perdu personne en route, c’est assez technique."},{"id":"paragraph-73","heading":"Paragraph","content":"Nous vous rappelons de faire très attention avec ce fichier si vous n’êtes pas un développeur ou que vous n’êtes pas dans le SEO."},{"id":"paragraph-74","heading":"Paragraph","content":"Il est possible de bloquer l’accès à tout votre site et de créer de sérieux problèmes avec cette fonctionnalité."},{"id":"paragraph-75","heading":"Paragraph","content":"Vous pouvez aussi tester vos règles en utilisant l’outil de test du robots.txt par google, dans la GSC (Google Search Console)."},{"id":"paragraph-76","heading":"Paragraph","content":"En espérant que ce guide vous est venu en aide, si vous avez besoin d’aide dans ce domaine, n’hésitez pas à faire appel à nous."},{"id":"paragraph-77","heading":"Paragraph","content":"Partagez vos commentaires si vous avez d’autres astuces dans le robots.txt de Shopify. Merci !"}],"media":{"primary_image":"https://kalys.fr/wp-content/uploads/2022/12/shopify-seo-robots_txt.jpg"},"relations":[{"rel":"canonical","href":"https://kalys.fr/robots-txt/"},{"rel":"alternate","href":"https://kalys.fr/robots-txt/llm","type":"text/html"},{"rel":"alternate","href":"https://kalys.fr/robots-txt/llm.json","type":"application/json"},{"rel":"llm-manifest","href":"https://kalys.fr/llm-endpoints-manifest.json","type":"application/json"}],"http_headers":{"X-LLM-Friendly":"1","X-LLM-Schema":"1.1.0","Content-Security-Policy":"default-src 'none'; img-src * data:; style-src 'unsafe-inline'"},"license":"CC BY-ND 4.0","attribution_required":true,"allow_cors":false}