cours/docs/dev/fragments/base/02-robots.md

robots.txt

Le fichier robots.txt est un fichier placé à la racine du dossier web. Il permet de donner des instructions aux moteurs de recherche qui visitent un site.

Dans sa configuration la plus simple, il permet d'autoriser ou d'interdire l'indexation d'un site par les moteurs de recherche.

Documentation plus complète.

Autoriser

<<< @/snippets/robots.txt#allow

Interdire

<<< @/snippets/robots.txt#disallow