cours/docs/dev/fragments/base/02-robots.md
nico 4fc0dd20f8 updated content
CSS grid
CSS custom fonts
CSS variables
2023-12-08 11:07:59 +01:00

15 lines
456 B
Markdown
Executable file

# robots.txt
Le fichier `robots.txt` est un fichier placé à la racine du dossier web. Il permet de donner des instructions aux moteurs de recherche qui visitent un site.
Dans sa configuration la plus simple, il permet d'autoriser ou d'interdire l'indexation d'un site par les moteurs de recherche.
[Documentation plus complète.](http://robots-txt.com/)
## Autoriser
<<< @/snippets/robots.txt#allow
## Interdire
<<< @/snippets/robots.txt#disallow