Dans de petit challenge d'entraînement, vous allez vous familiariser sur le
protocole d'exclusion des robots.
Le fichier robots.txt est utilisé par les robots d'indexation pour verifier s'ils sont autorisés d'explorer et d'indexer votre site internet ou seulement une partie de celui-ci.
Quelquefois, ces fichiers révèlent la structure des dossiers au lieu de protéger leur contenu contre l'exploration.

Enjoy!