Robots.txt

Robots.txt est un fichier qui est habituellement placé à la racine d'un site web. Il détermine si les robots d'indexation ont ou non l'autorisation d'accéder au site web.

Par exemple, l'administrateur d'un site peut interdire aux robots d'indexation de parcourir un certain dossier (et tous les fichiers contenus à l'intérieur) ou de parcourir un fichier spécifique, généralement pour empêcher ces fichiers d'être indexés par d'autres moteurs de recherche.