El fichero robots.txt es el elemento esencial para la sitio que busca ser bien posicionada por los motores de búsqueda como Chrome . Funciona como un directorio para los crawlers , indicándoles https://madbookmarks.com/story21748831/robots-txt-una-guía-completa-para-mejorar-tu-posicionamiento-web