{robots.txt: El manual completa para mejorar tu posicionamiento web
El documento robots.txt es una recurso fundamental para toda página web que busca estar bien indexada por los rastreadores como Bing. Funciona como una directorio para los crawlers , indicándoles qué secciones de tu web pueden deben crawleadas y cuáles no . La adecuada configuración de este fiche