El documento robots.txt es un herramienta fundamental para cualquier sitio que busca estar bien vista por los buscadores como Google . Funciona como un mapa para los rastreadores , indicándoles qué áreas de tu plataforma pueden deben rastreadas y cuáles no . La óptima configuración de este archivo puede a solucionar problemas de indexación ,