Robots.txt
robots.txt es un archivo de texto colocado en el directorio raíz de un sitio web que instruye a los rastreadores de motores de búsqueda qué páginas o archivos tienen permitido o no permitido solicitar. Es la primera línea de defensa para controlar cómo los bots interactúan con la infraestructura de su sitio y ayuda a optimizar el presupuesto de rastreo.
Dirigiendo a los Bots a tu Mejor Contenido
Google asigna un "presupuesto de rastreo" limitado a tu sitio: el número de páginas que sus bots rastrearán por día. Si los bots pierden tiempo rastreando paneles de administración, páginas imprimibles duplicadas o URL de carrito/pago, podrían pasar por alto tus valiosas páginas de productos traducidos. robots.txt le dice a los bots "No pierdas tiempo en /admin/, enfócate en /en/, /fr/, /de/ en su lugar". Para sitios internacionales, debes prohibir el rastreo de páginas de redirección de detección automática de idioma, puntos finales de API y cualquier URL técnica que no necesite ser indexada. Sin embargo, NUNCA bloquees accidentalmente tus directorios de idioma: ese es un error catastrófico que aniquila todo el SEO internacional.
Permitir vs. Denegar Acceso de Rastreo
Impacto en el Mundo Real
El sitio no tiene robots.txt, los bots rastrean 10,000 URL de carrito
Presupuesto de rastreo desperdiciado, páginas de productos rastreadas lentamente
Los nuevos productos tardan semanas en aparecer en las búsquedas
Añadir robots.txt: Disallow /cart/, /checkout/, /api/
Los bots se centran al 100% en páginas de productos e idiomas
Nuevos productos indexados en 24 horas