# esGEO — robots.txt
# Estrategia: ser citado. Damos permiso explícito a los rastreadores de IA en lugar de
# bloquearlos, y cada bot se nombra para dejar constancia de la decisión.
#
# Un solo grupo (RFC 9309): todos los User-agent de abajo comparten las mismas reglas.
# Un bot con un grupo propio aplica SOLO ese grupo y no hereda los Disallow de "*",
# así que separar los grupos les abría las páginas de pago y de baja. Dentro del grupo
# no hay líneas en blanco ni comentarios: algunos parsers antiguos los toman como fin
# de grupo.
#
# Quién es quién:
#   Buscadores clásicos: Googlebot, Bingbot.
#   OpenAI: GPTBot (entrenamiento de modelos), OAI-SearchBot (índice de búsqueda de
#     ChatGPT: es el que decide si nos cita) y ChatGPT-User (visita puntual lanzada por
#     un usuario que pide leer una URL).
#   Anthropic: ClaudeBot, Claude-User, Claude-SearchBot.
#   Perplexity: PerplexityBot, Perplexity-User.
#   Google-Extended: uso generativo (Gemini / Vertex AI); no afecta al ranking en la
#     Búsqueda de Google.
#   CCBot: Common Crawl, corpus abierto que usan varios modelos.
#   Otros rastreadores de IA: Applebot-Extended, Amazonbot, Bytespider, cohere-ai,
#     Meta-ExternalAgent.
#   Previsualizaciones en redes sociales: Twitterbot, facebookexternalhit.
#
# Disallow: /premium/ guarda los PDFs de pago (el redirect de vercel.json ya corta el
# acceso público; esto es el cinturón además de los tirantes). El resto son la
# confirmación de compra, la baja (sus URLs llevan el email), la administración, la API
# y rutas antiguas que ya no existen: nada que un buscador deba guardar.
# /checkout NO se bloquea aquí: lleva meta robots noindex, y un buscador solo ve el
# noindex si puede rastrear la página. Tampoco está en el sitemap.
# Última revisión: 2026-10-05

User-agent: Googlebot
User-agent: Bingbot
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: Bytespider
User-agent: cohere-ai
User-agent: Meta-ExternalAgent
User-agent: Twitterbot
User-agent: facebookexternalhit
User-agent: *
Allow: /
Disallow: /premium/
Disallow: /success
Disallow: /unsubscribe
Disallow: /admin
Disallow: /api/
Disallow: /dashboard
Disallow: /auth
Disallow: /guest-access

# ─── Mapas ─────────────────────────────────────────────────────────────
Sitemap: https://www.esgeo.ai/sitemap.xml

# Guía curada para modelos de lenguaje:
# https://www.esgeo.ai/llms.txt