¿Debo bloquear a GPTBot en mi robots.txt?
Para la inmensa mayoría de pymes, no. Bloquear GPTBot, ClaudeBot, PerplexityBot o Google-Extended impide que esos sistemas usen tu contenido, pero también te saca del conjunto de fuentes que pueden citarte, y ese tráfico convierte entre cuatro y catorce veces mejor que el orgánico de Google. Bloquear tiene sentido en dos casos concretos: si vendes el contenido en sí (medios de suscripción, bases de datos de pago, bancos de imágenes) o si el coste de servidor del rastreo se te está yendo de las manos. Si tu contenido existe para conseguir clientes, bloquearlo es equivalente a pedirle a Google que te desindexe.
Actualizado el por Sergio de la Rosa.
Quién es quién
- GPTBot: rastrea para entrenar los modelos de OpenAI.
- OAI-SearchBot: rastrea para la búsqueda de ChatGPT. Bloquearlo te saca de las respuestas con navegación, que es donde está el tráfico.
- ClaudeBot: el rastreador de Anthropic.
- PerplexityBot: el de Perplexity, el motor que más visiblemente cita fuentes.
- Google-Extended: no afecta al buscador, solo controla el uso de tu contenido en los productos de IA de Google.
La distinción que casi nadie hace
Entrenamiento y respuesta no son lo mismo. Puedes querer que tu contenido no entre en el entrenamiento de un modelo y a la vez querer que ese modelo te cite cuando busca en vivo. Esa distinción se controla con rastreadores distintos: bloquear GPTBot y dejar pasar a OAI-SearchBot es una postura coherente.
Lo que no es coherente es bloquearlo todo y luego quejarse de que la IA no recomienda tu marca.
Comprueba que no lo estás bloqueando sin saberlo
- Revisa tu robots.txt: muchos plugins de seguridad y algunas plantillas añaden bloqueos de bots de IA por defecto.
- Revisa el firewall del CDN: Cloudflare y similares tienen conmutadores de "bloquear rastreadores de IA" que se activan con un clic y no dejan rastro en robots.txt.
- Revisa los registros del servidor: si no ves visitas de GPTBot ni PerplexityBot, algo los está frenando antes de llegar.
Más preguntas sobre esto
¿Quieres el número exacto para tu caso?
Cuéntame tus canales y tu volumen y te preparo una propuesta concreta, sin compromiso.