ClaudeBot
Operado por Anthropic · Impulsa el entrenamiento de modelos de Claude
ClaudeBot recopila contenido web disponible públicamente que puede contribuir al entrenamiento y la mejora de los modelos de IA generativa de Anthropic. Bloquearlo indica que el contenido futuro de tu sitio debe excluirse de los conjuntos de datos de entrenamiento de IA de Anthropic. No está relacionado con la indexación para las búsquedas de Claude ni con las solicitudes de usuarios en tiempo real.
Qué hace
ClaudeBot rastrea páginas web disponibles públicamente para recopilar contenido que, según Anthropic, puede contribuir al entrenamiento y la mejora de sus modelos de IA generativa. Opera de forma independiente de Claude-User y Claude-SearchBot: bloquear ClaudeBot no afecta a la capacidad de Claude para obtener tus páginas en respuesta a la pregunta de un usuario en tiempo real ni para encontrarlas en los resultados de búsqueda de Claude.
Es el equivalente, para la recopilación de datos de entrenamiento, del rastreo de indexación que realiza Claude-SearchBot, siguiendo el mismo modelo de tres bots que OpenAI utiliza con GPTBot y OAI-SearchBot.
Por qué el bloqueo es opcional
- Solo afecta a si tu contenido contribuye a los futuros conjuntos de datos de entrenamiento de IA de Anthropic.
- No afecta al acceso en tiempo real de Claude-User ni a la indexación de Claude-SearchBot.
- Muchos editores bloquean específicamente ClaudeBot para excluirse del entrenamiento, manteniendo al mismo tiempo abierto el acceso para búsqueda y asistentes.
Identificación y robots.txt
ClaudeBot
La documentación oficial de Anthropic contiene información adicional sobre su verificación.
User-agent: ClaudeBot
Disallow: /