¿Qué bots de IA deberían acceder a tu sitio web?
Este directorio incluye crawlers de IA identificables y agentes activados por el usuario, tokens de control de robots.txt y las principales plataformas de IA con acceso a la web pero sin una identidad de bot documentada públicamente: qué hace cada uno y nuestra recomendación de GEO cuando corresponde.
No hay resultados que coincidan con la búsqueda y los filtros seleccionados.
Obtiene una página en respuesta directa a una acción o solicitud específica de un usuario de ChatGPT.
Rastrea contenido para ChatGPT Search. OpenAI vincula directamente su acceso con la posibilidad de que el contenido sea encontrado, mostrado y citado.
Recopila contenido público que puede utilizarse para entrenar futuros modelos de OpenAI.
Visita las páginas de destino enviadas como anuncios de ChatGPT para comprobar el cumplimiento de las políticas y su relevancia. No está relacionado con la visibilidad en búsquedas ni con el entrenamiento de modelos.
Obtiene páginas cuando una solicitud de un usuario de Claude requiere contenido web actualizado.
Indexa la web para mejorar la calidad y la relevancia de los resultados de búsqueda de Claude.
Recopila contenido web que podría utilizarse para entrenar futuros modelos de Claude.
Puede obtener una página directamente para responder a una pregunta específica de un usuario y citarla en la respuesta.
Construye el índice de búsqueda de Perplexity; oficialmente no se utiliza para entrenar modelos fundacionales.
Es la base del índice de búsqueda de Google, que también alimenta las funciones de IA de Google. No recomendamos bloquearlo en un sitio comercial.
Es un token de control de robots (no un crawler) que determina si el contenido ya rastreado puede utilizarse para entrenar y proporcionar grounding a Gemini.
Obtiene páginas en tiempo real para generar respuestas asistidas por IA con fuentes; no se utiliza para entrenar modelos.
Obtiene contenido web específico bajo demanda para las funciones de Meta AI.
Recopila e indexa contenido para los sistemas de IA de Meta.
Obtiene páginas web a petición del usuario para proporcionar respuestas de IA actualizadas.
Crawler automatizado que indexa contenido web para las funciones de búsqueda de Mistral AI.
Crawler automatizado que recopila contenido web para los conjuntos de datos de entrenamiento de la IA generativa de Mistral.
Impulsa Siri, Spotlight y Safari; ahora también se utiliza como contexto en tiempo real para las respuestas de IA de Apple.
Es un token de control de robots.txt para excluirse del entrenamiento de los modelos fundacionales de Apple; no rastrea páginas web.
Rastrea contenido web para mejorar los productos y servicios de Amazon. El contenido recopilado también puede utilizarse para entrenar los modelos de IA de Amazon.
Indexa contenido web para las experiencias de búsqueda de Amazon, incluida Alexa. No se utiliza para el entrenamiento de IA generativa.
Obtiene información web actualizada en respuesta a acciones del usuario, incluidas las consultas de Alexa.
Construye el conjunto de datos de Common Crawl, ampliamente utilizado en el ecosistema de ML/LLM.
Rastrea e indexa páginas web públicas para la búsqueda y recuperación de IA de Exa.
Obtiene páginas web bajo demanda en respuesta a solicitudes de usuarios realizadas a través de Exa.
Rastrea páginas web públicas para crear el índice de búsqueda de Linkup, usado en aplicaciones de búsqueda y grounding de IA.
Crawler web ampliamente atribuido a ByteDance; su uso para el entrenamiento de IA no está confirmado oficialmente.
El acceso de los bots va más allá de robots.txt
Permitir el acceso de los crawlers de IA en robots.txt no garantiza el acceso. Las reglas de CDN, WAF y protección contra bots pueden bloquear o desafiar las solicitudes de forma independiente. Cloudflare también ofrece las opciones AI Crawl Control y Pay Per Crawl.
Plataformas de IA sin una identidad de bot pública
Estas plataformas impulsan asistentes de IA ampliamente utilizados, pero no han publicado un User-Agent específico para su crawler ni rangos de IP propios, por lo que su tráfico no puede verificarse ni controlarse de forma selectiva mediante robots.txt a día de hoy.
El ecosistema Qwen de Alibaba admite búsqueda web, extracción de contenido y obtención de URLs a través de sus herramientas. No se ha confirmado una identidad de crawler específica para Qwen de cara a los editores.
Las herramientas para desarrolladores de DeepSeek admiten búsqueda web, obtención HTTP y acceso mediante navegador. La identidad del tráfico depende del backend seleccionado; no se ha confirmado una única identidad de crawler específica para DeepSeek.
Grok admite búsqueda web, búsqueda en X e interacción mediante navegador agente. No se ha confirmado una identidad de crawler específica de cara a los editores.