Crawler de entrenamiento
Recomendación GEO: Bloqueo opcional
Meta-ExternalAgent
Operado por Meta · Entrena Meta AI y los modelos Llama
Meta-ExternalAgent rastrea contenido web para el entrenamiento de los modelos de Meta AI y la mejora de sus productos. La documentación de Meta indica que respeta robots.txt y que es distinto de Meta-ExternalFetcher, el agente de Meta activado por el usuario.
Propietario
Meta
Activación
Rastreo automatizado
Uso para entrenamiento de IA
Sí
Control mediante robots.txt
Sí
Impacto si se bloquea
Impide que este crawler acceda al contenido bloqueado; Meta-ExternalFetcher, activado por el usuario, se controla por separado.
Cómo identificarlo
User-Agent: Meta-ExternalAgent
Qué hace
Meta-ExternalAgent rastrea contenido web accesible públicamente para el entrenamiento de los modelos de Meta AI y la mejora de sus productos.
Es un crawler autónomo e independiente de Meta-ExternalFetcher, que obtiene páginas individuales en respuesta a una solicitud específica de un usuario y no es un crawler de entrenamiento.
Por qué el bloqueo es opcional
- Solo afecta a si tu contenido contribuye a los conjuntos de datos utilizados por Meta para el entrenamiento de IA.
- No afecta a las solicitudes iniciadas por usuarios que realiza Meta-ExternalFetcher.
- La documentación de Meta indica que respeta robots.txt, por lo que una regla Disallow es el mecanismo estándar para excluirse.
Identificación y robots.txt
IDENTIFICADOR USER-AGENT
Meta-ExternalAgent
Verificación
La documentación oficial de Meta contiene información adicional sobre su verificación.
INDICACIONES PARA ROBOTS.TXT — PARA EXCLUIRSE DEL ENTRENAMIENTO
User-agent: Meta-ExternalAgent
Disallow: /