Meta-ExternalFetcher
Operado por Meta · Permite la recuperación web iniciada por el usuario en los productos de Meta
Meta-ExternalFetcher obtiene una página web específica cuando una persona hace a Meta AI una pregunta que requiere información actualizada, de forma similar a ChatGPT-User. La documentación de Meta señala que este agente puede eludir robots.txt en estas solicitudes iniciadas por el usuario.
Qué hace
Cuando alguien hace a Meta AI una pregunta que requiere consultar un sitio web específico, Meta-ExternalFetcher realiza la solicitud en su nombre y, en algunos casos, incluye en la respuesta la atribución de la fuente con un enlace a la página.
Según la documentación oficial de Meta, este agente puede eludir las reglas de robots.txt porque la solicitud ha sido iniciada por un usuario. Esto lo diferencia de Meta-ExternalAgent, que sí respeta robots.txt durante su rastreo autónomo para entrenamiento.
Por qué recomendamos mantenerlo abierto
- Responde a la pregunta de una persona concreta; no realiza un rastreo masivo.
- No se utiliza para entrenar los modelos de Meta.
- Meta señala que este agente puede eludir robots.txt en las solicitudes iniciadas por el usuario, por lo que el control mediante robots.txt es limitado en cualquier caso.
Identificación y robots.txt
Meta-ExternalFetcher
La documentación oficial de Meta contiene información adicional sobre su verificación.
User-agent: Meta-ExternalFetcher
Allow: /