Bytespider
Operado por ByteDance · Ampliamente atribuido a ByteDance · Finalidad no documentada oficialmente
Según numerosas fuentes del sector, Bytespider es el crawler web de ByteDance utilizado para recopilar datos destinados al entrenamiento de IA. A diferencia del resto de las entradas de este directorio, ByteDance no ha publicado documentación oficial sobre el crawler que confirme su finalidad, su comportamiento respecto a robots.txt o sus rangos de IP. Por tanto, la información que figura a continuación procede de fuentes de terceros y no ha sido confirmada por el operador.
Qué hace
Bytespider es descrito ampliamente en el sector como el crawler de ByteDance utilizado para recopilar datos destinados al entrenamiento de IA. Sin embargo, ByteDance no ha publicado una página oficial de documentación que confirme esta finalidad, su comportamiento respecto a robots.txt o sus rangos de IP.
Diversas fuentes independientes describen Bytespider como un crawler de gran volumen que, en ocasiones, no respeta de forma fiable las directivas de robots.txt. Sin embargo, dado que esta información procede de observaciones de terceros y no de documentación de ByteDance, ELNIQ la presenta como información reportada, no como un hecho confirmado.
Por qué el bloqueo es opcional
- No existe documentación oficial de ByteDance que confirme la finalidad o el comportamiento de este crawler.
- Diversas fuentes independientes señalan que no siempre respeta robots.txt.
- Si necesitas garantizar el bloqueo, considera aplicarlo a nivel de servidor o WAF.
Identificación y robots.txt
Bytespider
Dado que ByteDance no ha publicado documentación oficial, ELNIQ no puede verificar el comportamiento de este crawler frente a una fuente primaria. Su identificación debe considerarse una aproximación basada únicamente en la cadena User-Agent.
User-agent: Bytespider
Disallow: /