Googlebot
Operado por Google · Impulsa Google Search y AI Overviews
Googlebot es el crawler web principal de Google para Search. Las funciones de IA integradas en Google Search, como AI Overviews, utilizan este mismo rastreo e índice: no existe una forma independiente de aparecer en Google Search y, al mismo tiempo, excluir específicamente AI Overviews.
Qué hace
Googlebot rastrea e indexa páginas web públicas para alimentar los resultados de Google Search. Las funciones de IA integradas en Search, incluido AI Overviews, se apoyan en este mismo índice de búsqueda, no en un rastreo independiente.
La posibilidad de que Google utilice el contenido rastreado para entrenar sus modelos generativos Gemini y Vertex AI es una cuestión distinta, controlada mediante el token independiente Google-Extended en robots.txt, y no mediante Googlebot.
Por qué recomendamos mantenerlo abierto
- Es necesario para tener cualquier tipo de presencia en los resultados de Google Search.
- Actualmente no existe una forma de aparecer en Search y excluir específicamente AI Overviews.
- El uso para el entrenamiento de Gemini/Vertex AI se controla por separado mediante Google-Extended, por lo que no es necesario bloquear Googlebot únicamente para excluirse de ese uso.
Identificación y robots.txt
Googlebot
La documentación oficial de Google contiene información adicional sobre su verificación.
User-agent: Googlebot
Allow: /