Preguntas frecuentes
Preguntas frecuentes
El archivo robots.txt es un protocolo estándar que indica a los rastreadores web a qué páginas pueden acceder. Las empresas de IA se comprometen a garantizar que sus bots de recopilación de datos cumplan con este archivo. Configurar correctamente el archivo es la forma más rápida de evitar que tu contenido se incluya en conjuntos de datos de entrenamiento de IA o se utilice en búsquedas de IA en tiempo real.
Si tu archivo robots.txt no tiene una regla específica para ese bot y el bloque `User-agent: * (all bots)` no contiene ninguna restricción, el bot se considera con acceso permitido por defecto. Esto significa que tendrás que añadir una regla personalizada si quieres bloquearlo.
No, robots.txt es un protocolo de cortesía técnica; no es un requisito legal. Si bien los bots de empresas de IA serias se comprometen a seguir estas reglas, los rastreadores maliciosos pueden ignorarlas. Para contenido sensible, se recomienda tomar medidas adicionales como el control de acceso y la autenticación.
Google-Extended es un identificador de rastreador especial que Google utiliza para desarrollar productos de IA como Gemini y AI Overviews. Es independiente del bot de búsqueda habitual de Google (Googlebot); solo si se bloquea este bot, su página web seguirá apareciendo en los resultados de búsqueda de Google.
Common Crawl es un proyecto de archivo web de código abierto, y muchos modelos de lenguaje importantes (incluidos GPT-3/4) han utilizado datos de CCBot para su entrenamiento. Bloquear CCBot puede reducir la cantidad de contenido que se incorporará a futuros modelos de IA de código abierto.
