BotNet

Cómo el rápido crecimiento de los bots podría cambiar la web abierta

nov 19, 2024

¿Cómo cambia la Web abierta el rápido crecimiento de los bots?

Más de la mitad del tráfico de la web procede de bots:

El Informe Bad Bot 2024 de Imperva revela que casi el 50% del tráfico total de Internet no era humano en 2024. Tendencia: en declive.¹
El Radar de Cloudflare muestra ~70% de tráfico humano y 30% de bots.²
Akami informa de que el 42% del tráfico en la web procede de bots.³

Hasta ahora, los bots han recopilado información que mejora las aplicaciones para los humanos. Pero una nueva especie crece en población: los bots agénticos. Durante dos décadas, optimizamos sitios para GoogleBot. Pronto, podremos centrarnos en ayudantes de IA que actúen como intermediarios entre los humanos y la web abierta.

Ya optimizamos para la red de bots con el esquema y los feeds de productos en el Merchant Center de Google. Los sitemaps XML se han convertido en apuestas de mesa hace décadas. En el siguiente nivel, podríamos tener sitios web o API independientes para bots agénticos, con un campo de juego de marketing totalmente nuevo.

Web agéntica

A medida que nos acercamos a tener más tráfico de bots que de humanos en la web abierta, es esencial tener en cuenta que se estima que alrededor del 65% del tráfico de bots es malicioso. Entre los bots buenos se incluyen los raspadores de los motores de búsqueda, las herramientas SEO, la defensa de la seguridad y, por supuesto, los rastreadores de IA. Ambos tipos de bots están creciendo en población, pero sólo los buenos son realmente útiles.

Comparando los últimos 6 meses con los anteriores, los rastreadores de IA crecieron un 18%, mientras que los motores de búsqueda se ralentizaron un 10%. En concreto, GoogleBot redujo su actividad un -1,6%. Sin embargo, el rastreador de IA de Google lo compensó con un aumento del 1,4%. GPT Bot fue el rastreador de IA más activo, con el 3,8% de todas las solicitudes y creció un 12%. El rastreador de IA de Google creció un 62% y fue responsable del 3,7% de todas las solicitudes de bots. Dado su actual ritmo de crecimiento, el rastreador de IA de Google debería ser pronto el más activo de la web.⁴

En la actualidad, los robots de IA tienen tres objetivos

Recopilar datos de entrenamiento
Construir un índice de búsqueda para fundamentar las respuestas LLM (RAG)
Recopilar datos en tiempo real para peticiones que exigen frescura

Pero actualmente, todos los grandes desarrolladores de IA trabajan en agentes que navegan por la web y realizan acciones para los usuarios:

Claude fue el primero con su función de producto «Uso del ordenador»: «Los desarrolladores pueden dirigir a Claude para que utilice los ordenadores como lo hacen las personas: mirando una pantalla, moviendo un cursor, pulsando botones y escribiendo texto».⁵
Jarvis de Google, «un compañero útil que navega por la web por ti», se lanzó accidentalmente en la tienda Chrome de forma momentánea.⁶
OpenAI trabaja en «Operator», también un agente que actúa por ti.⁷

Veo tres posibles resultados:

Los agentes aumentan significativamente el tráfico de bots en la web abierta, ya que rastrean y visitan sitios web.
Los agentes utilizan las API para obtener información
Los agentes operan en su plataforma, lo que significa que Operator sólo utiliza datos de Chat GPT en lugar de recopilar los suyos propios

Creo que lo más probable es una mezcla de los tres, con el resultado de que el tráfico de bots crecería significativamente. Si esto resulta ser cierto, las empresas construirán cada vez más versiones separadas de su sitio para bots orientadas a la velocidad y a los datos estructurados. «Sólo céntrateen el usuario» se convierte en “sólo céntrate en los agentes”.

En cierto modo, Chat GPT Search ya es un agente que navega y cura la web para los humanos. Pero si los agentes cumplen su promesa, puedes esperar mucho más. El director ejecutivo de OpenAI, Sam Altman, en su reciente Reddit AMA: «Creo que lo que se sentirá como el próximo gran avance serán los agentes.»

Mientras los bots conquistan la web, ¿qué hacen los humanos?

Adopción de Internet

Es poco probable que los humanos dejen de navegar por la web por completo. Incluso con las respuestas de la IA en la Búsqueda y las funciones de Búsqueda en los Chatbots de IA, los humanos siguen queriendo verificar las afirmaciones de la IA, inspirarse al azar (serendipia) o buscar respuestas de otros humanos (Reddit). Pero el acto de navegar para buscar probablemente se disolverá en indicaciones si los bots mejoran lo suficiente.

Hay espacio para el crecimiento del tráfico humano: El 70% de la población mundial tendrá acceso a Internet en 2023. Al ritmo actual (~7% interanual), todo el mundo tendría acceso a Internet en 2030. Sin embargo, a pesar de la creciente adopción de Internet, el tráfico humano se ha mantenido estable en los últimos 3 años (ver las estadísticas de Cloudflare). Los rastreadores de IA crecen mucho más rápido (18%), y los agentes podrían acelerarlo aún más.

Las solicitudes humanas a Wikipedia, el sitio más grande de la web, se han estancado desde 2019.⁸

La razón es que la atención humana se desplaza hacia las plataformas sociales, especialmente para las generaciones más jóvenes. A medida que los bots toman la web abierta, los humanos huyen a los retiros de compromiso.

Marketing

En un futuro lejano, los buenos bots podrían convertirse en ciudadanos con igualdad de derechos de la nación de la web abierta, a medida que más humanos pasen tiempo en plataformas sociales cerradas y los LLM agénticos aumenten el ya rápido crecimiento del tráfico de bots. Si esta teoría se cumple, ¿qué significa esto para el Marketing y, en concreto, para el SEO?

Imagina que reservas un viaje. En lugar de navegar por Google o Booking, le dices a tu agente dónde piensas ir y cuándo. Basándose en lo que sabe sobre tus preferencias, tu agente selecciona 3 opciones de vuelos y hoteles de la plataforma que elijas. Eliges un vuelo, se añade a tu calendario y los billetes están en tu bandeja de entrada. No tienes que pasar por caja. El agente lo hace todo por ti. Podrías aplicar el mismo escenario al comercio electrónico o al software. Dado que empresas como Google ya disponen hoy de las capacidades para construir esto, merece la pena pensar qué permanecería constante, qué cambiaría y qué se volvería más y menos importante en esta visión.

Constante

Los robots no necesitan CSS ni imágenes principales. No hay inconveniente en camuflar tu sitio para los rastreadores LLM, así que existe la posibilidad de que los sitios web muestren a los robots una versión básica. Un conjunto de habilidades que permanece constante en este futuro es el SEO técnico: rastreabilidad, velocidad (del servidor), enlaces internos y datos estructurados.

Cambia

Una web abierta agéntica ofrece una capacidad de segmentación publicitaria mucho mejor, ya que los bots conocen al dedillo a sus propietarios. Los humanos tomarán decisiones de compra mucho más rápido, ya que sus agentes les dan toda la información que necesitan y conocen sus preferencias. Los costes publicitarios se reducen significativamente y ofrecen rendimientos aún mayores que los actuales.

Como los bots pueden traducir cualquier cosa en segundos, la localización y las ventas internacionales ya no son un problema. Los humanos pueden comprar a cualquiera, en cualquier lugar, sólo limitados por el envío y el inventario. La economía global se abre aún más.

Si jugamos bien, los agentes podrían ser los guardianes definitivos de la privacidad: nadie tiene tantos datos sobre ti como ellos, pero puedes controlar cuántos comparten. Los agentes te conocen, pero no necesitan compartir esa información con otros. Podríamos compartir incluso más datos con ellos, haciendo girar la rueda volante de valor de datos → comprensión → resultados → datos → valor → resultados → etc.

En el lado negativo, tenemos que crear defensas contra los robots deshonestos redefiniendo lo que se les permite hacer en un formato similar a robots.txt 2.0. La ciberseguridad se vuelve aún más importante, pero también más compleja, ya que los bots malos pueden imitar mucho mejor a los buenos.

Tendremos que averiguar el impacto medioambiental del mayor consumo de energía por el mayor tráfico de bots. Esperemos que los bots sean más eficientes y, por tanto, causen menos tráfico web total que los humanos. Esto compensaría al menos en algo el desfiladero energético que ya están causando los LLM.

Importante

El formato de información más amigable para los bots es el crudo y estructurado: XML, RSS y feeds API. Ya hemos enviado feeds de productos y sitemaps XML a Google, pero los agentes querrán más. El diseño web será menos importante en el futuro, y tal vez eso esté bien, ya que la mayoría de los sitios se parecen mucho de todos modos. El diseño de los feeds será más importante: qué información incluir en los feeds, cuánta, con qué frecuencia actualizarla y qué peticiones enviar a los bots.

Los profesionales del marketing pasarán mucho más tiempo haciendo ingeniería inversa de cómo son las conversaciones con los chatbots. Los bots serán probablemente una caja negra como el algoritmo de Google, pero la publicidad podría arrojar luz sobre lo que más pregunta la gente.

Relaciones

En el futuro agéntico, es difícil conseguir que los clientes cambien una vez que se han decidido por una marca que les gusta, hasta que tienen una mala experiencia. En consecuencia, una importante palanca de marketing será conseguir que los clientes prueben tu marca con campañas como descuentos y ofertas exclusivas. Una vez que tengas la convicción y la señal de que tu producto es mejor, la búsqueda se convierte en persuadir a los usuarios para que lo prueben. Obviamente, eso ya funciona hoy en día. Con tantas oportunidades de hacer publicidad e influir orgánicamente en los usuarios hacia un producto concreto antes de que lo compren, tenemos mucha más influencia en la compra. Pero, en el futuro, los agentes podrían tomar esas decisiones por los usuarios. Los profesionales del marketing dedicarán más tiempo a establecer relaciones, crear conciencia de marca e influir en factores de marketing de la vieja escuela como el precio, la distribución (envío) y la diferenciación.

Sobre Kevin

Kevin publica en Substack su newsletter semanal gratuito “Growth Memo”, sobre el arte del Crecimiento Orgánico. (Un tema que me apasiona, por cierto).

Los suscriptores a este boletín pueden mejorar sus habilidades en SEO, CRO y Crecimiento Dirigido al Producto (PLG) y comprenden cómo las grandes tendencias en tecnología influyen en el oficio del Crecimiento y el Marketing.

Se publica todos los lunes por la mañana.

El artículo original es el siguiente: