📊 ¿Qué Contenido Funciona Bien en los LLM?
Un nuevo estudio de menciones y citas de marcas en Chat GPT & Co.
¿Qué Contenido Funciona Bien en los LLM?
Por: Kevin Indig, que ha pasado 10 años como operador y líder en empresas de rápido crecimiento como Shopify, G2 y Atlassian. Desde mediados de 2022, ha sido asesor independiente de empresas emergentes de hipercrecimiento como Meta, Reddit, Ramp, Bounce, Snapchat, Dropbox, Toast y Nextdoor. Escribe Growth Memo, una newsletter para personas interesadas en la intersección entre marketing y estrategia empresarial.
En los últimos 12 meses, hemos llenado importantes lagunas en nuestra comprensión de los chatbots de IA como Chat GPT & Co.
Sabemos que:
La adopción está creciendo rápidamente.
Los chatbots de IA envían más referencias a sitios web con el tiempo.
El tráfico de referencia de los chatbots de IA es de mayor calidad que el de Google.
Puedes leer todo sobre ello en el estado de los chatbots de IA y el SEO.
Pero no hay mucho contenido sobre ejemplos y factores de éxito de contenido que genere citas y menciones en los chatbots de IA.
Para obtener una respuesta, analicé más de 7000 citas en 1600 URL de sitios con mucho contenido (piensa en: integradores) en # chatbots de IA (chat GPT, Perplexity, AI Overviews) en febrero de 2024 con la ayuda de Profound.
Mi objetivo es averiguar:
Por qué algunas páginas se citan más que otras, para que podamos optimizar el contenido para los chatbots de IA.
Si los factores clásicos de SEO son importantes para la visibilidad de los chatbots de IA, para que podamos priorizar.
Qué trampas debemos evitar, para no tener que aprender las mismas lecciones muchas veces.
Si diferentes factores influyen en las menciones y citas, para que podamos ser más específicos en nuestros esfuerzos.
Aquí están mis hallazgos:
La clave para la citación de marca en los chatbots de IA: Contenido profundo.
🔍Contexto: Sabemos que los chatbots de IA utilizan RAG (Retrieval Augmented Generation) para ponderar sus respuestas con resultados de Google y Bing. Sin embargo, ¿significa eso que los factores clásicos de posicionamiento SEO también se traducen en citas de chatbots de IA? No.
Mi análisis de correlación muestra que ninguna de las métricas clásicas de SEO tiene una relación fuerte con las citas. Los LLM tienen preferencias ligeras: la perplejidad y en los AIO se da más importancia al recuento de palabras y frases. Chat GPT valora la calificación del dominio y la puntuación Flesch.
💡Conclusión: Las métricas clásicas de SEO no importan tanto para las menciones y citas de los chatbots de IA. Lo mejor que puedes hacer para optimizar el contenido es buscar la profundidad, la exhaustividad y la legibilidad (lo fácil que es entender el texto).
Los siguientes ejemplos demuestran todos esos atributos:
https://www.byrdie.com/digital-prescription-services-dermatologist-5179537
https://www.healthline.com/nutrition/best-weight-loss-programs
https://www.verywellmind.com/we-tried-online-therapy-com-these-were-our-experiences-8780086
Las correlaciones generales no revelaron suficiente carne en el hueso y me dejaron con demasiadas preguntas sin respuesta. Así que analicé en qué se diferenciaba el contenido más citado del resto. Ese enfoque mostró patrones mucho más sólidos.
🔍Contexto: Como no obtuve mucho de las correlaciones estadísticas, quería ver cómo se compara el 10 % superior del contenido más citado con el 90 % inferior. Cuanto mayor es la diferencia, más crítico es el factor para el 10 % superior. En otras palabras, el multiplicador (eje x del gráfico) indica qué factores recompensan los LLM con citas.
Los resultados:
Los dos factores que destacan son el número de frases y palabras, seguidos de la puntuación Flesch. Las métricas relacionadas con los backlinks y el tráfico parecen tener un efecto negativo, lo que no significa que los chatbots de IA los valoren negativamente, sino simplemente que no importan para las menciones o citas.
El 10 % superior de las páginas más citadas en los 3 LLM tiene mucho menos tráfico, se posiciona para menos palabras clave y obtiene menos backlinks totales. ¿Cómo tiene sentido eso? Parece que ser fuerte en las métricas tradicionales de SEO es malo para la visibilidad de los chatbots de IA.
Copilot (no incluido en el gráfico) tiene la desigualdad más marcada, por cierto. El 10 % superior tiene 17,6 citas más que el 90 % inferior. Sin embargo, el 10 % superior también se clasifica para 1,7 veces más palabras clave en la búsqueda orgánica. Así que Copilot parece tener preferencias más fuertes que otros chatbots de IA.
Si se dividen los datos por chatbot de IA, se pueden ver sus preferencias únicas:
💡Conclusión: la profundidad del contenido (número de palabras y frases) y la legibilidad (puntuación de Flesch) tienen el mayor impacto en las citas de los chatbots de IA. Es importante entenderlo: un contenido más largo no es mejor porque sea más largo, sino porque tiene más posibilidades de responder a una pregunta específica planteada en un chatbot de IA.
Ejemplos:
www.verywellmind.com/best-online-psychiatrists-5119854 tiene 187 citas, más de 10 000 palabras y más de 1500 oraciones con una puntuación Flesch de 55 y es citado 72 veces por Chat GPT.
Por otro lado, www.onlinetherapy.com/best-online-psychiatrists/ solo tiene 3 citas, también una puntuación Flesch baja con 48, pero se queda «corto» con solo 3900 palabras y 580 frases.
La clave de las menciones de marca en los chatbots de IA: popularidad
🔍Contexto: Aún no sabemos el valor que tiene para una marca ser mencionada por un chatbot de IA. Las primeras investigaciones indican que es alto, especialmente cuando las indicaciones apuntan a una intención de compra. Sin embargo, quería dar un paso más y comprender qué es lo que lleva a que se mencionen las marcas en los chatbots de IA en primer lugar.
Después de comparar muchas métricas con la visibilidad de los chatbots de IA, encontré un factor que destaca más que cualquier otra cosa: el volumen de búsqueda de la marca. El número de menciones de los chatbots de IA y el volumen de búsqueda de la marca tienen una correlación de 0,334, bastante buena en este campo. En otras palabras, la popularidad de una marca decide en gran medida su visibilidad en los chatbots de IA.
La popularidad es el factor predictivo más significativo para Chat GPT, que también envía la mayor cantidad de tráfico y tiene el mayor uso de todos los chatbots de IA. Al desglosarlo por chatbot de IA, descubrí que Chat GPT tiene la correlación más alta con 0,542 (fuerte), pero Perplexity (0,196) y Google AIOs (0,254) tienen correlaciones más bajas.
Para ser claros, hay muchos matices en el nivel de indicaciones y categorías. Pero en términos generales, la visibilidad de una marca parece verse gravemente afectada por su popularidad.
Ejemplo de marcas populares y su visibilidad en la categoría de salud
Sin embargo, cuando se mencionan las marcas, todos los chatbots de IA prefieren las marcas populares y las clasifican sistemáticamente en el mismo orden.
Existe un vínculo claro entre las categorías de las preguntas de los usuarios (salud mental, cuidado de la piel, pérdida de peso, pérdida de cabello, disfunción eréctil) y las marcas.
Los primeros datos muestran que las marcas más visibles son las que apuestan primero por lo digital e invierten mucho en su presencia online con contenido, SEO, reseñas, redes sociales y publicidad digital.
💡Conclusión: La popularidad es el criterio más importante que decide si una marca se menciona en los chatbots de IA o no. La forma en que los consumidores relacionan las marcas con las categorías de productos también es importante. Comparar el volumen de búsqueda de la marca y la presencia de la categoría de productos con tus competidores te da una mejor idea de tu competitividad en Chat GPT & Co.
Ejemplos: Todos los modelos de mi análisis citan a Healthline con mayor frecuencia. Ningún otro dominio se encontraba entre las 10 principales citas de los 4 modelos, lo que demuestra sus gustos claramente diferentes y lo importante que es hacer un seguimiento de muchos modelos en lugar de solo Chat GPT, si esos modelos también te envían tráfico.
Otros dominios bien citados en la mayoría de los modelos:
verywellmind.com
onlinedoctor.com
medicalnewstoday.com
byrdie.com
cnet.com
ncoa.org
Contexto: No todos los chatbots de IA mencionaron marcas con la misma frecuencia. Aunque Chat GPT tiene la mayor adopción y envía la mayor cantidad de tráfico de referencia a las fuentes, Perplexity menciona la mayor cantidad de marcas por promedio en las respuestas.
La estructura de las preguntas es importante para la visibilidad de la marca:
La palabra «mejor» fue un fuerte detonante para las menciones de marca en el 69,71 % de las preguntas
Palabras como «de confianza» (5,77 %), «fuente» (2,88 %), «recomendar» (0,96 %) y «fiable» (0,96 %) también se asociaron con una mayor probabilidad de menciones de marca.
Las preguntas que incluyen «recomendar» suelen mencionar organizaciones públicas como la FDA, especialmente cuando la pregunta incluye palabras como «de confianza» o «líder».
Los AIO de Google muestran la mayor diversidad de marcas, seguidos de Perplexity y, por último, ChatGPT.
💡Conclusión: La estructura de las indicaciones tiene un impacto significativo en las marcas que aparecen en la respuesta. Sin embargo, todavía no podemos saber realmente qué indicaciones utilizan los usuarios. Es importante tenerlo en cuenta: todas las indicaciones que observamos y rastreamos son solo sustitutos de lo que los usuarios podrían estar haciendo.
Las trampas técnicas pueden sabotear gravemente la visibilidad de la IA
🔍Contexto: En mi investigación, encontré varias formas en que las marcas sabotean involuntariamente la visibilidad de su chatbot de IA. Las destapo aquí porque el requisito previo para ser visible en los motores de búsqueda es, por supuesto, su capacidad para rastrear tu sitio, ya sea directamente o a través de datos de entrenamiento.
Por ejemplo, Copilot no cita onlinedoctor.com porque no está indexado en Bing. No pude encontrar indicadores de que esto se hiciera a propósito, así que supongo que es un accidente que podría solucionarse rápidamente y recompensarse con tráfico de referencia.
Por otro lado, Chat GPT no cita cnet.com y Perplexity no cita everydayhealth.com porque ambos sitios bloquean intencionadamente el LLM respectivo en su robots.txt.
Pero también hay casos en los que los chatbots de IA hacen referencia a sitios aunque técnicamente no deberían. El dominio más citado en Perplexity en mi conjunto de datos es blocked.goodrx.com. GoodRX bloquea a los usuarios de países no estadounidenses y parece que bloquea Perplexity de forma accidental o intencionada.
Es importante destacar las Vistas generales de IA de Google: no hay opción de exclusión para los AIO, lo que significa que si quieres obtener tráfico orgánico de Google, debes permitir que rastree tu sitio, potencialmente usar tu contenido para entrenar sus modelos y mostrarlo en las Vistas generales de IA. Chegg presentó recientemente una demanda contra Google por esto.
💡Conclusión: Supervisa tu sitio, especialmente si todas las URL deseadas están indexadas, en Google Search Console y en Bing Webmaster Tools. Comprueba si has bloqueado accidentalmente un rastreador LLM en tu archivo robots.txt o a través de tu CDN. Si bloqueas intencionadamente los rastreadores LLM, comprueba si apareces en sus respuestas, simplemente preguntándoles qué saben de tu dominio.
Resumen: 6 lecciones clave
Las métricas clásicas de SEO no influyen mucho en las menciones de los chatbots de IA.
La profundidad del contenido (mayor número de palabras y frases) y la legibilidad (buena puntuación Flesch) son más importantes.
Los diferentes chatbots de IA tienen preferencias distintas; es importante supervisar varias plataformas.
La popularidad de la marca (medida por el volumen de búsqueda) es el factor que mejor predice las menciones de la marca en los chatbots de IA, especialmente en ChatGPT.
La estructura de las preguntas influye en la visibilidad de la marca y aún no sabemos cómo las preguntas de las frases de los usuarios.
Los problemas técnicos pueden sabotear la visibilidad de la IA: asegúrate de que tu sitio no esté bloqueando accidentalmente los rastreadores de LLM a través de robots.txt o de la configuración de CDN.
También puede interesar:
📊 Un Flujo de Trabajo basado en IA para Resolver la Canibalización de Contenidos
Un Flujo de Trabajo basado en IA para Resolver la Canibalización de Contenidos
Qué obtienen los lectores de Growth Memo:
Marcos: cómo abordar las decisiones estratégicas sobre el crecimiento orgánico, por ejemplo, cómo evaluar el verdadero potencial comercial del SEO para diferentes tipos de empresas.
Modelos mentales: patrones y principios que Kevin ha reconocido en diferentes empresas y situaciones.
Herramientas de decisión: enfoques para tomar mejores decisiones estratégicas sobre el crecimiento orgánico, como la asignación de recursos, el tiempo o la evaluación de riesgos.
Datos: estadísticas, estudios de casos y números que explican y grafican las tendencias que los responsables de la toma de decisiones necesitan conocer.
Escenarios reales: escenarios anónimos del trabajo del asesor de Kevin para destacar el proceso de pensamiento estratégico y los marcos en acción.