Un estudio repite 200 veces la misma pregunta a ChatGPT y muestra que una sola respuesta no basta para medir la visibilidad de marca
ELNIQ GEO y Queseo han repetido 200 veces la misma pregunta a ChatGPT sobre cinco consultores SEO en Valencia y concluyen que una sola respuesta no basta para medir la visibilidad de una marca.

Foto: Agence Olloweb / Unsplash
En breve
- Entre el 8 y el 9 de noviembre, los autores hicieron 200 intentos con la misma pregunta: 100 en ChatGPT gratuito, sin sesión y con chats nuevos, y otros 100 mediante la API de OpenAI con búsqueda web.
- El resultado fueron 198 listas válidas y 26 candidatos distintos. Según el estudio, dos listas del navegador compartían de media 2,3 nombres de cinco, y en la API la coincidencia media era de 2,62.
- Los autores concluyen que repetir la consulta permite medir mejor la variación, pero no estabilizar las respuestas. Para una empresa, el dato relevante sería la frecuencia de aparición a lo largo de muchos intentos.
Artículo completo
Cada vez más empresas se preguntan si ChatGPT las recomienda y cómo describe su actividad. La startup de analítica de búsquedas con IA ELNIQ GEO y Queseo han publicado un estudio abierto que pone el foco en un detalle práctico: la respuesta de ChatGPT cambia de un intento a otro, y eso complica cualquier medición basada en una única consulta.






Qué hicieron
Entre el 8 y el 9 de noviembre, los autores realizaron 200 intentos con una misma pregunta sobre cinco consultores SEO en Valencia. La mitad, 100 intentos, se hicieron en ChatGPT gratuito, sin iniciar sesión y con chats nuevos. La otra mitad, mediante la API de OpenAI con búsqueda web.
El resultado fueron 198 listas válidas y 26 candidatos distintos. Según el estudio, dos listas obtenidas en el navegador compartían de media 2,3 nombres de cinco. En el caso de la API, la coincidencia media entre dos listas fue de 2,62 nombres.
Qué significa para quien mide su presencia en IA
La conclusión de los autores es que una sola respuesta ofrece una visión parcial de la visibilidad de un negocio. Repetir la consulta permite medir mejor la variación, pero no estabilizar las respuestas, subrayan. Para una empresa que quiera saber con qué frecuencia aparece en las recomendaciones de una IA, el dato relevante sería por tanto una frecuencia a lo largo de muchos intentos, y no el resultado de una consulta aislada.
Límites del estudio
Los propios autores delimitan el alcance de la prueba:
- Se limita a una única consulta local y a dos configuraciones.
- El modelo utilizado en el navegador no se identificó.
- No es un ranking de profesionales.
- Queseo figura entre los candidatos y se contabilizó con el mismo criterio que los demás.
Datos abiertos para su revisión
El estudio firmado por Nina S. Dzhezher, fundadora de ELNIQ GEO, y Eric Jorge Seguí Parejo, de Queseo, se publica junto con los datos originales para que otros puedan revisarlo de forma independiente. El informe y las tablas están disponibles en cinco idiomas. ELNIQ GEO añade que GEO Lab, su iniciativa de investigación, está abierta al intercambio de conocimiento con el ecosistema innovador.
El estudio completo puede consultarse en el blog de ELNIQ GEO, y más información sobre la empresa está en elniq.com.
Fuente: ELNIQ GEO (www.elniq.com).
Información facilitada por ELNIQ GEO.