Dos herramientas, dos números distintos: por qué no calzan y cómo decidir igual

Cinco decisiones de diseño que hacen que los números no coincidan

Si contratas dos plataformas de social listening y les pides el volumen de menciones de tu marca en el mismo mes, los números casi nunca van a calzar. No es un defecto de una de las dos: es la consecuencia de cinco decisiones de diseño que cada proveedor toma por separado y que casi nunca aparecen en el informe. Entenderlas convierte una discrepancia inmanejable en una diferencia explicable.

Conviene sacarse de encima una idea antes de seguir: no existe el número verdadero contra el cual contrastar. No hay un censo de la conversación pública que alguien tenga guardado y con el que se puedan calificar las dos herramientas. Las APIs de las plataformas entregan una muestra parcial de lo publicado, nunca la totalidad —muestra, no censo—, y nadie puede certificar cuán fiel es esa muestra, precisamente porque no hay censo contra el cual medirla. Eso vale para cualquier proveedor del mercado, incluidos nosotros. Lo que se compara no es «número medido contra número real», sino dos instrumentos con calibraciones distintas apuntando a la misma realidad.

1. La consulta no es la misma

Suele ser una de las fuentes de divergencia más grandes y de las más fáciles de auditar, y aun así rara vez se revisa. Dos analistas construyendo la búsqueda de la misma marca toman decisiones distintas: cuántas variantes del nombre incluyen, si agregan los errores de escritura frecuentes, si suman las abreviaturas que usa la gente pero no el manual de marca, si incorporan los nombres de los productos y de los voceros, si escriben la consulta con operadores booleanos y con qué exclusiones.

Las exclusiones son el detalle que más mueve el resultado. Si el nombre de tu marca coincide con una palabra común, con un apellido o con un topónimo, alguien tuvo que decidir qué contextos se descartan. Una consulta que excluye agresivamente devuelve menos menciones y se ve «más limpia»; una consulta laxa devuelve más y se ve «más completa». Las dos pueden estar bien construidas y diferir en un múltiplo. Mientras no veas las dos consultas escritas una al lado de la otra, estás comparando dos preguntas distintas y sorprendiéndote de que tengan respuestas distintas.

2. El universo de fuentes no es el mismo

Cada proveedor accede a las redes y a los medios digitales con acuerdos, cuotas y coberturas propias. Ninguno tiene acceso completo a todo, y las diferencias no son parejas entre plataformas: se puede coincidir bastante en una red y muy poco en otra. A eso se suma la cobertura de medios digitales, que depende de qué portales tiene indexados cada uno, con cuánta profundidad regional y con qué latencia.

Hay además una diferencia puramente administrativa que produce brechas enormes y que casi nadie considera. Los comentarios en páginas públicas de terceros —medios, competidores, cuentas de la categoría— se capturan sin necesidad de permisos. Pero para leer los comentarios de la fanpage o del perfil oficial de tu propia marca hace falta que el dueño de la cuenta lo habilite. Si tu proveedor actual lleva tiempo con esa habilitación activa y el que estás evaluando todavía no la tiene, el primero va a mostrar mucho más volumen y no es porque capture mejor: es porque tiene un permiso que el otro todavía no tiene.

En nuestro caso el perímetro está declarado y es acotado a propósito: solo información pública, nada detrás de un login, nada de WhatsApp, y monitoreo exclusivamente de medios digitales, nunca televisión, radio ni prensa impresa. En LinkedIn cubrimos las publicaciones, no los comentarios que cuelgan de ellas: esa captura está en desarrollo y no tiene fecha comprometida. En Instagram y Facebook los comentarios sí se capturan, incluso en páginas y perfiles públicos de terceros. En TikTok la extracción video por video está en desarrollo por límites de la API y tampoco la comprometemos. Cada uno de esos límites explica una parte de la diferencia con cualquier otro sistema, y por eso conviene pedirlos por escrito a los dos lados antes de comparar totales.

3. La unidad de conteo no es la misma

Esta es la más brutal de las cinco, y cuando una discrepancia parece inexplicable suele ser el primer lugar donde mirar. La pregunta es simple: una publicación con 300 comentarios, ¿es una mención o son 301? Las dos respuestas son defendibles. Si te interesa la agenda mediática, cuentas publicaciones. Si te interesa el volumen de conversación ciudadana, cuentas comentarios. Sin esa definición sobre la mesa, el número no significa nada.

Tomemos un mes cualquiera en el que una marca genera exactamente esto: una nota en un medio digital que cinco portales del mismo grupo replican textualmente, un posteo en una red social que acumula 300 comentarios, y 40 publicaciones sueltas. Una sola realidad, cuatro formas legítimas de contarla:

Ejemplo aritmético con cifras supuestas para ilustrar el mecanismo, no una medición. La misma conversación arroja 42 o 346 menciones según cómo se cuente: una diferencia de más de ocho veces sin que ninguna herramienta se haya equivocado en nada.

Esto tiene una consecuencia comercial directa que conviene decir en voz alta: cuando un proveedor cobra por volumen de menciones, la unidad de conteo también define cuánto pagas. Es otra razón para pedirla por escrito a cualquier proveedor, nosotros incluidos: el criterio exacto de qué suma y qué no debe quedar en el contrato, no en una conversación. En nuestro caso lo único que se cuenta es el volumen mensual agregado de menciones entre todos los monitoreos —10.000 en Bronce, 50.000 en Plata y 100.000 en Oro, según los topes publicados en la página de precios—, mientras que marcas, palabras clave, búsquedas y usuarios son ilimitados en los tres planes.

4. La deduplicación y el filtrado de spam no son los mismos

Una nota de agencia replicada por veinte portales, ¿es un impacto o veinte? Un texto idéntico publicado por cuarenta cuentas en la misma hora, ¿es conversación o es una campaña coordinada que hay que descartar? Cada proveedor resuelve esto con reglas propias: umbrales de similitud de texto, ventanas de tiempo, listas de dominios que se consolidan, heurísticas para cuentas nuevas o de comportamiento automatizado.

Acá aparece una trampa de percepción que perjudica siempre al proveedor más estricto: el que filtra más agresivamente muestra menos volumen y, en una comparación superficial, parece que captura peor. Puede ser exactamente al revés. Por eso el criterio útil no es quién muestra más, sino quién te deja ver qué descartó y por qué. Un sistema que te permite revisar el material filtrado es auditable; uno que solo entrega el total, no.

5. El sentimiento se calibra distinto, y la ironía no la resuelve nadie

Nosotros clasificamos en tres clases: positivo, neutro y negativo. No tenemos taxonomía de emociones ni la ofrecemos. Otros proveedores usan escalas de cinco puntos, puntajes continuos o categorías emocionales. Aunque dos sistemas usaran las mismas tres clases, el corte entre neutro y negativo estaría puesto en un lugar distinto, y ese corte es el que decide el porcentaje. Un sistema con neutro amplio y otro con neutro angosto pueden leer la misma conversación y reportar composiciones muy diferentes sin que ninguno esté fallando.

Y hay un límite que compartimos con todo el mercado: la ironía y el sarcasmo no se resuelven de forma confiable, ni por nosotros ni por nadie. En categorías con conversación muy irónica —servicios masivos, sector público, política— ese límite pesa más, y pesa distinto en cada herramienta según cómo esté entrenada. Cuando un proveedor asegura que su modelo resuelve el sarcasmo, vale la pena pedirle que lo demuestre sobre una muestra de tus propias menciones irónicas: es una prueba corta y suele terminar la conversación. Desarrollamos el punto en el artículo sobre análisis de sentimiento de marca en redes sociales.

La conclusión operativa de las cinco causas es una sola: el porcentaje de menciones positivas de una herramienta y el de otra no son la misma magnitud. Ponerlos en la misma tabla es un error de unidades, como comparar temperaturas sin decir en qué escala están.

La diferencia que sí debe preocuparte

Acá está el criterio que hace manejable todo lo anterior: una discrepancia de nivel es esperable; una discrepancia de tendencia no. Si una herramienta reporta el doble de menciones que la otra pero las dos muestran que el mes subió, tienes dos instrumentos con distinta escala midiendo el mismo fenómeno. Es incómodo para el reporte, pero no invalida la lectura: las decisiones se toman sobre la dirección y la magnitud del cambio, no sobre el valor absoluto.

Si en cambio una dice que subió y la otra que bajó en el mismo período cerrado, ahí sí hay un problema real que hay que resolver antes de decidir nada. Las causas posibles son pocas y todas se pueden verificar:

• • La consulta cambió a mitad del período. Alguien agregó una variante, sacó una exclusión o incorporó una fuente. Es una de las causas más habituales y la que menos queda registrada.
• • Una fuente se cayó o cambió de condiciones. Cuando una red modifica su API, el efecto no es un error visible: es una serie que baja sin explicación. Un proveedor puede haber absorbido el cambio antes que el otro.
• • Un evento de volumen quedó de un solo lado. Un peak concentrado en un canal que solo una de las dos cubre mueve el total y la dirección al mismo tiempo.
• • El denominador es demasiado chico. Con volúmenes bajos, la dirección se invierte por ruido. Si tu marca genera pocas menciones al mes, no leas tendencias mensuales: agrupa por trimestre.
• • Se cambió la regla de deduplicación y se aplicó hacia atrás, con lo que la serie histórica dejó de ser comparable consigo misma.

Una advertencia sobre el propio criterio: la coincidencia de tendencia no se evalúa con un mes. Dos series pueden coincidir en dirección por azar. El mínimo razonable son tres períodos consecutivos, y lo que hay que mirar no es solo el signo sino la forma: si las dos herramientas ubican el peak en la misma semana y el valle en la misma semana, estás mirando el mismo fenómeno con dos reglas distintas. Si los peaks caen en semanas diferentes, están mirando conversaciones diferentes.

Protocolo de auditoría en cinco pasos

Esto lo puedes ejecutar tú, sin depender de que ninguno de los dos proveedores te explique al otro. El análisis se hace en unas pocas sesiones una vez que tienes las dos exportaciones sobre la mesa; lo que toma calendario es el período de captura en paralelo, que no se puede acelerar. A cambio produce evidencia que sirve para defender la decisión internamente, que suele ser la parte más difícil.

Paso 1: fija un período cerrado y una sola marca

Una marca, un país, un rango de fechas explícito con hora de inicio y de término, y el huso horario escrito. El huso parece un detalle y no lo es: dos sistemas que cortan el día en horas distintas producen diferencias en los bordes del período que después nadie sabe explicar. Elige un período con algo que haya pasado —un lanzamiento, una contingencia, una campaña—, porque un mes plano no discrimina entre proveedores: todos se ven parecidos cuando no ocurre nada.

Restricción importante: el período tiene que ser hacia adelante. No hay captura retroactiva, ni acá ni en general. La captura corre desde que se configura el monitoreo, y recuperar conversación anterior depende de que siga publicada y de que la red lo permita —en X y en medios digitales se rescata algo, en TikTok e Instagram prácticamente nada—. Si le pides al proveedor nuevo el trimestre pasado, le estás pidiendo que compita con una mano amarrada. Lo justo es dejar los dos sistemas corriendo en paralelo sobre el mismo período futuro. Este punto tiene consecuencias más allá de la comparación y lo tratamos aparte en qué hacer cuando la crisis ya empezó y no hay histórico.

Paso 2: pide la consulta exacta por escrito, no el número

Este es el paso que suele saltarse, y en nuestra experiencia el que más información entrega. Pide a los dos proveedores, por escrito y en el mismo correo, exactamente esto:

• • La cadena literal de búsqueda, con sus operadores booleanos, sus comodines y sus exclusiones. No una descripción: el texto.
• • La lista de fuentes incluidas por red, y en medios digitales el listado de portales cubiertos.
• • Los idiomas y geografías activos, y cómo se determina el país de una mención cuando el autor no lo declara.
• • La unidad de conteo: si los comentarios suman, si las republicaciones suman, si la sindicación de medios se consolida.
• • La regla de deduplicación y el criterio de descarte de spam.

Cuando tengas las dos consultas, léelas en paralelo. La mayoría de las discrepancias que parecían misteriosas quedan explicadas en esa lectura: una incluye el nombre del producto estrella y la otra no, una excluye un contexto homónimo que la otra deja entrar. Y si un proveedor se niega a mostrarte la consulta porque «es propietaria», eso también es información para tu decisión: significa que no vas a poder auditar nunca de dónde sale tu propio dato, ni llevártelo si te cambias.

Paso 3: pide la exportación en crudo, no el informe

El informe ya es una interpretación: alguien decidió qué gráfico mostrar y qué dejar fuera. Lo que necesitas es la tabla completa de menciones del período, una fila por mención, con fecha y hora, red de origen, autor, texto completo, enlace a la publicación, métricas de interacción, sentimiento asignado, etiquetas y nivel de influencia del autor. En nuestro caso eso se exporta a CSV, Excel y JSON en los tres planes, y desde el plan Plata hay además API de datos.

Con las dos tablas abiertas aparecen cosas que ningún informe muestra: cuántas filas comparten enlace (duplicados), qué proporción viene de cada red en cada herramienta, si una tiene concentración anómala en un puñado de dominios, si los textos vienen completos o truncados. Un proveedor que no te entrega el dato crudo del período de prueba no es auditable, y ese antecedente vale más que cualquier demo.

Paso 4: cuenta a mano una muestra aleatoria de 50 menciones

Es tedioso y es la única parte del proceso que produce evidencia propia. Toma 50 filas al azar de cada exportación —al azar de verdad: numera las filas y sortea, no tomes las primeras 50— y revisa una por una con dos preguntas:

• • Falsos positivos: ¿esta mención habla efectivamente de mi marca? Cuenta cuántas de las 50 no corresponden. Es la medida directa de si la consulta está bien construida.
• • Sentimiento: clasifica tú mismo las 50 en positivo, neutro y negativo antes de mirar la columna de la herramienta, y recién después compara. Lo interesante no es cuántas coinciden, sino dónde se concentran las diferencias: si están todas en menciones irónicas, ya sabes cuál es el límite y con qué cuidado leer el indicador.

Los falsos negativos —lo que la herramienta no trajo— son más difíciles de medir porque no puedes muestrear lo que no está. La forma práctica es armar una lista de control: busca a mano, en las redes y en Google, unas veinte menciones de tu marca del mismo período que sepas que existen (la nota que te avisó un colega, el hilo que se comentó en la reunión, la publicación del influencer). Después verifica cuántas de esas veinte aparecen en cada exportación. Es la prueba más dura y la más reveladora, porque las ausencias rara vez son aleatorias: cuando faltan, suelen faltar canales completos.

Dos advertencias honestas. Primero, 50 menciones no dan para publicar un porcentaje de precisión con decimales; dan para detectar problemas gruesos, que son los que cambian una decisión de compra. Segundo, si puedes, que clasifiquen dos personas por separado: vas a descubrir que ustedes mismos no coinciden en todas, y esa tasa de desacuerdo humano es la vara realista contra la cual medir a la máquina.

Paso 5: compara tendencia y no nivel

Último paso y el que cierra la decisión. Divide el período en semanas, arma las dos series y llévalas a base 100 en la primera semana de cada una. Así desaparece la diferencia de escala y queda a la vista lo único que importa: si las dos curvas tienen la misma forma. Mira tres cosas: si los peaks caen en las mismas semanas, si los valles también, y si la dirección del período completo coincide.

Si las formas coinciden, el debate sobre cuál número es «el correcto» está cerrado: los dos sistemas te van a llevar a las mismas decisiones y puedes elegir por costo, por soporte, por exportación o por lo que te sirva. Si las formas no coinciden, vuelve al paso 2, porque la explicación casi siempre está en la consulta o en una fuente que solo uno de los dos cubre.

Qué hacer con un KPI heredado que se definió con la herramienta anterior

El escenario típico es este: una organización tiene en su plan anual un objetivo de sentimiento —del tipo mantener las menciones positivas por sobre un umbral definido— del que cuelga la evaluación de algún equipo. Ese umbral se fijó con la escala de sentimiento del proveedor anterior. No es transferible. Como vimos, el corte entre neutro y positivo lo define cada sistema, así que la misma conversación puede quedar por encima o por debajo de la meta según qué herramienta la mire, sin que nada haya cambiado en la realidad.

Lo que no hay que hacer es inventar un factor de conversión y aplicarlo hacia atrás para que la serie se vea continua. Eso no es un ajuste: es fabricar historia. Cuando cambias de instrumento de medición, la serie se corta, y lo correcto es dejarlo visible —una línea vertical en el gráfico con la fecha del cambio— igual que se hace en cualquier disciplina que mide en serie.

Quedan dos caminos reales:

• • Recalibrar la meta sobre la nueva serie. Se mide una línea base con la herramienta nueva durante un período acotado, se observa dónde queda el indicador en condiciones normales, y se reescribe el objetivo sobre esa base. La meta nueva debe llevar la definición pegada al lado: qué herramienta, qué consulta y qué escala. Un KPI de sentimiento sin esas tres cosas escritas está condenado a repetir esta misma discusión en el próximo cambio de proveedor.
• • Mantener las dos herramientas un período de solapamiento. Las dos corriendo sobre la misma realidad durante uno o dos ciclos de reporte, para observar cómo se relacionan las series antes de tocar el objetivo. Es más caro en licencias y mucho más barato en discusiones.

Sobre por qué el solapamiento suele salir más barato, la aritmética con nuestros precios publicados es fácil de hacer: tres meses del plan Bronce son USD 1.500 a tarifa mensual (USD 500 × 3), con su tope de 10.000 menciones mensuales incluidas. Compáralo contra el costo de que un comité pase un año entero preguntando en cada reporte mensual por qué el número nuevo no se parece al viejo, con el equipo de comunicaciones justificando una caída que no ocurrió. La facturación es mensual, no hay permanencia mínima y se puede subir o bajar de plan, así que el solapamiento se acota exactamente a los meses que necesites: si un mes puntual exige más volumen, se está en el plan superior ese mes y al siguiente se vuelve al de abajo.

Hay un caso en que esto no se resuelve internamente: cuando el KPI está escrito en un contrato o en las bases de una licitación. Ahí el número no se cambia por decisión interna: cualquier ajuste pasa por la contraparte que lo definió y por el mecanismo de modificación que el propio contrato o las bases contemplen. La lección para la próxima vez es escribir la métrica junto con su definición operativa y dejar establecido qué pasa si cambia la herramienta; lo abordamos al detalle en la guía sobre cómo redactar los términos de referencia de una licitación de monitoreo.

Cómo decidir cuando igual no calzan

Supongamos que corriste el protocolo, las tendencias coinciden y los niveles siguen sin calzar. Es el desenlace habitual. La decisión entonces no se toma sobre cuál número es verdadero —esa pregunta no tiene respuesta— sino sobre cuál proveedor te deja verificar lo que te entrega. Cuatro criterios discriminan de verdad:

• • Quién te muestra la consulta. Y mejor todavía: quién te deja editarla. Si no puedes ver ni ajustar la búsqueda que produce tu dato, dependes de que alguien la haya escrito bien una vez y nunca más la haya tocado.
• • Quién te da el dato crudo. Sin exportación completa no hay auditoría posible, ni ahora ni en dos años. También define si el histórico es tuyo o del proveedor cuando decidas cambiarte.
• • Quién declara sus límites sin que se los preguntes dos veces. Un proveedor que responde «sí» a todo está entendiendo mal la pregunta o está evitando la respuesta incómoda. Compara las listas de lo que cada uno dice que no puede hacer: es más informativa que la lista de funcionalidades.
• • Quién responde qué pasa al llegar al tope. En cualquier modelo por volumen hay un límite mensual, y llegar a él es cuestión de tiempo. La pregunta es si la captura se detiene ahí, si continúa y se factura el volumen efectivamente alcanzado, con cuánta anticipación te avisan y si el cambio de plan es reversible al mes siguiente.

Un quinto criterio aparece cuando el evaluador es de un sector concentrado y sabe que su proveedor también trabaja con sus competidores. La confidencialidad básica —acuerdo de no divulgación, no revelar qué temáticas monitoreas, segregación del equipo que ve tu cuenta— debería ofrecerse sin costo, y nosotros la ofrecemos así. La exclusividad sectorial es un asunto distinto, tiene costo y conviene entender por qué antes de pedirla: lo explicamos acá.

Una precisión que ordena la comparación: antes de contrastar dos plataformas asegúrate de que estén compitiendo en la misma disciplina. Una herramienta optimizada para social monitoring —alertar rápido sobre lo que está pasando ahora— y otra optimizada para social listening —analizar el agregado y la evolución— van a ganar en pruebas distintas. La diferencia entre social listening y social monitoring no es un tecnicismo: define qué le vas a exigir a la prueba. Y si estás armando la lista corta, la comparativa de plataformas de social listening para LATAM y España te ahorra la primera ronda.

Cerramos con lo que debería ser obvio y rara vez se dice desde el lado del que vende: si corres este protocolo y el proveedor que ya tienes sale mejor parado, quédate con él. Cambiar de herramienta cuesta más que la diferencia de precio —la serie se corta, los KPI se recalibran, el equipo se reentrena—, y solo se justifica cuando hay una brecha real en captura, auditabilidad o soporte. Nosotros preferimos perder una evaluación bien hecha antes que ganarla con una comparación que no resiste el segundo mes.

Preguntas frecuentes