Métricas Vanidosa Vs Accionables

ERIC RIES: Métricas Vanidosas vs Métricas accionables

Este post de Eric Ries fue originalmente publicado en el blog The Four Hour Work Week con el titulo Vanity Metrics vs. Actionable Metrics. Traducido por Nathan Lustig, de Magma Partners.

Las únicas métricas en la que los emprendedores deberían invertir energía son las que ayudan a tomar decisiones. Desafortunadamente, la mayoría de los datos disponibles en servicios de analytics tradicionales son lo que llamo métricas de vanidad. Puede que te hagan sentir bien, pero no te ofrecen una orientación clara para saber qué hacer.

Cuando escuchas de empresas haciendo relaciones públicas sobre los miles de millones de mensajes enviados mediante su producto, o el PIB total de su economía, piensa métricas de vanidad. Pero hay ejemplos más cercanos. Considera el más básico de todos los informes: el número total de “hits” o “visitas” en tu sitio web. Digamos que tienes 10 mil. ¿Y ahora qué? ¿Realmente sabes qué acciones tomaste en el pasado que llevaron a los visitantes a ver tu página, y sabes qué acciones tomar después? En la mayoría de los casos, no creo que sea muy útil.

Ahora considera el caso de una Métrica Accionable. Imagina que agregas una nueva característica a tu sitio web, y lo haces usando una prueba dividida A/B en la que el 50% de los clientes ven la nueva función y el otro 50% no. Unos días después, echas un vistazo a los ingresos que has ganado por cada grupo de clientes, notando que el grupo B tiene un 20% más de ingresos por cliente. Piensa en todas las decisiones que puedes tomar: obviamente, desplegar la función para el 100% de tus clientes; continuar experimentando con más funciones como esta; y darte cuenta de que has aprendido algo que es especialmente valioso para tus clientes.

Desafortunadamente, la mayoría de los servicios de analytics están configurados de manera predeterminada para proporcionar en su mayoría informes sobre métricas de vanidad. Esto tiene sentido, ya que son los más fáciles de medir y tienden a hacer que te sientas bien contigo mismo.

Por ejemplo, aquí hay un patrón que he presenciado en las empresas grandes y pequeñas. La compañía lanza una nueva función o un nuevo producto, y unos días más tarde, el tráfico (o ingresos, o clientes) comienza a subir. Todos los involucrados en el nuevo producto celebran. De hecho, me he dado cuenta que la gente tiende a creer que en lo que estaban trabajando justo antes de presenciar la mejorías en la métrica, es lo que probablemente causó la propia mejoría.

Así que los chicos de productos piensan que es la nueva función, los chicos de ventas piensan que es esa nueva promoción — Incluso he visto a responsables del servicio al cliente convencidos de que es debido a una nueva política amigable al cliente. En muchos casos las fluctuaciones son aleatorias o provocadas por eventos externos no relacionados. Por desgracia, el mismo engaño mental no se aplica cuando los números vuelven a bajar. Los seres humanos tienen un desafortunado sesgo al tomar el crédito por los resultados positivos y pasar la culpa por los resultados negativos.

Tomemos el ejemplo de un producto que tiene un patrón de estacionalidad semanal. Los productos “en el calendario Disneyland” verán un mayor uso los fines de semana y días festivos. Como resultado, las nuevas iniciativas que se lancen el Jueves o Viernes es probable que sean juzgadas exitosas cuando la gente venga a trabajar el Lunes. Sin embargo, los productos que tienen la desgracia de ser lanzados el domingo pueden ser juzgados como un fracaso el Martes o Miércoles — a menos que la compañía se centre en métricas accionables.

Hay algunos consejos para obtener métricas más accionables:

1. Pruebas-divididas (A/B Testing)

Experimentos A/B producen las más accionables de todas las métricas, ya que refutan explícitamente o confirman una hipótesis específica. En cualquier caso, puedes utilizar pruebas-divididas para tomar acción sobre cualquier cosa, desde ajustes de menor importancia, a grandes cambios en el producto o su posicionamiento. Sin embargo, no todos las pruebas-divididas son creadas iguales. Hay algo de valor en los ensayos de tipo optimización lineal que son una táctica útil en conversiones crecientes. Pero el valor real de las pruebas-divididas viene cuando se las integra en el circuito de decisiones: el proceso de poner tus ideas en práctica, ver lo que sucede, y el aprendizaje para tu próximo conjunto de ideas. Las pruebas que conducen al mayor aprendizaje son en las que debes centrarte. Una buena regla general es preguntarse, “si esta prueba resulta diferente a como yo esperaba, ¿arrojará serias dudas sobre lo que creo que sé sobre mis clientes?” Si no es así, trata con algo más grande.

Buenas herramientas de terceros para pruebas A/B son difíciles de conseguir — la mayoría son demasiado complejas para la mayoría de las situaciones. Si no tienes un sistema A/B, puedes utilizar Google Website Optimizer o — si tienes un equipo de desarrollo de software — construye el propio (para más detalles de implementación, consulta “La división de la prueba de una línea, o cómo A/B todo el tiempo” y ” Primeros pasos con Pruebas-Divididas “).

2. Métricas Por cliente.

Es importante recordar que “las métricas también son gente.” Las métricas de vanidad tienden a distraer nuestra atención de esta realidad al enfocar nuestra atención en grupos abstractos y conceptos. En su lugar, echa un vistazo a los datos que están sucediendo en una base por cliente o segmento. Por ejemplo, en vez de mirar el número total de páginas visitadas en un mes determinado, considera mirar el número de páginas visitadas por nuevos y antiguos clientes. Esos indicadores deben ser relativamente constantes — a menos que algo interesante este pasando con tu producto. Así que incluso una gran afluencia de nuevos clientes no debe cambiar el número de páginas que cada uno de ellos visita en promedio, a menos que estés consiguiendo un nuevo tipo de cliente.

Del mismo modo, si estás aumentando la participación de los clientes con tu producto, esto tenderá a aparecer en los datos de los clientes que regresan. Pero si sólo ves sus datos agregados, puedes perderte de importantes tendencias. A menudo he observado el siguiente patrón: un gran repunte de clientes que se une gracias a una mención en Digg o Slashdot. Si un producto tiene una vida útil media de clientes de dos meses, entonces después de transcurrido dicho período, se puede esperar que un gran número de clientes churn out al mismo tiempo. Pero estos efectos son difíciles de rastrear, ya que los clientes van y vienen todo el tiempo. Si te centras solamente en el número de páginas vistas, incluso si te limitas a los clientes que regresan, es posible que confundas un cambio positivo por algo negativo, porque lo pusiste en marcha durante un periodo churn-dominado.

Muchos paquetes de análisis, incluyendo el tan denostado Google Analytics, tienen la capacidad de romper los agregados en los análisis por cliente o por segmento. Estos pueden ayudar a hacer los informes más procesables si se combinan con la función de Goal Tracking. Por ejemplo, si puedes decir cuales referentes de la web están impulsando la mayor parte del tráfico, entonces es moderadamente útil. Pero si te puede decir cuales están impulsando más conversiones, entonces puedes comenzar a tomar decisiones basados ​​en ROI sobre dónde invertir tu tiempo en conseguir más tráfico.

3. Métricas embudo y análisis de cohorte.

El mejor tipo de métricas por-cliente para utilizar para la toma de decisiones son las métricas de cohorte. Por ejemplo, considera un producto de ecommerce que tiene un par de eventos clave del ciclo de vida de un cliente: registrarse para el producto, la suscripción a la prueba gratuita, el uso del producto, y convertirse en un cliente que paga. Podemos crear un informe simple que muestre estos indicadores para las cohortes (grupos) posteriores en el tiempo. Digamos que creamos un informe semanal. Por cada semana, a continuación, informamos qué porcentaje de clientes se registraron en esa semana pasó, posteriormente, a tomar cada acción del ciclo de vida. Si estas cifras se mantienen estables desde cohorte a cohorte, entonces tenemos información clara de que nada importante está cambiando. Si uno de repente se desplaza hacia arriba o hacia abajo, se obtiene una señal rápida para investigar.

Lo mejor de las métricas de embudo es que te permiten que reduzcas una gran cantidad de información en un puñado de números. Si no tienes el software para construir estos informes de forma automática, considera hacerlo a mano.

Esto es fácil de hacer si el número de eventos de conversión es relativamente pequeño — incluso si el número de clientes es muy grande. Por ejemplo, una página web típica tendrá una tasa de conversión registro-a-compra de un 1%. Así que incluso si estás registrando 1.000 nuevos clientes cada día, esos clientes van a resultar en algo así como 10 nuevas compras. Así que en lugar de ponerse muy elaborado, utiliza las buenas y confiables fichas de índice. Al final de cada día, crea una tarjeta de índice con la fecha y el número de personas que se registraron ese día. Luego, por cada conversión que se realice, haz una marca de la cuenta en la tarjeta con la fecha en que la persona se registró, no la fecha en que compró. Para la mayoría de los productos, esto sólo requiere que mantengas una semana o dos en fichas de índice, ya que la mayoría de los productos tienen clientes que toman decisiones de compra relativamente rápido. Luego, sobre una base semanal o mensual, recoge todas las cartas de una cohorte dada, y calcula la tasa de conversión de clientes que se registraron en ese período. Ese es el número que deseas concentrarte en subir.

4. Métricas de palabras clave (SEM / SEO).

SEM (Search Engine Marketing) y SEO (Search Engine Optimization) son grandes tácticas de adquisición de clientes, pero también pueden revelar información importante y procesable acerca de los clientes, si tratamos a los clientes que fueron adquiridos con una determinada palabra clave como un segmento y luego un realizamos un seguimiento sobre sus métricas en el transcurso del tiempo. Por ejemplo, en un inicio en IMVU intentamos publicitar frases AdWords que contenían el nombre del producto de un competidor más la palabra “chat”. Luego echamos un vistazo a las estadísticas clave para la cohorte de clientes que se registró en cada campaña separada. Lo que encontramos fueron sorprendentes diferencias en las tasas de registro y de conversión dependiendo desde qué competidor traíamos el cliente. Esa información es moderadamente útil para dirigir una campaña de marketing. Pero es mucho más útil como un indicador de quien es el cliente detrás de los números. Eventualmente encontramos que las tasas de conversión más altas vinieron de productos que se utilizan principalmente por los adolescentes y adultos jóvenes — un grupo demográfico muy diferente al que pensábamos que estábamos sirviendo. Como resultado, empezamos a ajustar la mezcla de clientes que traíamos para las pruebas de usabilidad, con resultados espectaculares. Para ejemplos concretos de respuesta de los usuarios y pruebas, mira el siguiente vídeo de una entrevista con Mixergy:

Aquí hay una pequeña muestra de la transcripción del vídeo de arriba:

De la completa desesperación nos dijimos, “Bueno, está bien, vamos a introducir una sencilla función de chatea ahora.” Fue una cosa de matching donde se podía apretar un botón y serías emparejado al azar con alguien de cualquier parte del mundo — la única cosa que tienen en común es que ambos apretaron el botón al mismo tiempo.

Y lo hicimos, y de repente, toda la gente exclamaba: “Oh, esto es divertido.” Y entonces — entonces esto es lo que pasó. Así que hacen lo de Chatear Ahora, tal vez conocen a alguien nuevo que piensan que es cool. Sería como, “Hey, ese chico estaba buena onda, quiero agregarlo a mi Lista de Amigos. ¿Dónde está mi Lista de Amigos?”

Y decimos, “Oh, no, no. Usted no quiere su propia lista de amigos. Usted desea utilizar su lista de amigos AOL habitual” porque esa es la interoperabilidad, los efectos de red y todas estas tonterías.

Y el cliente nos mira diciendo, “Bueno, eso no tiene sentido. ¿Qué quieres que haga exactamente? ”

Y dijimos: “Bueno, sólo da a ese desconocido que acabas de conocer tu nombre de AIM para que puedas ponerlos en tu lista de amigos.”

Y puedes ver los ojos redondos como platos — diciendo algo como “¿Estás bromeando?! Un extraño en mi lista de amigos AIM? ”

Y respondemos: “¡Pero de lo contrario tendrías que descargar completamente un nuevo cliente de mensajería instantánea! Y entonces tendrías que tener una lista de amigos separada”.

Nos miran diciendo, “¿Tienes alguna idea de cuántos clientes de mensajería instantánea ya corremos?”

Dijimos: “No, ¿unos dos o tres?”

Y el adolescente responde, “¡Duh! Corro ocho! ”

¡Ellos ya estaban corriendo como con cincuenta clientes! No tenía idea de cuántos clientes de mensajería instantánea había en el mundo. Teníamos esta idea preconcebida de “Oh, es un reto para aprender un nuevo software, y es difícil mover tus amigos a la nueva lista de amigos,” y todo esas otras tonterías metidas en nuestras cabezas, mientras que nuestros clientes nos miraban como si estuviéramos locos.

Conclusión y Desafío

Un tema común en todas estas métricas accionables es la falta de herramientas de terceros orientadas a la acción realmente buenas.

Así que me gustaría emitir este reto a todos ustedes que leen este post hoy: comparte tus historias de métricas accionables y cómo las rastreas. Si hay buenas herramientas que has utilizado, haznos saber. Lo más importante, cuéntanos cómo has personalizado herramientas off-the-shelf como Google Analytics para ponerte más orientado a la acción. Vamos a compartir los resultados en un post futuro. Estamos buscando historias que encarnen estos tres principios:

1. Medir lo que importa. Es tentador pensar que, debido a que algunas métricas son buenas, más es mejor. Es por eso que vendedores rutinariamente enumeran los miles de reportes que son capaces de generar como una función. La verdad es que la clave para las métricas accionables es tener la menor cantidad posible. Los informes detallados son útiles cuando hemos diagnosticado un problema y estamos buscando pistas sobre lo que ha ido mal. Pero ¿de dónde viene el diagnóstico en el primer lugar? Las métricas accionables nos ayudan a darnos cuenta que tenemos un problema y nos apuntan en la dirección correcta para empezar a resolverlo.

2. Las métricas también son gente. Grandes herramientas de métricas nos permiten auditar su exactitud mediante el rastreo de reportes de vuelta a las personas individuales que generaron los datos. Esto mejora la precisión, pero su efecto más importante es que nos permite usar los mismos clientes para la investigación cualitativa en profundidad. ¿No estás seguro de qué significan los números? Llama a los clientes por teléfono y pregúntales.

3. Mide lo macro. Finalmente, incluso cuando estamos divididos probando el impacto de un cambio de menor importancia, como una frase o un nuevo botón, es importante no dejarse distraer por métricas intermedias como la tasa de click-through del botón mismo. No nos importan las tasas de click-through, sólo nos preocupan los comportamientos de los clientes que conducen a algo útil, ya sea de compra, retención de publicidad CPM, o algún otro “éxito” medible particular a tu modelo de negocio.