¿Qué tipo de experimento debería correr?
¿Cómo ejecutamos los experimentos de lean startup ?
Cuando estudiaba marketing tenía una lista completa de técnicas de investigación como análisis conjuntos , encuestas y grupos focales. Después de leer “Four Steps to the Epiphany”, solo había uno: ¡Sal del edificio y habla con los clientes!
En LUXr , Janice Fraser me presentó una nueva serie de herramientas para obtener información, como las pruebas de usabilidad en los pasillos, la investigación contextual y los modelos mentales.
Suma esto a experimentos estándar de Lean Startup como las “smoke test” y la lista se vuelve bastante abrumadora.
¿Deberíamos realizar una “pocket test” con una “Picnic in the Graveyard” para completar? ¿Deberíamos hacer un Wizard of Oz o aplicar un enfoque de Concierge ? ¿Quieres un Martini para acompañar?
Entonces, ¿qué tipo de experimento debes ejecutar? ¿Y cuándo?
Si desea ir al grano, puede descargar la lista indexada aquí:
>>DESCARGAR<<
Cualitativo vs. Cuantitativo
Muchas, muchas personas han intentado ponderar cuál es mejor.
Ash Maurya recomienda usar investigación cualitativa para explorar y luego validarla con cuantitativa. La publicación de Laura Klein When to Listen & When to Measure hace la comparación más justa.
Como señala Laura en su publicación, no se trata de cuál es mejor. Un martillo no es inherentemente mejor que un destornillador. Un martillo es mejor que un destornillador para clavar clavos .
Generativa vs. Evaluativa
Janice Fraser me introdujo la diferencia de Generativa vs. Evaluativa:
- Generativa: técnicas de investigación que no necesariamente comienzan con una hipótesis, pero que dan como resultado muchas ideas nuevas. Por ejemplo, entrevistas de descubrimiento de clientes
- Evaluativa: Someter a prueba una hipótesis específica para obtener un resultado claro de sí o no. Por ejemplo, “Landing Page” o “Smoke Test”
Esta distinción explica por qué a menudo obtenemos resultados de baja calidad de algunos experimentos. Podríamos hacer un “Smoke Test” con la hipótesis:
- Algunas personas se registrarán en una página de “próximamente” anunciando zapatos 100% compostables.
Pautamos a través de Twitter y regresamos con una tasa de conversión insignificante del 1% para registrarse al correo electrónico. ¿Buena idea? ¿Mala idea? Confirmamos nuestra hipótesis … ¡”algunas personas” sí se inscribieron!
¿Pero es nuestra tasa de conversión baja porque nadie está interesado? ¿O porque pautamos a través del canal equivocado?
¿A nadie le interesa nuestra propuesta de valor? ¿O nadie lo entiende?
Hay cientos de razones por las que podríamos obtener un falso negativo de esta prueba. ¡También hay bastantes razones por las cuales podríamos obtener un falso positivo!
En este caso, nuestra hipótesis es increíblemente vaga y ambigua.
Algunas personas se registrarán en una página de inicio “próximamente” con zapatos 100% compostables.
¿Quienes son esas personas? ¿Personas en twitter? ¿A quién están siguiendo? ¿Son papás ecológicos que van en bicicleta al trabajo? ¿O son corredores profesionales que se preocupan más por la durabilidad que por ser ecológicos?
Cuando nuestra hipótesis es específica y susceptible a invalidación, podemos ejecutar un experimento evaluativo tal como una “Smoke Test”.
Cuando nuestra hipótesis es vaga o ni siquiera tenemos una hipótesis, necesitamos hacer una investigación generativa, como salir del edificio y hablar con clientes potenciales para obtener nuevas ideas o refinar nuestras hipótesis.
Mercado vs. Producto
La otra distinción obvia entre herramientas y métodos en “Real Startup Book” es entre Mercado y Producto .
Algunos métodos nos dicen mucho sobre los clientes, sus problemas y cómo llegar a ellos. Por ejemplo, podemos escuchar a nuestros clientes y esto nos ayudará a comprender su situación y cuáles son sus problemas cotidianos.
Otros métodos nos informan sobre el producto o la solución que ayudará a resolver ese problema. Podemos hacer pruebas de usabilidad en un conjunto de wireframes y ver si nuestra interfaz es usable. Sin embargo, esto no nos dirá nada sobre si alguien lo comprará o no en una primera instancia.
Estos métodos generalmente no se superponen.
¿Qué tipo de experimento de lean startup debo ejecutar?
Si combinamos los beneficios de la Investigación Generativa vs. Experimentos Evaluativa y Mercado vs. Producto , tenemos cuatro cuadrantes que podemos utilizar para ayudarnos a determinar qué es lo siguiente que debemos hacer:
Cada uno de estos cuadrantes nos ayuda a responder diferentes preguntas.
Investigación de mercado generativa
- ¿Quien es nuestro cliente?
- ¿Cuáles son sus dolores?
- ¿Cuál es el trabajo que necesitan hacer?
- ¿Nuestro segmento de clientes es demasiado amplio?
- ¿Cómo los encontramos?
Si aún no podemos responder estas preguntas, estamos haciendo lo que Steve Blank llamaría “Customer Discovery” (The first Step to the Epiphany.). Necesitamos comprender la base del problema antes de probar una solución. Si no estamos seguros de cuál es nuestra hipótesis, necesitamos generar ideas.
Podríamos hablar con los clientes y ver qué les preocupa (el consejo de Steve y siempre una buena idea) o podríamos intentar la minería de datos si tenemos acceso a grandes bancos de datos. Incluso podríamos hacer una encuesta amplia con preguntas abiertas. *
Algunos de estos métodos de investigación son cualitativos (p. Ej. escuchar a los clientes) y algunos son cuantitativos (por ejemplo, minería de datos). Esa distinción no es importante.
La minería de datos es cuantitativa, pero ayudó a identificar problemas como los postres en los Estados Unidos . ¡No podríamos haber hecho eso escuchando a los clientes! Ambas herramientas pueden descubrir problemas.
Estos son algunos de los métodos de investigación de mercado generativos :
- Entrevistas de descubrimiento de clientes
- Investigación contextual / etnografica
- Minería de datos
- Grupos focales *
- Encuestas * (final abierto)
* No hagas esto. Las encuestas y los grupos focales generalmente apestan.
Experimentos evaluativos del mercado
- ¿Están realmente dispuestos a pagar?
- ¿Cuánto están dispuestos a pagar?
- ¿Cómo los convencemos para que compren?
- ¿Cuánto costará venderlo?
- ¿Podemos hacer escalable el marketing?
Para evaluar una hipótesis específica, podríamos ejecutar una “landing page test” para ver si existe demanda. Podríamos correr un pitch de venta si estuviéramos haciendo un producto B2B . Incluso podríamos ejecutar un análisis conjunto para comprender el posicionamiento relativo de algunas propuestas de valor.
Aquí hay algunos experimentos evaluativos de mercado si tenemos una hipótesis clara e invalidable:
- Prueba de los 5 segundos
- Comprensión — enlace a la herramienta
- Análisis conjunto
- Minería de datos / investigación de mercado
- Encuestas * (cerrada)
- Pruebas de humo
- Vídeo
- Landing Pages
- Pitch de venta
- Pre-ventas
- Volantes
- Prueba de bolsillo
- Evento
- Puerta falsa
- Barra alta
* Nuevamente, no uses estos. Generalmente no sirven.
Advertencia: Aquí hay falsos positivos
Antes de continuar, debemos recordar: Muy probablemente estamos equivocados. Incluso si tenemos miles de usuarios registrados en nuestra “Landing Pages”, eso no significa que tengamos un problema validado.
Si el cliente no tuvo que comprometerse a nada aparte de dejar su email o no entendió correctamente la propuesta de valor, entonces esos registros no significan una verdadera demanda del cliente. Simplemente significa que somos muy buenos haciendo “Landing Pages”.
Recuerda
Nuestra propuesta de valor no es nuestro producto
La Propuesta de valor es el beneficio que el producto entrega a un cliente en específico.
No podemos validar nuestra Propuesta de Valor sin validar primero el Segmento de Cliente.
Investigación generativa de productos
- ¿Cómo podemos resolver este problema?
- ¿Qué forma debería tomar?
- ¿Qué tan importante es el diseño?
- ¿Cuál es la solución más rápida?
- ¿Cuál es el conjunto mínimo de funcionalidades?
- ¿Cómo debemos priorizar?
Una vez que hayamos validado suficientemente el mercado y la propuesta de valor, debemos comprender cómo sería la solución.
Si realmente tenemos un Cliente validado con un Problema claro y una Propuesta de Valor, entonces recien en ese momento podemos comenzar a preguntarnos Cómo .
Desafortunadamente, aunque nuestras hipótesis de mercado tienden a ser demasiado vagas, nuestras hipótesis de solución tienden a ser demasiado específicas y demasiado integrales.
Para simplificar nuestra solución y ayudarnos a priorizar qué características construir primero, podemos usar métodos como “concierge test” o entrevistas de soluciones para ayudarnos a generar ideas sobre cuál debería ser nuestro MVP.
Aquí hay algunos métodos para la Investigación Generativa de Productos:
- Entrevista de solución
- Investigación contextual / etnografica
- Demo Pitch
- Concierge Test / Consultoría
- Competitor Usability
- Picnic en el cementerio
Experimentos de evaluación de productos
- ¿Funciona esta solución?
- ¿Lo está usando la gente?
- ¿Qué solución es mejor?
- ¿Cómo podríamos optimizarla?
- ¿Qué le gusta / disgusta a la gente?
- ¿Por qué hacen eso?
Afortunadamente, hay una lista de herramientas bien definidas que han existido durante décadas para resolverlo.
Podemos hacer pruebas de usuario para buscar problemas de usabilidad que puedan evitar que la solución funcione. Podemos hacer una prueba A / B en dos alternativas para ver cuál funciona mejor. Podemos usar una encuesta de Net Promoter Score (una de las pocas encuestas que me gustan) para ver la satisfacción general. Todos estos experimentos evaluativos de productos nos dicen si nuestra solución está funcionando.
- Prototipos de papel
- Prototipos clicables
- Usabilidad
- Pasillo
- En Vivo
- Remoto
- Wizard of Oz
- Take Away
- Productos funcionales
- Analytics / Dashboards
- Encuestas *
- Net Promoter Score
- Encuesta de Product / Market Fit
* Estos no son tan malos como la mayoría de las encuestas, pero asegúrese de comprenderlos antes de usarlos para medir el Product / Market Fit.
The Real Startup Book
Un último consejo: The Real Startup Book es un marco arbitrario.
Cualquier idiota con un MBA sabe cómo hacer una cuadrícula de 2 × 2 que se verá impresionante en un powerpoint al hacer un curro de consultoría . Eso no significa que la realidad encaje perfectamente dentro de esas cajas.
Muchas investigaciones / experimentos desdibujarán las líneas. Es raro que hagamos una investigación generativa sin tener en el fondo de nuestra cabeza una hipótesis sobre quién es nuestro cliente. Inadvertidamente podemos evaluar (e invalidar) esa hipótesis. Está bien.
Este es solo un marco para orientarnos en la dirección correcta y hacer que sea más probable que usemos la herramienta adecuada para hacer el trabajo.
Elije sabiamente.
Puede descargar el Real Startup Book para una referencia rápida aquí:
Esta es una traducción personal del artículo original de Tristan Kromer “What Type of Lean Startup Experiment Should I Run?”
Tambien te puede interesar
