¿Cuánto tráfico necesita un sitio (o página) para ejecutar A / B o pruebas de conversión que produzcan resultados estadísticamente significativos (es decir, procesables)?

La respuesta a esta pregunta varía considerablemente según lo que intentas probar y cómo intentas probarlo. Algunas preguntas importantes que debe hacerse son:

¿Qué página o parte del sitio está tratando de optimizar?
La mayoría de las páginas de sus sitios recibirán solo una fracción de las 1,500 o 750 visitas de todo el sitio a las que hace referencia aquí, y para no inflar los tamaños de muestra, querrá realizar una asignación diferida (lea más sobre eso – Lazy Asignación: haga más cosas al volverse perezoso) Puede profundizar en los datos analíticos de su sitio para comprender mejor con qué está trabajando el tráfico.

¿Cuál es el efecto mínimo detectable que desea observar?
Requiere más datos para obtener significación estadística en la observación de un pequeño cambio que en uno grande. Por ejemplo, necesitará más tráfico para confiar en un aumento del 1% en las conversiones que en un aumento del 10% ( ceteris paribus ). Establecer un efecto mínimo detectable, o el tamaño mínimo del efecto que desea observar, puede ayudarlo a obtener un mayor retorno de datos al permitirle finalizar una prueba con una muestra más pequeña siempre que se haya demostrado que no tiene un impacto más allá de su requerimientos mínimos.

¿Qué nivel de importancia estás dispuesto a aceptar?
Tendrá que decidir qué nivel de significación estadística es suficiente para que se sienta cómodo al declarar un ganador. Por lo general, se usa un nivel de significancia del 5% para las pruebas A / B, pero para los grandes cambios que pueden tener un efecto dramático en su resultado final, es posible que desee obtener más confianza en los resultados antes de llamarlo. Cuanto más bajo es el nivel de significancia, más tráfico se requiere para completar una prueba.

Consulte esta herramienta de cálculo de tamaño de muestra que creamos en Splitforce: Calculadora de tamaño de muestra. Una vez que tenga una mejor idea de sus objetivos de prueba y el tráfico relevante, puede ayudarlo a evaluar los costos y beneficios potenciales de las pruebas que está considerando realizar.

Creo que nunca es demasiado temprano para las pruebas. Sí, como dijo Phil, 1.500 con una tasa de conversión del 10% no son muchas conversiones para trabajar.

Pero hay muchas otras cosas que puede probar que tendrán un impacto en su tasa de conversión.

Piensa sobre esto:

  • ¿Tiene un botón específico en su navegación en el que desea que la gente haga clic? Pruebe diferentes posiciones, texto y estilos en él y mida el CTR
  • ¿Tienes una biblioteca de libros blancos? ¿Los enlaces internos de las páginas de sus productos con un gran botón verde o pequeños botones rojos aumentan el CTR?
  • ¿Obtiene más acciones sociales en las publicaciones de su blog con botones sociales grandes e intrusivos o botones más pequeños en un lugar más lógico?

No solo piense en la conversión de macros (correos electrónicos, clientes potenciales, pedidos). Piense también en las microconversiones. Una microconversión podría ser tan simple como una vista en la página que produce la conversión real (descarga de software, página del producto)

Eche un vistazo a esta gran publicación de blog de Avinash Kaushik para obtener más información acerca de las conversiones de macro a micro: Excelente Consejo de análisis # 13: Medir conversiones de macro y micro.

¡Ve y prueba!

La respuesta a esta pregunta depende de:

  1. El margen de error con el que te sientes cómodo
  2. El intervalo de confianza con el que te sientes cómodo
  3. Ya sea que esté buscando una diferencia en proporción o media

Mira estas dos calculadoras útiles para obtener una respuesta específica:

Medios: http://www.polarismr.com/resourc
Proporciones: http://www.polarismr.com/resourc