La mayoría de las pruebas A / B analizan las medias de las observaciones, por lo que el Teorema del límite central (CLT) implica que, en condiciones bastante generales, su media se distribuirá normalmente y la distribución de la media será más normal a medida que aumente el número de observaciones independientes. .
Asegúrese de que realmente está tratando de resolver un problema que el CLT ya no le atiende de forma gratuita.
Suponiendo que todavía está preocupado, hay algunas cosas útiles que hacer:
- ¿Para qué sirven los envoltorios y contenedores? ¿Por qué no puedo simplemente dimensionar y colocar cada capa una tras otra sin complicar la situación con un envoltorio?
- He completado series para principiantes en PHP y quiero ganar dinero en línea, ¿dónde puedo obtener un trabajo en línea de codificación PHP?
- ¿Cómo es que ASP.NET llena el atributo de clave externa automáticamente en este caso?
- Cómo obtener el final de una variable de JavaScript
- ¿Sería C / C ++ un buen lenguaje para mi sitio web para seleccionar registros aleatorios del DB y generar los registros?
- Reduce la variabilidad de tu métrica.
Digamos que está buscando ingresos para un sitio minorista (mi experiencia es de Amazon) o ingresos por clics (mi experiencia es de anuncios de Bing). Ambos tienen una gran masa de $ 0 (la mayoría de las personas no compran ni hacen clic en los anuncios), y una larga cola derecha.
En lugar de ingresos, observe dos métricas: un indicador de conversión (sí / no) y el condicional (ingresos si se compran; nulo de lo contrario).
Cada uno de los dos tendrá una varianza más baja, por lo tanto, dará más señal para las pruebas A / B.
Su producto son los ingresos.
Consulte la Sección 3.2.1 de la Guía práctica y la encuesta para obtener más detalles. - Valores de cap.
Aquí te advierto que entiendas las razones del sesgo.
Por ejemplo, si está mirando el tiempo en el sitio, puede encontrar una métrica muy sesgada, pero también irregular. Por ejemplo, una masa de alrededor de 1440 minutos puede significar que los usuarios visitaron su sitio nuevamente al día siguiente aproximadamente a la misma hora. Suponiendo que esa no sea su intención, limitar el tiempo en el sitio a 30 minutos es una estrategia común.
En Amazon, encontramos valores atípicos significativos para los ingresos y la cantidad de artículos comprados. Después de mirar los detalles, resultó que se trataba de bibliotecas o departamentos de compras. Si uno de los tratamientos obtiene un par de bibliotecas más que otro, podría sesgar los resultados.
Limitar a ciertos valores en dólares y artículos comprados redujo la variación (y mejoró la confiabilidad). - Mire las métricas percentiles o los medios recortados. Por ejemplo, time-to-X (evento de tiempo de carga para la carga de la página, tiempo de hacer clic) tiende a tener mucha distorsión hacia la derecha. En lugar de la media, mire algún percentil, como el 90.
- Lee la literatura de Estadística sobre transformaciones de datos, como tomar registros. No soy un fanático de estos porque cambia sus criterios de optimización sin una justificación comercial. Prefiero estudiar las razones del sesgo y aplicar las técnicas anteriores.
