Supongo que está hablando de la “calificación promedio” de los usuarios y no de la calificación “Nuestra mejor estimación para XXX”.
Sin saber más acerca de su metodología, no sé cómo “se desplazó a través de 100 títulos aleatorios”, pero ciertamente puedo decir que el sitio web y la interfaz de usuario del dispositivo no son muestras “aleatorias”. Se seleccionan en función de una serie de factores predictivos y pueden representar un conjunto de muestras muy sesgado. Además, la interfaz de usuario generalmente muestra la predicción de lo que podría calificar la película en lugar de lo que otros usuarios calificaron. Esos dos valores generalmente no son lo mismo.
Hace unos años, Netflix publicó un conjunto de datos de capacitación para el Premio Netflix, un desafío para encontrar un mejor algoritmo de recomendación. El conjunto de datos de entrenamiento era representativo de datos reales. La distribución de calificaciones por parte de los usuarios es bastante normal, aunque un poco plana alrededor de 3-3.5. De lo contrario, se distribuye principalmente de 1.5-4.5. Hay un sesgo definitivo hacia calificaciones más altas. Gráfico a través de la distribución de errores de diferentes algoritmos.
- WordPress Hosting: Tengo un problema con el inicio / cierre de sesión en el W3 Total Cache. ¿Qué tengo que hacer?
- ¿Cuál es la mejor manera de detectar un cambio en un cuadro de texto HTML?
- ¿Cuáles son los mejores servicios de mapas de calor gratuitos o de bajo costo para las pruebas de usuario?
- Usando Python y SQLite3, o cualquier base de datos similar, ¿cómo puedo sincronizar múltiples archivos Db que son locales en diferentes máquinas?
- ¿Cómo es el futuro de las hojas de estilo en cascada?
Echemos un vistazo a la distribución de calificaciones de IMDB, parece bastante concentrada dentro de 2-9 … o normalizando eso a un sistema 0-5, 1-4.5. No es tan plano en el medio, pero parece tener la mayoría de las calificaciones en una banda estrecha. También hay una inclinación hacia calificaciones más altas. Gráfico a través de Mining gold de Internet Movie Database, parte 1: decodificación de clasificaciones de usuarios
En términos relativos, creo que los dos sistemas de calificación no son sustancialmente diferentes (aunque la escala 0-10 puede dar la apariencia de una mejor granularidad).
Así que por diversión, hice el mismo experimento y miré un montón de películas en IMDB y Netlfix. No puedo decir que IMDB parecía mejor “distribuido” que Netflix. Tampoco creo que IMDB haya sido más “preciso” cuando lo comparé con otras fuentes, como metacrítico.
Pero entonces, estoy bastante seguro de que el tamaño de mi muestra es demasiado pequeño para sacar conclusiones significativas y mi percepción sufre un sesgo de confirmación o simplemente un muestreo sesgado.
