¿Qué algoritmos / herramientas de programación se utilizan para aplicaciones web basadas en análisis de texto como ‘I Write Like’ o ‘750Words’?

Estoy de acuerdo con Ghalib Suleiman en que el primer paso para comparar dos textos es generar una frecuencia de palabra (fácil) o quizás una frecuencia de bi-gramo o n-gramo (más difícil) como se describe en http://en.wikipedia.org/ wiki / Lan … Precalcula estas frecuencias para varios autores (digamos Stephen King y Shakespeare) y obtienes vectores de probabilidades , que el artículo del modelo de lenguaje describe como [matemáticas] P (w_1, …, w_n) [/ matemáticas]. Debe imaginar e implementar estos de manera efectiva como hashes / colecciones / asociaciones algo así como:
[matemáticas] \ vec {P} _ {rey} = [“cujo” = 0.25, “brillante” = 0.25] [/ matemáticas]
y
[matemáticas] \ vec {P} _ {shakespeare} = [“allá” = 0.50, “tu” = 0.60] [/ matemáticas]
pero poblada con muchas más palabras o n-gramas y sus frecuencias de ocurrencia. Luego, cuando alguien envía una muestra de escritura, usted calcula un vector / hash para ellos [matemáticas] \ vec {P} _ {usuario} = [“the” = 0.25, “omg” = 0.50, “gaga” = 0.33] [/ mates].
Lo que luego hace con estos vectores, la comparación del vector multidimensional de un usuario con los vectores precalculados de los autores … ah, bueno, resulta que de eso se trata la personalización y la recomendación en Internet, comparando vectores de información sobre personas, agrupación o agrupación de personas para que pueda recomendarle cosas a una persona en función de lo que otras personas en su grupo hayan hecho, comprado, leído, visto, comprado, escuchado, jugado o comentado, encontrando conexiones probables entre personas basadas en sus vectores.
Aunque existen algoritmos profundos en el aprendizaje automático y en otras partes de la ciencia de la computación que realmente se vuelven locos con estas comparaciones “vectoriales”, un algoritmo muy rápido de “emparejamiento” en situaciones como “I Write Like” es simplemente una comparación de productos de punto, también conocido como [matemáticas] \ Theta [/ matemáticas] – comparación de ángulos – calculando el ángulo entre el vector del usuario y cada uno de los vectores del autor mediante el uso de la ecuación del producto de punto:
[matemáticas] \ vec {P} _ {usuario} \ cdot \ vec {P} _ {autor} = \ parallel \ vec {P} _ {usuario} \ parallel \ parallel \ vec {P} _ {author} \ parallel \ cos \ Theta [/ matemáticas]
asi que
[matemáticas] \ cos \ Theta = {\ vec {P} _ {usuario} \ cdot \ vec {P} _ {autor} \ over \ parallel \ vec {P} _ {usuario} \ parallel \ parallel \ vec {P } _ {author} \ parallel} [/ math] y hacer coincidir el usuario con el autor con la menor distancia [math] \ Theta [/ math].
(Si no está claro cómo las palabras son “dimensiones” y las probabilidades son “magnitudes” en estos “vectores” y cómo calcularía sus valores, puedo agregar algunos indicadores adicionales. La primera vez que manipula datos de esta manera es siempre el mayor salto mental: entonces comienzas a encontrar álgebra lineal debajo de cada roca en informática.