¿Qué enfoques son útiles para extraer el contenido de texto real de una página web de la etiqueta ?

Hola, estoy usando mi respuesta a otra pregunta sobre Quora, ya que pensé que esta pregunta era muy similar:

Puede que llegue tarde al juego, pero soy el autor de un paquete de Python de menos de dos semanas que recibió una respuesta decente (14,000 visitas en los primeros 2 días) en GitHub.

El algoritmo original tenía menos de 15 líneas de código (si eliminaba todas las definiciones de funciones, declaraciones de variables constantes, lo que tenía), y se basa en modelos estadísticos muy básicos a la máquina de aprendizaje (clasificación no supervisada de contenido versus no -contenido para ser precisos).

Escribo sobre el algo original aquí: eatiht by rodricios

Esto es lo que un compañero de Reddit dijo sobre el artículo:

En mi humilde opinión, es uno de los enfoques más inteligentes que he visto, y tan simple también. Gran explicación allí. El curso intensivo html y xpath al final también es bastante bueno

Fuente:

Como seguimiento del paquete de Python de extracción de texto que publiqué hace 5 días, aquí hay un recorrido detallado del algoritmo. • / r / Python)

Aquí hay una pequeña demostración con una larga URL: Sony: ‘The Interview’ ha ganado más de $ 15 millones en línea | Variedad

Para probar en otros sitios, cambie el argumento de consulta (todo detrás de “? Url =”) a cualquier sitio web en el que desee probarlo.

Además de extraer texto, la última iteración también extraerá el html que rodea el texto, esencialmente heredando la estructura del artículo.

Aquí está el repositorio: rodricios / eatiht

Tenga en cuenta que no estoy tratando de vender aceite de serpiente y diga que esto hace su trabajo y corta el césped; funciona mal en sitios como reddit, crackeados, por nombrar solo dos. Pero un investigador interesado de la Universidad de Notre Dame me ha pedido que aborde ese problema exacto (extraer datos tabulares significativos de cualquier sitio).

Hoy tengo una versión prototipo de eso; ¡Puede que también de código abierto!

La legibilidad ( http://lab.arc90.com/experiments …) puede ayudar con la extracción de contenido. (es decir, averiguar cuál es el contenido “real”) Hay algunos puertos a otros idiomas, pero la última vez que verifiqué que estaban bastante detrás de la versión JS.