Extraer datos de sitios web con Kettle varía de fácil a difícil. Fácil es donde usa un paso HTTP para llamar a la dirección del sitio web, y trae la respuesta nuevamente a la secuencia como una columna (campo). Lo más difícil es donde tiene que navegar la lógica de inicio de sesión de alguien usando PDI para crear scripts de shell que usan wget o curl para manejar la interacción mientras se guardan las cookies y la información de la sesión. Luego, una última llamada a través de wget o curl para que el sitio web le brinde una página de resultados, que bien podría ser una respuesta XML, pero más probablemente html. La última llamada descargará ese archivo html en el disco temporalmente, que puede cargar en la memoria (una sola fila, un solo campo), usar JTIDY a través del paso UDJC para convertir el html a XHTML, luego ejecutar esa secuencia a través del paso Xpath.
Entonces es tedioso, pero factible. Estoy hablando con Pentaho sobre cómo facilitar este proceso hasta que los proveedores de SaaS basados en la nube descubran que dejar que los datos salgan a través de excelentes API es algo importante para los clientes y algo que podría monetizarse. La realidad es que siempre habrá una gran aplicación web, administrada por una pequeña empresa, que puede no tener el tiempo, el dinero o los recursos para permitir que los datos lleguen a las máquinas de una manera fácil. Tenemos un montón de ellos en salud.
- ¿Se puede basar un sitio web personalizado en una plantilla?
- ¿Cuál es el alcance de un desarrollador de Node.js en India?
- ¿Cómo se puede usar Java para desarrollar una aplicación?
- ¿Qué es una buena base de datos para la aplicación web?
- ¿Por qué debería usar Haskell para crear una aplicación web? Las aplicaciones web comunes toman texto de un cuadro, lo colocan en una base de datos y luego lo colocan dentro de otro cuadro. ¿Por qué elegiría un idioma que intente evitar los efectos secundarios?
