Cómo escribir un código para pasar por páginas web como un humano automáticamente y obtener la información requerida

Aprecio enormemente el Easy Data Feed de ShopingCartElite . Es un poderoso software de extracción de datos que ayuda a descargar fácilmente inventario, precios y otra información. Todos estos datos se registran en una hoja de cálculo utilizable. Puede usarlo incluso para extraer datos del sitio web protegido por contraseña, API, correo electrónico o FTP y conectarlo directamente a su página web.

Estoy seguro de que encontrará muchas críticas positivas sobre esta herramienta y la compañía. Sus herramientas únicas como Omni-Channel Hub, tecnología Hypersonic CDN, Smart Packing and Shipping, Ranking Monitor, el software Threat and Engagement Analytics (TEA), etc. pueden hacer que su sitio web sea completamente automático por tarifas bastante asequibles. Hemos estado trabajando con ellos durante muchos años y puedo recomendarlos como un socio confiable. Para obtener más información, es mejor que se comunique con ellos personalmente.

Descargo de responsabilidad: he utilizado esta empresa para ejecutar una tienda en línea.

Su pregunta no es muy específica, por lo que mi respuesta será genérica.
Implementaría un código que haga lo siguiente:

  1. Obtenga la página usando un analizador html (por ejemplo, Jsoup en Java) para construir una representación programática de la página. Esto le permitirá analizar la estructura de la página en su código.
  2. Analice la página para ver dónde se encuentra el contenido que está buscando en la página.
  3. Tome el trozo de html que encontró en el paso anterior y conviértalo en algo útil para usted.

La implementación de los pasos 2 y 3 dependerá de los detalles de los datos que desea obtener y analizar.

More Interesting

¿Qué más necesito aprender para ser un desarrollador web completo?

Quiero externalizar un desarrollador web, ¿qué fuentes de buena reputación me recomiendan?

Para desarrollar un sitio web decente, espero que necesite Photoshop para la manipulación de imágenes. ¿La mayoría de los sitios web requieren habilidades de Photoshop en algún momento?

Si uso WordPress y lo agrego a mi sitio web, ¿Google lo indexará y le dará "crédito" a mi sitio por palabras clave y contenido nuevo?

Golang: ¿Cómo convertir una matriz JSON en estructuras y usar JSON Marshal para obtener los datos?

Soy un desarrollador de JavaScript de pila completa. ¿Qué debería estar aprendiendo en mi trabajo actual para hacerme más atractivo para mi próximo trabajo?

Quiero usar el resultado de una consulta en SQL como una tabla y agregarlo a la base de datos para poder usar esta tabla para ejecutar otra consulta. ¿Cómo lo hago?

Acabo de comprar un tema de WordPress para mi sitio, pero parece que no puedo hacer que se vea como lo que vi en la demostración. ¿Todos los temas son tan difíciles de armar?

¿Soy considerado un programador si soy desarrollador web?

¿Puedo crear páginas web dinámicas usando solo HTML y CSS?

Quiero construir un sitio web de red social. ¿Debo usar Ruby (en Rails) o Python (Django)?

No puedo decidir si quiero aprender web u otra programación, así que ¿no puedo hacer las dos cosas?

Soy un estudiante de ingeniería mecatrónica, también estoy interesado en el desarrollo web. ¿Es una pérdida de tiempo tomar el desarrollo web como una carrera secundaria?

Si creara una aplicación móvil o web que sirviera a más de 5 millones de personas, ¿cómo haría para diseñar una aplicación de este tipo?

¿Cuáles son las principales tendencias en desarrollo web?