Cómo escribir un código para pasar por páginas web como un humano automáticamente y obtener la información requerida

Aprecio enormemente el Easy Data Feed de ShopingCartElite . Es un poderoso software de extracción de datos que ayuda a descargar fácilmente inventario, precios y otra información. Todos estos datos se registran en una hoja de cálculo utilizable. Puede usarlo incluso para extraer datos del sitio web protegido por contraseña, API, correo electrónico o FTP y conectarlo directamente a su página web.

Estoy seguro de que encontrará muchas críticas positivas sobre esta herramienta y la compañía. Sus herramientas únicas como Omni-Channel Hub, tecnología Hypersonic CDN, Smart Packing and Shipping, Ranking Monitor, el software Threat and Engagement Analytics (TEA), etc. pueden hacer que su sitio web sea completamente automático por tarifas bastante asequibles. Hemos estado trabajando con ellos durante muchos años y puedo recomendarlos como un socio confiable. Para obtener más información, es mejor que se comunique con ellos personalmente.

Descargo de responsabilidad: he utilizado esta empresa para ejecutar una tienda en línea.

Su pregunta no es muy específica, por lo que mi respuesta será genérica.
Implementaría un código que haga lo siguiente:

  1. Obtenga la página usando un analizador html (por ejemplo, Jsoup en Java) para construir una representación programática de la página. Esto le permitirá analizar la estructura de la página en su código.
  2. Analice la página para ver dónde se encuentra el contenido que está buscando en la página.
  3. Tome el trozo de html que encontró en el paso anterior y conviértalo en algo útil para usted.

La implementación de los pasos 2 y 3 dependerá de los detalles de los datos que desea obtener y analizar.

More Interesting

Quiero codificar mi propio sitio web en HTML5. ¿Dónde empiezo?

Cómo hacer un sitio de WordPress

Voy a comenzar a desarrollar un gran proyecto de red social. ¿Debo usar Node.JS o necesito usar Java (para el backend)?

¿Cómo usar Python para el desarrollo web? ¿Cuáles son las herramientas y las metodologías utilizadas?

Estoy planeando solicitar un programa de pasantía y capacitación para desarrollo web. ¿Qué debería aprender allí para construir un sitio web con tendencia moderna?

Si voy a comenzar a aprender programación de JavaScript, como desarrollador de Java, ¿es mejor aprender TypeScript que de todos modos genera JavaScript?

¿Debo aprender el lenguaje JavaScript completo o es mejor aprender algunos relacionados con el desarrollo web en caso de que quiera convertirme en desarrollador web?

¿Cómo debo comenzar en el campo de desarrollo de backend?

¿Soy contratable? Estoy terminando un programa de dos años de WebDev en un colegio comunitario. Sé HTML y soy decente en CSS, PHP y JavaScript. Soy nuevo en el campo de la tecnología y no tengo un título universitario. ¿Deberia estar preocupado?

¿Soy un tonto al no saltar en el vagón MVC de JavaScript?

Estoy usando Notepad ++. No tengo un servidor PHP y mis códigos no se ejecutan. ¿Cómo puedo ejecutar un código PHP?

Soy un desarrollador de JavaScript de pila completa. ¿Qué debería estar aprendiendo en mi trabajo actual para hacerme más atractivo para mi próximo trabajo?

Soy competente con Python y Java, y tengo conocimiento práctico de Django. Estoy tratando de tener una idea para mi primer gran proyecto (algo que será útil para las personas y se verá bien en mi currículum). ¿Hay alguna idea?

Estoy comenzando un portal de videos en el cual los usuarios suben videos. Quiero un reproductor de video web con tecnología de velocidad de bits adaptable. ¿Cuál es la mejor tecnología y reproductor para usarlo en cualquier dispositivo como YouTube? ¿Cual será el costo?

Dejé la escuela secundaria. ¿Puedo obtener trabajos de desarrollador web después de practicar y estudiar?