¿Cuáles son los criterios para elegir un servicio de raspado web?

Creo que se reduce a 2 factores:

  1. El factor técnico : si puedes programar o no
  2. El factor DIY : ya sea que quieras hacerlo tú mismo o que alguien más lo haga por ti

Si desea entregar el trabajo, debería buscar empresas que brinden servicios profesionales. Aquí hay algunos:

  • Scrapinghub (empresa y start-ups, costo de rango medio a alto)
  • Prompt Cloud (pequeña y mediana empresa, costo de rango bajo a medio)
  • Connotate (empresa y principalmente mercado de EE. UU., Costos de gama alta)
  • Datahut (inicio y pequeñas empresas, bajo costo final)

Si desea hacerlo usted mismo y puede programar, puede buscar herramientas como Scrapy o Selenium. Scrapy viene con un práctico alojamiento basado en la nube especializado para el rastreo web de Scrapy Cloud (descargo de responsabilidad: es mi producto). No conozco otras alternativas para alojar rastreadores web basados ​​en cualquier idioma o marco.

Si quiere hacerlo usted mismo y no puede programar, debería buscar herramientas visuales para construir raspadores como:

  • Portia: código abierto y ofrecido alojado de forma gratuita (en un plan muy liberal)
  • Mozenda: aplicación de escritorio, establecida y confiable pero costosa
  • Dexi.io: ​​jugador relativamente nuevo, similar a Portia pero patentado

Definitivamente debe pensar en lo siguiente:

  1. Precio. Esta es una obvia.
  2. Servicio al cliente, reputación, capacidad de respuesta, flexibilidad.
  3. Capacidad para ejecutar y escalar operaciones.
  4. Estabilidad a largo plazo y capacidad de supervivencia: ¿qué posibilidades hay de que el proveedor de servicios esté presente en 6 meses, 2 años?
  5. Confianza. No puedo enfatizar esto lo suficiente. ¿Por qué?
  1. El proveedor de servicios de raspado web obtiene una idea de su negocio principal. Obtienen la sensación de cómo operas, dónde está el valor, etc.
  2. ¿Puede confiar en el proveedor de servicios con datos expuestos? El proveedor de servicios acumulará el historial de datos con el tiempo; esto se convierte en datos valiosos. Además, a veces es necesario recuperar algunos datos internos como entradas para el proceso de raspado.
  3. El proveedor de Scraping puede verse tentado a acercarse a su competidor y ofrecerle ejecutar un proyecto similar.