¿Cuál es el futuro de Apache Spark?

Apache Spark definitivamente se ve como un líder de paquete en Data Science, especialmente para Big Data y análisis de datos en tiempo real. Con bibliotecas como SparkSQL, SparkML, GraphX, realmente se está convirtiendo en un sistema de elección.

Solo mire los casos de uso cubiertos por diferentes empresas en Spark Summit 2017 y podrá comprender las aplicaciones y por qué y cómo están reemplazando los sistemas más antiguos y qué problemas están abordando.

Estoy dando aquí un resumen breve y dulce de cuatro industrias: hotelería, alimentación, transmisión de video y fabricación de automóviles. Hay muchos más ejemplos allí.

Nota: Todas las sesiones de Spark Summit están disponibles para el consumo de cualquier persona interesada.

1 – Hoteles.com

Se movió para usar Spark para una carga de trabajo del 100%.

Facilidad de implementación:

– Ser rápido es absolutamente necesario. Experimentación rápida

– Infraestructura elástica

– Enormes datos y gran cantidad de datos en tiempo real entrando

Casos de uso:

Resolvieron el problema de la transparencia de precios y la facilidad de reserva décadas atrás. Las imágenes es el siguiente aspecto importante.

– Imagen de categorización correcta

– Desduplicación de imágenes con alta eficiencia

– Pedido fotográfico adecuado para clientes

– Segmentos de usuario mejorados basados ​​en las tendencias en el uso de los clientes, encontrar una mejor coincidencia

Reducción del tiempo de análisis de 60 días a un par de días.

2 – UberEats

UberEATS es un mercado, una plataforma de pedidos y entrega de comidas en línea lanzada por Uber Technologies. Se asocia con restaurantes en docenas de ciudades de todo el mundo.

Caso de uso:

Clasificación y recomendación de restaurantes. Desafíos únicos porque es marketplace

Los NM convencionales se basan en un solo objetivo. Clasificación basada en el sistema de recomendación justa, utilizando el sistema Spark ML para lograr objetivos múltiples para un mercado justo.

3 – Netflix

La mayoría de las personas conocen el impresionante Sistema de recomendaciones de Netflix hace aproximadamente una década (Premio Progreso 2007). En Spark Summit 2017, Netflix ha dicho que muchas tareas de canalización para su motor de recomendaciones, como “generación de etiquetas, recuperación de datos, generación de características, capacitación, validación, se basan en el marco de Spark ML PipleStage”.

4 – BMW

Spark Summit 2017: cita del resumen del orador

“El nuevo enfoque habilitado para Apache Spark de BMW: utilice los datos disponibles de automóviles y talleres para entrenar modelos que puedan predecir la parte correcta para cambiar, o la acción a tomar”.

“Spark ayudó a BMW a aprovechar la información de millones de observaciones y miles de funciones, y aprender qué dificultades experimentaron (p. Ej., Configurar una cadena de herramientas de desarrollo que funcionara, trabajar con características de 50K, paralelizar bien) y cómo puede evitarlas”.

Yo diría que Apache Spark tiene un futuro brillante en general. Ha podido resolver algunos problemas clave en el procesamiento rápido de datos distribuidos y se ha adelantado a su tiempo en ese sentido. Tiene algunos problemas pendientes:

1. Integración con diferentes administradores de recursos, especialmente YARN, y un trabajo fluido junto con esto
2. El optimizador Catalyst de Spark no construye gráficos tan eficientemente como podría para operaciones desencadenadas (transformaciones combinadas con acciones en variables)
3. El soporte para R y Python debería expandirse ya que estos son más populares que Scala para muchas tareas.

Spark 2.0 ha simplificado la API y eliminó la necesidad de usar RDD, por defecto en conjuntos de datos y marcos de datos. Esto es definitivamente prometedor.

Dicho esto, Spark definitivamente satisface la mayoría de las necesidades básicas de los científicos de datos y analistas de datos, y para muchos es una herramienta indispensable para implementar algoritmos de ML a escala. Eso no cambiará a toda prisa.

Apache Spark proporciona un amplio conjunto de herramientas, entre las que se encuentra Spark Streaming para el procesamiento de datos en streaming. Por lo tanto, esperamos que este componente tenga un buen futuro.

El verano pasado, el 23 de julio, demostramos cómo se podía utilizar Spark Streaming para recopilar los datos de rendimiento en tiempo real de los paneles solares a través de nuestra plataforma Kaa IoT. Así es como se puede usar Apache Spark en el campo de Internet de las cosas (IoT). Puede ver el video de ese seminario web aquí: Seminario web: Ingestión de datos IoT en Spark Streaming usando Kaa

La próxima semana, el 10 de septiembre, realizaremos nuestro próximo seminario web gratuito sobre un tema similar, pero para Cassandra. Es diferente de Spark, pero puede ser útil para usted, especialmente cuando necesita aprender más sobre Big Data o NoSQL.

Durante este seminario web, crearemos una solución que ingiere datos en tiempo real de un sensor de temperatura conectado a Raspberry Pi en Cassandra para su posterior procesamiento y análisis. También revisaremos algunas de las mejores prácticas en el modelado de datos de Cassandra y demostraremos lo fácil que es reutilizar ellos en Kaa IoT Platform.

Si desea ver cómo se puede usar Cassandra para recopilar datos en tiempo real de sensores de temperatura, no dude en registrarse aquí.

Spark puede usar la unidad de almacenamiento de Hadoop (HDFS) y utilizar su propio motor de procesamiento para realizar análisis de big data extremadamente rápidos. Una gran parte de los sistemas tiene problemas de compatibilidad porque MapReduce solo puede ejecutarse en Hadoop. Spark es adaptable con respecto a la compatibilidad. Utilizando Spark, puede combinar la transmisión de Spark, SparkSQL y análisis complejos en una plataforma solitaria. Tiene bibliotecas ricas que incorporan Spark SQL, GraphX ​​para procesamiento de gráficos, MLlib para aprendizaje automático, marcos de datos, conjuntos de datos y transmisión de chispas. Spark tiene API para lenguajes como Escala, Java y Python. Es fácil componer funciones definidas por el usuario. También tiene para ejecutar comandos un modo interactivo. No necesito explicar qué tan importante es Spark para el análisis de big data en el futuro. Las empresas lo adoptarán cada vez más, ya que la necesidad de análisis en tiempo real es cada vez mayor. Visite el sitio web de Intellipaat donde brindan capacitación sobre Spark que es ampliamente preferida por los profesionales de la industria en todo el mundo:

Aprenda el curso de Storm, Spark, Scala en línea – Intellipaat

La pregunta es un poco ambigua: el proyecto Spark tiene una página JIRA, donde puede ver exactamente la hoja de ruta (que es ágil): https://issues.apache.org/jira/b …

si quiere decir si el proyecto va a sobrevivir a largo plazo, aquí hay un lugar para comenzar: Desarrollado por Spark – Spark – Apache Software Foundation

El futuro es brillante y duradero:

• Proporciona procesamiento de datos sin interrupciones en R, Python, Scala / Java
• Respaldado por IBM, MapR, …
• Proporciona la capacidad de aprovechar RAM barata y rápida frente a Hadoop MapReduce
• Micro lotes (simula streaming), enfoques de lotes y REPL entregados en la misma plataforma
• No hay competencia como código abierto: las alternativas son específicas del idioma y / o no son escalables o no han alcanzado la adopción del ancho en este momento, por ejemplo, scikit-learn: aprendizaje automático en Python, los 20 paquetes principales de aprendizaje automático y ciencia de datos R, lotes escalables y datos de flujo Tratamiento
• Documentación decente, código manejable (solo contaminado con dependencias innecesarias por defecto), gran cantidad de libros.

Apache Spark es uno de los proyectos más activos de Apache. Spark integra muchas cosas y tiene la intención de proporcionar muchas más funciones a sus usuarios. Ya ha superado todas las limitaciones de Hadoop y ha integrado casi todas las herramientas de Hadoop en su propio motor central. Es famoso por su velocidad con la que procesa los datos debido a su función en memoria. Puede ser utilizado por muchas personas debido a su rico conjunto de API en casi 4 idiomas. El futuro de Spark es realmente muy brillante.

Hay un gran revuelo en torno a este proyecto.
Muchos incluso lo consideran como Hadoop v3.
Actualmente hay más participantes activos en este proyecto que en Hadoop. Entonces parece una apuesta inteligente.