Análisis de Big Data con Scala y Spark - Curso Virtual - Coursera Verified listing

La manipulación de grandes datos distribuidos en un clúster utilizando conceptos funcionales está muy extendida en la industria y podría decirse que es uno de los primeros usos industriales generalizados de ideas funcionales.

Esto se evidencia por la popularidad de MapReduce y Hadoop, y más recientemente Apache Spark, un marco de trabajo de colecciones distribuidas en memoria rápido escrito en Scala.

En este curso, veremos cómo el paradigma de datos paralelos se puede extender al caso distribuido, utilizando Spark en todo momento.

Cubriremos el modelo de programación de Spark en detalle, teniendo cuidado de comprender cómo y cuándo difiere de los modelos de programación familiares, como colecciones paralelas de memoria compartida o colecciones secuenciales de Scala.

A través de ejemplos prácticos en Spark y Scala, podemos Aprenderá cuándo se deben considerar problemas importantes relacionados con la distribución, como la latencia y la comunicación de red, y cómo se pueden abordar de manera efectiva para mejorar el rendimiento.

Los resultados del aprendizaje.

Al final de este curso, podrá: - leer datos del almacenamiento persistente y cargarlos en Apache Spark, - manipular datos con Spark y Scala, - expresar algoritmos para el análisis de datos en un estilo funcional, - reconocer cómo evitar mezclas y recálculo en Spark, Antecedentes recomendados: debe tener al menos un año de experiencia en programación.

El dominio de Java o C# es ideal, pero también es suficiente la experiencia con otros lenguajes como C/C++, Python, Javascript o Ruby.

Debería estar familiarizado con el uso de la línea de comandos.

Este curso está diseñado para tomarse después de la programación paralela: https://www.

coursera.

org/learn/parprog1.