Este curso es para estudiantes con experiencia en SQL y que ahora quieren dar el siguiente paso para familiarizarse con la computación distribuida usando Spark. Los estudiantes obtendrán una comprensión de cuándo usar Spark y cómo Spark como motor combina de manera única las tecnologías de datos e inteligencia artificial a escala. Los cuatro módulos se complementan entre sí y, al final del curso, el estudiante comprenderá: arquitectura Spark, Spark DataFrame, optimización de lectura/escritura de datos y cómo crear un modelo de aprendizaje automático. El primer módulo presentará Spark, incluido cómo funciona Spark con la computación distribuida y qué son los marcos de datos de Spark. El módulo 2 cubre los conceptos básicos de Spark, como el almacenamiento frente a la computación, el almacenamiento en caché, las particiones y la interfaz de usuario de Spark. El tercer módulo analiza las canalizaciones de datos de ingeniería que cubren la conexión a bases de datos, esquemas y tipos, formatos de archivo y escribir buenos datos. El módulo final analiza la aplicación de Spark con Machine Learning a través del caso de uso comercial, una breve introducción a lo que es el aprendizaje automático, la creación y aplicación de modelos y una conclusión final del curso. Al comprender cuándo usar Spark, ya sea escalando cuando el modelo o los datos son demasiado grandes para procesarlos en una sola máquina, o si simplemente necesitan acelerar para obtener resultados más rápidos, los estudiantes perfeccionarán sus habilidades de SQL y se convertirán en un experto en datos. Científico.