Основные составные блоки экосистемы: MapReduce, YARN, HDFS, Hive. Их взаимодействие со Spark

Основы функционального программирования. Основные концепции и синтаксис в Scala

Преимущества Spark, основные библиотеки и концепции. Работа с RDD

Работа со Spark UI, чтение и анализ логов Spark, оптимизация джобов, использование Spark REST API

Написание запросов, очистка и подготовка данных, джойны и оконные функции, кэширование и репартишен, UDF

Управление схемой данных, оптимизатор Catalyst, изучение и разбор планов вычислений, выбор правильной последовательности джойнов, уменьшение shuffle

Чтение и запись Parquet/ORC, работа с ElasticSearch, работа с Cassandra, работа с PostgreSQL через JDBC-коннектор

Введение в real-time пайплайны, введение в работу с Kafka, работа с Kafka в Spark, сохранение потоковых данных на HDFS, работа с JSON, чекпоинты и триггеры

Запуск и управление множеством стриминговых запросов, foreachBatch sink, FAIR Scheduler, мониторинг работы streaming-джобов (с использование инструментов Prometeus/Grafana)

Запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows

Создание кастомного источника данных и синка с использованием Datasource V1 API

Мы создаем все условия для того, чтобы максимально приблизить опыт участников к реальным условиям работы (Project Based Learning). Поэтому основу наших программ составляют лабы (лабораторные работы) – системные большие практические задания, которые максимально приближены к реальным задачам специалистов по работе с данными.

• Наша цель — научить вас решать задачи из реальной жизни, а не покрыть список тем. Теория — это инструмент, необходимый для решения задач, а не самоцель.
• Возможность сразу же применять полученные знания в работе и своих проектах.

Теперь можно пройти программы не только в привычном формате с онлайн-занятиями в зуме и в группе, но и в любое время индивидуально доступом к лекциям прошлых потоков и в своем темпе.

Преимущества основного формата остаются: реальные задачи в виде лаб, облачный кластер и автоматическая проверка лаб чекерами – полное погружение в практику и помощь координатора. При успешном прохождении даем сертификат. Материалы программы останутся у вас навсегда.

Вы можете начать обучение в любой удобный для вас день. После оплаты вы получите доступ к личному кабинету со всеми материалами программы, а также к облачному кластеру для выполнения лаб.

Доступ к лабам и помощь координатора – в течение 2 месяцев со дня предоставления доступа. Чтобы получить сертификат, необходимо выполнить лабы в течение этого времени. Координатор будет на связи с вами 2 раза в неделю и ответит на все ваши вопросы по лабам.

После прохождения 2 месяцев доступ к кластеру будет закрыт, но лекции и материалы занятий останутся у вас навсегда.

Для того, чтобы прохождение программы было максимально комфортным и интересным, у нас есть роль координатора.

Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.

Большое количество энтерпрайза всё еще использует в работе стабильную версию Spark 2. При этом, основные концепты Spark 2 и Spark 3 не отличаются и большинство основных сложностей встречаются в обеих версиях.

Spark, в целом, своеобразный и популярный фреймворк, но многие вещи в нем не очевидны. Поэтому, наша программа будет полезна и тем, кто использует в работе Spark 3.

Мы не предоставляем документы для налогового вычета, но предлагаем существенные скидки и особые условия рассрочки. Свяжитесь с нашим менеджером, чтобы обсудить специальные условия и вашу ситуацию.