Ближайший поток: 13 сентября – 27 октября 2023
APACHE SPARK
И SCALA
ДЛЯ ДАТА ИНЖИНИРИНГА
APACHE SPARK
И SCALA
ДЛЯ ДАТА ИНЖИНИРИНГА
83 000 69 000 руб
по промокоду DE2023 при оплате
до 7 сентября 2023
по промокоду DE2023 при оплате
до 7 сентября 2023
Осталось 11 свободных мест!
ЗНАНИЯ ДЛЯ КАЖДОГО?
ДЛЯ КАЖДОГО JUNIOR DS/DE/DA!
ДЛЯ КАЖДОГО JUNIOR DS/DE/DA!
ЧТО НАДО
ЗНАТЬ?
ЗНАТЬ?
SQL
Phyton, Java или Scala
Phyton, Java или Scala
СКОЛЬКО НУЖНО СВОБОДНОГО ВРЕМЕНИ?
не меньше 10 свободных часов в неделю
НУЖНЫ ЛИ СВОИ ДАННЫЕ?
Нет, на программе каждый участник будет работать с реальными данными в облачном кластере
ЧЕМУ Я НАУЧУСЬ?
SCALA API
Всё самое лучшее и свежее в Apache Spark есть в скаловском API. Программа начинается с вводного занятия по этому языку. Вы научитесь создавать проекты и работать в IntelliJ IDEA.
ВИТРИНЫ ДАННЫХ
Чтение и запись Parquet/ORC, работа с ElasticSearch, Cassandra, PostgreSQL через JDBC-коннектор, с Data Frames иDataSets API для создания витрин данных.
REAL-TIME
Запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows. Создание кастомного источника данных и синка с использованием Datasource V1 API.
ЧТО ПОЛУЧУ ПОСЛЕ ПОТОКА?
ПОВЫСИТСЯ ГРЕЙД ДО JUNIOR+ ИЛИ MIDDLE+
6 недель на потоке равны опыту года работы. Решите реальные рабочие задачи, про которые не стыдно рассказать на собеседовании и добавить в резюме
РОСТ ЗАРПЛАТЫ
Специалисты, владеющие APACHE SPARK на SCALA, получают ЗП до 340 000 руб.
РОСТ КОНКУРЕНТНОСПОСОБНОСТИ НА РЫНКЕ ТРУДА
APACHE SPARK входит в стек крупных компаний. Например, Сбер, Яндекс, Ozon.
КОНКУРЕНТНОСПОСОБНОСТЬ НА МЕЖДУНАРОДНОМ РЫНКЕ
Больше 10,000 вакансий дата-инженеров по всему миру со стеком Apache Spark для дата-инжиниринга
6 недель на потоке равны опыту года работы. Решите реальные рабочие задачи, про которые не стыдно рассказать на собеседовании и добавить в резюме
РОСТ ЗАРПЛАТЫ
Специалисты, владеющие APACHE SPARK на SCALA, получают ЗП до 340 000 руб.
РОСТ КОНКУРЕНТНОСПОСОБНОСТИ НА РЫНКЕ ТРУДА
APACHE SPARK входит в стек крупных компаний. Например, Сбер, Яндекс, Ozon.
КОНКУРЕНТНОСПОСОБНОСТЬ НА МЕЖДУНАРОДНОМ РЫНКЕ
Больше 10,000 вакансий дата-инженеров по всему миру со стеком Apache Spark для дата-инжиниринга
КАК БУДЕТ ПРОХОДИТЬ ПОТОК?
12 ЗАНЯТИЙ
В Zoom в прямом эфире с преподавателями. На занятиях будет подробно рассмотрена работа с Dataframes API и Spark Structured Streaming.
5 ИНСТРУМЕНТОВ
Помимо самого Apache Spark вы поработаете с Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS для формирования витрин данных для последующего анализа.
6 ЛАБ
Каждую неделю вам нужно будет решать лабораторную работу. Несколько лаб объединены в единый пайплайн от получения данных из Kafka до подготовки и обновления расширенной матрицы признаков.
Основные составные блоки экосистемы: MapReduce, YARN, HDFS, Hive. Их взаимодействие со Spark
Основы функционального программирования. Основные концепции и синтаксис в Scala
Преимущества Spark, основные библиотеки и концепции. Работа с RDD
Работа со Spark UI, чтение и анализ логов Spark, оптимизация джобов, использование Spark REST API
Написание запросов, очистка и подготовка данных, джойны и оконные функции, кэширование и репартишен, UDF
Управление схемой данных, оптимизатор Catalyst, изучение и разбор планов вычислений, выбор правильной последовательности джойнов, уменьшение shuffle
Чтение и запись Parquet/ORC, работа с ElasticSearch, работа с Cassandra, работа с PostgreSQL через JDBC-коннектор
Введение в real-time пайплайны, введение в работу с Kafka, работа с Kafka в Spark, сохранение потоковых данных на HDFS, работа с JSON, чекпоинты и триггеры
Запуск и управление множеством стриминговых запросов, foreachBatch sink, FAIR Scheduler, мониторинг работы streaming-джобов (с использование инструментов Prometeus/Grafana)
Запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows
Создание кастомного источника данных и синка с использованием Datasource V1 API
Итоги программы и разбор эталонных решений и решений частников преподавателем, ответы на вопросы
Основные составные блоки экосистемы: MapReduce, YARN, HDFS, Hive. Их взаимодействие со Spark
Основы функционального программирования. Основные концепции и синтаксис в Scala
Преимущества Spark, основные библиотеки и концепции. Работа с RDD
Работа со Spark UI, чтение и анализ логов Spark, оптимизация джобов, использование Spark REST API
Написание запросов, очистка и подготовка данных, джойны и оконные функции, кэширование и репартишен, UDF
Управление схемой данных, оптимизатор Catalyst, изучение и разбор планов вычислений, выбор правильной последовательности джойнов, уменьшение shuffle
Чтение и запись Parquet/ORC, работа с ElasticSearch, работа с Cassandra, работа с PostgreSQL через JDBC-коннектор
Введение в real-time пайплайны, введение в работу с Kafka, работа с Kafka в Spark, сохранение потоковых данных на HDFS, работа с JSON, чекпоинты и триггеры
Запуск и управление множеством стриминговых запросов, foreachBatch sink, FAIR Scheduler, мониторинг работы streaming-джобов (с использование инструментов Prometeus/Grafana)
Запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows
Создание кастомного источника данных и синка с использованием Datasource V1 API
Итоги программы и разбор эталонных решений и решений частников преподавателем, ответы на вопросы
ПРАКТИКА
Все задания включают в себя живые датасеты и основаны на задачах из реальной жизни
Лаба 0: подготовка
НАСТРОЙКА
ОКРУЖЕНИЯ В INTELLIJ IDEA
НАСТРОЙКА
ОКРУЖЕНИЯ В INTELLIJ IDEA
Для удобной работы со Scala на нашей программе вначале потребуется настроить правильное окружение и научиться пользоваться IntelliJ IDEA.
Лаба 1
ТОП-150 РЕЛЕВАНТНЫХ URL С ПОМОЩЬЮ DATAFRAMES
ТОП-150 РЕЛЕВАНТНЫХ URL С ПОМОЩЬЮ DATAFRAMES
В этой лабе вам нужно будет подобрать топ-150 наиболее релевантных страниц сайтов, на которых можно показывать рекламу для определенного сегмента пользователей рунета.
Лаба 2
СОЗДАНИЕ
ВИТРИНЫ
ДАННЫХ
СОЗДАНИЕ
ВИТРИНЫ
ДАННЫХ
Во 2-й лабе вам нужно будет заняться созданием витрины данных из разных источников: файлы, NoSQL-хранилища, реляционные базы данных.
Лаба 3 и суперачивка
СОХРАНЕНИЕ ЛОГОВ
ИЗ KAFKA ПРИ ПОМОЩИ SPARK
СОХРАНЕНИЕ ЛОГОВ
ИЗ KAFKA ПРИ ПОМОЩИ SPARK
Подключаясь к Kafka, вам нужно будет фильтровать и сохранять логи по разным партициям в зависимости от даты и времени, и одновременно с этим делать агрегацию данных налету по продуктовым метрикам.
Лаба 4
ПОДГОТОВКА
МАТРИЦЫ
USERS X ITEMS
ПОДГОТОВКА
МАТРИЦЫ
USERS X ITEMS
Матрица users x items необходима для многих алгоритмов рекомендательных систем. Чтобы ее получить, необходимо логи просмотров товаров пользователи трансформировать в этот требуемый формат.
Лаба 5
ПОДГОТОВКА
МАТРИЦЫ ПРИЗНАКОВ
ПО ЛОГАМ
ПОДГОТОВКА
МАТРИЦЫ ПРИЗНАКОВ
ПО ЛОГАМ
Матрицу из предыдущей лабы можно обогатить дополнительными знаниями и фактами о пользователе и на основе этой расширенной матрицы дать возможность дата сайентистам строить модели машинного обучения.
ПРЕПОДАВАТЕЛИ
Учитесь у экспертов-практиков, которые могут донести сложный материал простым языком
- ЕГОР МАТЕШУКТехнический директор, ГПМ Дата
- НИКОЛАЙ МАРКОВSenior Principal Architect, Aligned Research Group
- СЕРГЕЙ ГРИШАЕВArchitect, Сбермаркет
ОТЗЫВЫ ВЫПУСКНИКОВ
Прекрасная программа с отменной организацией процесса. Здорово способствует пониманию «подкапотного пространства» спарка. Профессиональные преподаватели, погруженные в тему на 100%. С каждого занятия я выносил что-то, что можно было сразу применить в работе.
Интересно было очень многое, поскольку, даже если я что-то знаю (а я должен знать, и немало), всегда полезно повторить и посмотреть, как другие могут реализовать то же самое: подключение различных систем хранения, использование библиотеки Spark ML в ETL процессе.
Одна из лучших пройденных мной программ, прежде всего, по полноте и глубине представленного материала. Много практических задач, много примеров для понимание теории, подробное объяснение тем.
Понравилось, что преподаватели компетентны. Программа хороша для тех, кто уже работает со Spark и хочет вспомнить какие-то моменты или получить дополнительные знания.
Основной результаты программы для меня — знания и навыки работы со Spark и понимание, где искать ответы.
Мои ожидания от программы оправдались. Было много интересных практических заданий. Главное, я научилась работать с различными источниками данных.
ЧАСТЫЕ ВОПРОСЫ
Мы создаем все условия для того, чтобы максимально приблизить опыт участников к реальным условиям работы (Project Based Learning). Поэтому основу наших программ составляют лабы (лабораторные работы) – системные большие практические задания, которые максимально приближены к реальным задачам специалистов по работе с данными.
- Наша цель — научить вас решать задачи из реальной жизни, а не покрыть список тем. Теория — это инструмент, необходимый для решения задач, а не самоцель.
- Возможность сразу же применять полученные знания в работе и своих проектах.
- Наша программа не про использование стандартных инструментов анализа данных, а про работу именно с большими данными с использованием Apache Spark.
- Мы используем механики и образовательные инструменты, которые позволяют вам приобрести знания и навыки с максимальной вероятностью. По статистике, доля успешно завершивших обычную онлайн-программу редко превышает 25%. На наших программах свыше 60% участников получают по итогам сертификат.
Для того, чтобы прохождение программы было максимально комфортным и интересным, у нас есть роль координатора.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Большое количество энтерпрайза всё еще использует в работе стабильную версию Spark 2. При этом, основные концепты Spark 2 и Spark 3 не отличаются и большинство основных сложностей встречаются в обеих версиях.
Spark, в целом, своеобразный и популярный фреймворк, но многие вещи в нем не очевидны. Поэтому, наша программа будет полезна и тем, кто использует в работе Spark 3.
Spark, в целом, своеобразный и популярный фреймворк, но многие вещи в нем не очевидны. Поэтому, наша программа будет полезна и тем, кто использует в работе Spark 3.
Мы не предоставляем документы для налогового вычета, но предлагаем существенные скидки и особые условия рассрочки. Свяжитесь с нашим менеджером, чтобы обсудить специальные условия и вашу ситуацию.
- Для физических лиц возможна рассрочка
- Для корпоративных клиентов – специальные условия при регистрации групп из более чем 3 участников
- Для выпускников наших программ и их друзей предусмотрены скидки
- Также есть промокоды, которые вы сможете найти в наших социальных сетях и у наших партнеров. Промокоды не суммируются с другими предложениями и скидками
Мы создаем все условия для того, чтобы максимально приблизить опыт участников к реальным условиям работы (Project Based Learning). Поэтому основу наших программ составляют лабы (лабораторные работы) – системные большие практические задания, которые максимально приближены к реальным задачам специалистов по работе с данными.
- Наша цель — научить вас решать задачи из реальной жизни, а не покрыть список тем. Теория — это инструмент, необходимый для решения задач, а не самоцель.
- Возможность сразу же применять полученные знания в работе и своих проектах.
- Наша программа не про использование стандартных инструментов анализа данных, а про работу именно с большими данными с использованием Apache Spark.
- Мы используем механики и образовательные инструменты, которые позволяют вам приобрести знания и навыки с максимальной вероятностью. По статистике, доля успешно завершивших обычную онлайн-программу редко превышает 25%. На наших программах свыше 60% участников получают по итогам сертификат.
Для того, чтобы прохождение программы было максимально комфортным и интересным, у нас есть роль координатора.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Координатор отвечает на технические вопросы по лабам и помогает советами как «старший товарищ» – координатор сам проходил программу и знает о возможных сложностях и их преодолении на собственном опыте.
Большое количество энтерпрайза всё еще использует в работе стабильную версию Spark 2. При этом, основные концепты Spark 2 и Spark 3 не отличаются и большинство основных сложностей встречаются в обеих версиях.
Spark, в целом, своеобразный и популярный фреймворк, но многие вещи в нем не очевидны. Поэтому, наша программа будет полезна и тем, кто использует в работе Spark 3.
Spark, в целом, своеобразный и популярный фреймворк, но многие вещи в нем не очевидны. Поэтому, наша программа будет полезна и тем, кто использует в работе Spark 3.
Мы не предоставляем документы для налогового вычета, но предлагаем существенные скидки и особые условия рассрочки. Свяжитесь с нашим менеджером, чтобы обсудить специальные условия и вашу ситуацию.
- Для физических лиц возможна рассрочка
- Для корпоративных клиентов – специальные условия при регистрации групп из более чем 3 участников
- Для выпускников наших программ и их друзей предусмотрены скидки
- Также есть промокоды, которые вы сможете найти в наших социальных сетях и у наших партнеров. Промокоды не суммируются с другими предложениями и скидками
83 000 69 000 руб
по промокоду DE2023 при оплате до 7 сентября 2023
по промокоду DE2023 при оплате до 7 сентября 2023
Осталось 11 свободных мест!
SPARK SCALA DE 6.0
ЗАНЯТИЯ В ЗУМЕ, ТЕСТЫ И ЛАБЫ
ЗАНЯТИЯ В ЗУМЕ, ТЕСТЫ И ЛАБЫ
Пожалуйста, оставьте свои контакты — мы свяжемся с вами в ближайшее время
Отправляя данную форму, вы подтверждаете свое
согласие на обработку персональных данных
согласие на обработку персональных данных
© 2015–2023, НОЧУ ДПО «НЬЮПРОЛАБ».
Рассрочка — это форма кредита (займа), при которой переплаты по кредиту (займу) не возникает за счет скидки на товар, предоставляемой продавцом. Процентная ставка по продукту «Рассрочка» - от 6,709% до 70% годовых. Минимальная сумма - 3000 р., максимальная сумма - 500 000 рублей. Срок предоставления - от 3 до 36 месяцев. Ваш тариф и размер ежемесячного платежа будет определен по результатам рассмотрения заявки. Подробнее на сайте www.tinkoff.ru. АО «Тинькофф Банк», ООО «Микрофинансовая компания «Т-Финанс».