9-Й ПОТОК: 16 ЯНВАРЯ - 11 ФЕВРАЛЯ 2025

APACHE SPARK 3 ADVANCED

▶️ видео-отзыв

9-Й ПОТОК: 16 января – 11 февраля 2025

APACHE SPARK 3 ADVANCED ▶️ видео-отзыв

Работа датафреймов «под капотом» и как ускорить обработку данных в своих проектах
Взаимодействие с внешними источниками, которые не поддерживаются Spark из коробки или для которых нет уже кем-то разработанных коннекторов
Пользовательские функции — как писать быстро, какие подходы можно использовать, что можно из них выжать и какие есть паттерны их использования
8 занятий
2 раза в неделю
Занятия раз в неделю по
3 часа с 19:00 до 22:00 мск, проект из 4-х лаб и отработка навыков
Онлайн в зуме
и малая группа до 20 человек
Занятия с преподавателем, лайвкодинг, вопросы-ответы и поддержка в чате участников
Средняя оценка
★★★★★
На основе отзывов выпускников предыдущих 8-ми потоков. Всего программу прошли 173 человека
Dataframe API
Spark Structured Streaming API
org.apache.spark.sql.Row
py4j в pyspark
Scala UDF в pyspark

ВЫ НУЧИТЕСЬ

  • работать с внутренними структурами Spark 3
  • использовать py4j для взаимодействия со структурами Spark 3 из Python в JVM
  • писать хорошие высокопроизводительные Scala UDF
  • писать нативные UDF на internal row
  • работать с планировщиками запускать и синхронные действия на dataframe
  • выбирать оптимальные ресурсы для Spark 3 приложения
  • разрабатывать коннекторы к источникам с помощью static UPS и с помощью стримов

ВХОДНЫЕ ТРЕБОВАНИЯ

  • Опыт построения ETL и стриминг пайплайнов с помощью Spark
  • Базовые знания Python
  • Понимание архитектуры распределенных вычислений с использованием HDFS, YARN
  • Практический опыт разработки на Scala
  • Базовые навыки Linux
  • Знание основ TCP/IP
  • Понимание как работают распределенные базы данных
  • Опыт работы и использования библиотек Mongo

ПРАКТИКА

В этой программе есть четыре лабораторных работы, которые необходимо выполнить самостоятельно в нашей инфраструктуре. Лабы проверяются автоматическими чекерами и количество попыток неограниченно. Преподаватель и координатор будут отвечать на ваши вопросы и всегда помогут по техническим вопросам.

Лабы объединены в пайплайн и за 4 недели вам нужно будет разработать коннектор к гибридному хранилищу, который для хранения данных использует одновременно Mongo и файловую систему. Вы будете самостоятельно разрабатывать статическую часть этого коннектора для работы со Static Dataframe API, стримовую часть и малую часть и добавлять туда Predicate Pushdown фильтры. Лабы проверяется автоматически, количество попыток не ограничено.

ИНФРАСТРУКТУРА ПРОГРАММЫ

GitHub
Все материалы занятий, инструкции к лабам и мануалы размещаются в закрытом репозитории программы
Личный кабинет
В нем вы сможете проверить правильность выполнения лаб, используя автоматические чекеры, а также отслеживать свою успеваемость для получения сертификата
Чат для участников в Telegram
Общее пространство участников для обсуждения лаб и взаимодействия с координатором
ПРЕПОДАВАТЕЛЬ программы
Сергей Гришаев, Architect, Сбермаркет
Проведет 8 занятий в зуме и ответит на все ваши вопросы в чате
ПРЕПОДАВАТЕЛЬ ПРОГРАММЫ
Сергей Гришаев, Architect, Сбермаркет
Проведет 8 занятий в зуме и ответит на все ваши вопросы в чате

РАСПИСАНИЕ ЗАНЯТИЙ

CЕРТИФИКАТ
НА АНГЛИЙСКОМ
ЯЗЫКЕ
Мы выдаем сертификат только участникам, которые пройдут программу успешно и выполнят любые три лабы из четырех в срок.

Наш сертификат на английском языке и он подтверждает ваши навыки работы с Apache Spark для задач дата-инжиниринга на продвинутом уровне.

Сертификат можно будет добавить в свое резюме или в свой Linkedin-профиль, указав уникальный номер.
CЕРТИФИКАТ
НА АНГЛИЙСКОМ
ЯЗЫКЕ
Мы выдаем сертификат только участникам, которые пройдут программу успешно и выполнят любые три лабы из четырех в срок.

Наш сертификат на английском языке и он подтверждает ваши навыки работы с Apache Spark для задач дата-инжиниринга на продвинутом уровне.

Сертификат можно будет добавить в свое резюме или в свой Linkedin-профиль, указав уникальный номер.
СТОИМОСТЬ УЧАСТИЯ
8 живых занятий с экспертом из индустрии в зуме, реальный результат в конце, поддержка и обратная связь. Записи занятий и материалы остаются у вас навсегда.
65 000₽ 79 000 ₽ | $650 $790
стоимость действует только до 31 декабря 2024
Оставляйте заявку или звоните +74951288675, cчтобы узнать подробности.
Сейчас платить не нужно. Оплата только после общения с менеджером.
Можно оплатить иностранной картой.
СТОИМОСТЬ УЧАСТИЯ
65 000₽ 79 000 ₽
$650 $790
стоимость действует только до 31 декабря 2024
8 недель и 8 живых занятий с экспертом из индустрии в зуме, реальный результат в конце, поддержка и обратная связь.

Записи занятий и материалы остаются у вас навсегда.

Оставляйте заявку или звоните +74951288675, чтобы узнать подробности. Сейчас платить не нужно. Оплата только после общения с менеджером. Можно оплатить иностранной картой.

ОТЗЫВЫ УЧАСТНИКОВ