15-Й обновленный поток: 14 ОКТЯБРЯ - 6 ДЕКАБРЯ 2024


DATA ENGINEER

Средняя оценка ★★★★★ | 65% проходят успешно

Интенсивная онлайн-программа с занятиями в зуме и реальными задачами
поможет за 2 месяца разобраться с практиками и инструментами дата-инжиниринга
НАЧАТЬ УЧИТЬСЯ
1
8 недель, 20 занятий и 6 лаб
Занятия 3 раза в неделю по 3 часа с 19:00 до 22:00 мск. Онлайн в Zoom с группой. Занятия с преподавателями, общий чат потока, вопросы-ответы, поддержка координаторов и менторов.
2
погружение в практику
Программа направлена на практику в виде лабораторных работ (лаб), которые максимально приближены к реальным задачам дата-инженеров. Все лабы выполняются в облачном кластере и проверяются автоматическими чекерами и проводятся общие разборы решений преподавателями и менторами.
3
путь дата-инженера
После программы вы сможете работать дата-инженером и быстро расти, так как будете хорошо разбираться и в теории, и иметь практический опыт решения характерных задач DE. А если вы уже практикующий DE – сможете структурировать знания и познакомиться с актуальными инструментами и подходами.
Данные должны быть доступными, точными, своевременными, непротиворечивыми, релевантными
В том или ином виде дата-инжиниринг сейчас есть уже во всех компаниях – от самых небольших и до крупных гигантов. Поэтому, устойчивый, надёжный и, как следствие, предсказуемый механизм сбора и обработки данных нужен большинству компаний.

Специалисты по выстраиванию инфраструктуры для таких процессов и разбирающиеся в архитектуре хранилищ данных – это востребованная специальность в современном дата-мире.
КАК УСТРОЕНА
ПРОГРАММА
Эта программа – глубокое погружение в практику. Наша цель — научить вас решать задачи из реальной жизни, а не покрыть список тем. Теория — это инструмент, необходимый для решения задач, а не самоцель.
6 ЛАБ
За два месяца вы выполните 6 практических заданий – лаб, каждая из которых использует разные инструменты, про которые вам будут рассказывать на занятиях. Лабы критически важны для понимания возможностей и ограничений использования этих инструментов.

Уже на второй неделе вы научитесь разворачивать Apache Kafka, отправлять в эту систему сообщения и обрабатывать их. Познакомитесь с тем, как писать пайплайны на Apache Airflow – двумя популярными инструментами в области обработки данных.
Логика работы DE
В течение программы мы будем анализировать полученные знания и заполнять карту компетенций. Инструменты и окружение будут обновляться, а общая логика и подобное картирование позволят создать целостную картину о технологиях и практиках. Мы также предложим альтернативы наиболее популярным из них.

Вам часто нужно будет что-то загуглить. После программы у вас будет свой багаж из дополнительных ресурсов.
10+ инструментов
Каждая лаба базируется на использовании ключевых инструментов и фреймворков. Преподаватели-практики покажут и расскажут на занятиях, как ими пользоваться.

Часть инструментов вы сможете проработать глубоко: Kafka, Airflow, ClickHouse, Spark, Redis, Docker. Они будут использованы в лабах и по ним будут подробные занятия.

В программу также входит рассмотрение этих универсальных инструментов: Apache Flink, Grafana, dbt, Kubernetes и др. По некоторым из них будут дополнительные задания.

ДЛЯ КОГО ЭТА ПРОГРАММА

АНАЛИТИКИ

ДАННЫХ

Аналитика данных всё больше перестаёт быть изолированной от инфраструктуры обработки данных. Вам будет полезно пройти эту программу, чтобы лучше понимать общий цикл работы с данными.

Даже если вы не планируете переходить в область DE, понимание общих принципов расширит ваши возможности как специалиста и поможет проще находить общий язык с дата-инженерами. Также вы сможете понять, каково это – работать в более инженерной роли без серьёзных карьерных потрясений.

Бэкенд-

разработчики

Как у бэкенд-разработчика, у вас уже есть необходимый инженерный опыт, и данная программа поможет понять, чем занимаются дата-инженеры – и либо сменить область работы, либо узнать больше о разработке высоконагруженных дата-приложений.

Таким образом, программа будет интересна, если у вас есть опыт работы в нагруженном проекте и вы хотите узнать больше про задачи обработки данных.

Техлиды

и Менеджеры

Эта программа поможет менеджерам команды дата-аналитиков лучше ориентироваться в актуальных инструментах и технологиях и понять, в какую сторону развивать направление внутри компании. Понимание особенностей инструментов позволит также более точно оценивать сроки и лучше понимать требования бизнеса.

Для тех, кто давно не имел дела с данными или использует другой стек технологий, эта программа поможет освежить в памяти современные инструменты и практики DE.
РЕКОМЕНДУЕМЫЕ ЗНАНИЯ ДО ПРОГРАММЫ
1

Python

Это основной язык программирования на программе. Хорошо, если вы уже знакомы с базовым синтаксисом, циклами, условными операторами, функциями, чтением и записью файлов. Это понадобится для работы со Spark и Airflow.
2

Базовые знания Linux

Вы будете использовать командную строку Linux при работе с кластером. Хорошо, если вы уже знаете, как заходить на удалённый сервер по ssh, умеете настраивать авторизацию по ssh-ключу и владеете базовыми командами для перемещения по директориям, созданию и редактированию файлов, и знаете как выйти из vim.
3

SQL

Вы будете использовать Apache Spark. Знание языка SQL может быть полезно для написания скриптов на SparkSQL. Помимо этого, в нескольких лабах вам нужно будет писать небольшие SQL-запросы к ClickHouse.
4
ЗНАКОМСТВО С Hadoop
Вы будете разворачивать свой Hadoop-кластер и работать с YARN и HDFS. Хорошо, если вы уже будете знакомы с этими инструментами и будете понимать для чего они нужны.
КОМУ ПРОГРАММА НЕ ПОДОЙДЕТ

Вы хотите научиться

обучать ML-модели

Эта программа техническая и включает инженерные практики, которые могут показаться перебором для такого запроса. Вам больше подойдёт наша другая программа:

Вы не хотите делать лабы

и настраивать инструменты

Вы конечно можете пройти программу как слушатель и только просматривать занятия, но такой формат существенно уменьшает ценность вашего участия и потраченного времени.

Вы не хотите писать код

или боитесь терминала

Эта программа включает много практики и построена так, что почти во всех лабах придется править конфиги на машинах и писать код в том или ином виде. Если такие перспективы вас отпугивают, скорее всего, программу пройти будет тяжело.

У вас высокая нагрузка в даты программы

В зависимости от вашего начального уровня, участие в программе будет занимать около 20 часов в неделю и требовать вашего внимательного погружения. Если вы не сможете выделить столько времени, советуем вернуться к программе в будущем.
ЭМОЦИИ И ОТЗЫВЫ ВЫПУСКНИКОВ
ЛАБОРАТОРНЫЕ РАБОТЫ

Лаба 1

Подготовка инфраструктуры

Вы настроите собственную ноду в облаке, которая станет вашим учебным стендом для всей программы – так вы разберетесь, как работает наша автоматическая проверка лаб и как настроить необходимые доступы для следующих лаб. Вы прокачаете базовые практики DevOps и познакомитесь с компонентами дата-инфраструктуры.

Лаба 2

Batch-

обработка

Вы организуете пакетную обработку данных в хранилище: получите данные из Kafka с помощью landing-схемы в ClickHouse, а затем, используя Airflow, будете считать агрегаты и перекладывать данные внутри ClickHouse. Вы напишете свой DAG для обработки и научитесь использовать консоль для управления этими инструментами. Здесь понадобятся базовые знания Python и отсутствие страха работы с командной строкой.

Лаба 3

Потоковая
обработка данных
Так как под "потоковой обработкой" часто имеют ввиду "батч-обработку просто с очень маленькими батчами", то эта лаба будет опираться на предыдущую с добавлением новых инструментов. Здесь также заложена вариативность используемых инструментов, и у вас будет возможность познакомиться с несколькими решениями реализации потоковой обработки в зависимости от технических условий задачи.

Лаба 4

Data-
сервис
Вам предстоит написать свой небольшой сервис на Python (мы покажем как) и добавить две системы для дашбордов: одну с бизнес-метриками и одну для операционных задач. Мы разберёмся, в чём разница, и на каких технологиях это делается – примерим на себя шляпу инженера разработки аналитики.

Лаба 5

Сервис
персонализации
Вам предстоит использовать очень грязный источник для дополнительного обогащения данных о событиях пользователей e-commerce портала. Вы создатите витрину для маркетинговой аналитики по результатам прошедшей распродажи и изрядно повозитесь с расчётом агрегатов.

Лаба 6

Хранилище
для BI-дашборда
Эта лаба отличается более открытым техзаданием и позволяет составить впечатление о том, как может выглядеть ваша работа при коммуникации с людьми, далёкими от мира обработки данных. У вас будет постоянно пополняющийся внешний источник данных, для которого нужно спроектировать хранилище и реализовать BI-дашборд с ответами на вопросы бизнес-аналитиков.
ТЕМЫ ЗАНЯТИЙ
ПРЕПОДАВАТЕЛИ И КООРДИНАТОРЫ
Наши преподаватели — только практики из индустрии, умеющие объяснять сложные вещи простыми словами
DoubleCloud
🏆 Игорь Мосягин
МЕНТОР ПРОГРАММЫ
Developer Advocate
Райффайзенбанк
ДМИТРИЙ АНДРЕЕВ
КООРДИНАТОР
Ведущий инженер по работе с инфраструктурой данных
Aligned Research Group
Николай
Марков
Senior Principal Architect
Сбермаркет
Сергей
Гришаев
Architect
ГПМ Дата
ЕГОР
МАТЕШУК
Технический директор
Altinity
Александр
Зайцев
CTO
Upgini
Валерия
Дымбицкая
Разработчик
Райффайзенбанк
екатерина
островская
Руководитель направления развития бизнес хранилища данных
Поток с 14 октября по 6 декабря 2024

СТОИМОСТЬ ОБУЧЕНИЯ

8 недель, 20 занятий с экспертами из индустрии в зуме,
поддержка и обратная связь, реальный опыт использования инструментов и технологий и наш сертификат*

* сертификат на английском языке подтверждает знания и навыки для дата-инжиниринга и выдается только участникам, которые пройдут программу успешно.

99 000₽
стоимость действует до 1 сентября 2024
  • Записи занятий и все материалы останутся у вас навсегда
  • По уважительной причине можно перевестись на следующий поток бесплатно
  • Сейчас платить не нужно. Оплата только после общения с менеджером
  • Есть рассрочка на 2 месяца от нас и от Т-Банка (Тинькофф)
  • Можно оплатить любой иностранной картой
  • Поможем устроить обучение за счет вашего работодателя
ЗАПИСАТЬСЯЗАДАТЬ ВОПРОС

СТОИМОСТЬ ОБУЧЕНИЯ

99000₽

Поток программы с 14 октября по 6 декабря 2024

8 недель, 20 занятий с экспертами из индустрии в зуме,
реальный результат в конце, поддержка и обратная связь.
Записи занятий и материалы остаются у вас навсегда.

Наш сертификат на английском языке подтверждает знания и навыки для дата-инжиниринга и выдается только участникам, которые пройдут программу успешно.

ЗАПИСАТЬСЯЗАДАТЬ ВОПРОС
Оставляйте заявку или звоните +74951288675, чтобы узнать подробности.
Сейчас платить не нужно. Оплата только после общения с менеджером.
Есть рассрочка на 2 месяца от нас и от Тинькофф.
Можно оплатить иностранной картой.
Поможем устроить обучение за счет вашего работодателя.

ЧАСТЫЕ ВОПРОСЫ