НОВЫЙ 16-Й ПОТОК | 10 ФЕВРАЛЯ – 4 АПРЕЛЯ 2025
DATA ENGINEER
СРЕДНЯЯ ОЦЕНКА ★★★★★ | 65% ПРОХОДЯТ УСПЕШНО
Обновленная интенсивная онлайн-программа с занятиями в зуме и реальными задачами поможет за 2 месяца разобраться с практиками и инструментами дата-инжиниринга
ЗАПИСАТЬСЯ
dsf
fdsfdf
10 ФЕВРАЛЯ – 4 АПРЕЛЯ 2025
DATA ENGINEER 16.0
СРЕДНЯЯ ОЦЕНКА ★★★★★
65% ПРОХОДЯТ УСПЕШНО
МОЖНО ОПЛАТИТЬ В ЛЮБОЙ ВАЛЮТЕ

Интенсивная онлайн-программа с занятиями в зуме и реальными задачами поможет за 2 месяца разобраться с практиками и инструментами дата-инжиниринга
НАЧАТЬ УЧИТЬСЯ
1
8 недель, 20 занятий и 8 лаб
Занятия 3 раза в неделю по 3 часа с 19:00 до 22:00 мск. Онлайн в Zoom с группой. Занятия с преподавателями, общий чат потока, вопросы-ответы, поддержка координаторов и менторов.
2
погружение в практику
Программа направлена на практику в виде лабораторных работ (лаб), которые максимально приближены к реальным задачам дата-инженеров. Все лабы выполняются в облачном кластере и проверяются автоматическими чекерами и проводятся общие разборы решений преподавателями и менторами.
3
путь дата-инженера
После программы вы сможете работать дата-инженером и быстро расти, так как будете хорошо разбираться и в теории, и иметь практический опыт решения характерных задач DE. А если вы уже практикующий DE – сможете структурировать знания и познакомиться с актуальными инструментами и подходами.
Данные должны быть доступными, точными, своевременными, непротиворечивыми, релевантными
В том или ином виде дата-инжиниринг сейчас есть уже во всех компаниях – от самых небольших и до крупных гигантов. Поэтому, устойчивый, надёжный и, как следствие, предсказуемый механизм сбора и обработки данных нужен большинству компаний.

Специалисты по выстраиванию инфраструктуры для таких процессов и разбирающиеся в архитектуре хранилищ данных – это востребованная специальность в современном дата-мире.
КАК УСТРОЕНА
ПРОГРАММА
Эта программа – глубокое погружение в практику. Наша цель — научить вас решать задачи из реальной жизни, а не покрыть список тем. Теория — это инструмент, необходимый для решения задач, а не самоцель.
Теперь 8 ЛАБ
За два месяца вы выполните 8 практических заданий – лаб, каждая из которых использует разные инструменты, про которые вам будут рассказывать на занятиях. Лабы критически важны для понимания возможностей и ограничений использования этих инструментов.

Уже на второй неделе вы научитесь разворачивать Apache Kafka, отправлять в эту систему сообщения и обрабатывать их. Познакомитесь с тем, как писать пайплайны на Apache Airflow – двумя популярными инструментами в области обработки данных.
Логика работы DE
В течение программы мы будем анализировать полученные знания и заполнять карту компетенций. Инструменты и окружение будут обновляться, а общая логика и подобное картирование позволят создать целостную картину о технологиях и практиках. Мы также предложим альтернативы наиболее популярным из них.

Вам часто нужно будет что-то загуглить. После программы у вас будет свой багаж из дополнительных ресурсов.
10+ инструментов
Каждая лаба базируется на использовании ключевых инструментов и фреймворков. Преподаватели-практики покажут и расскажут на занятиях, как ими пользоваться.

Часть инструментов вы сможете проработать глубоко: Kafka, Airflow, ClickHouse, Spark, Redis, Docker. Они будут использованы в лабах и по ним будут подробные занятия.

В программу также входит рассмотрение этих универсальных инструментов: Apache Flink, Grafana, dbt, Kubernetes и др. По некоторым из них будут дополнительные задания.

ДЛЯ КОГО ЭТА ПРОГРАММА

АНАЛИТИКИ

ДАННЫХ

Аналитика данных всё больше перестаёт быть изолированной от инфраструктуры обработки данных. Вам будет полезно пройти эту программу, чтобы лучше понимать общий цикл работы с данными.

Даже если вы не планируете переходить в область DE, понимание общих принципов расширит ваши возможности как специалиста и поможет проще находить общий язык с дата-инженерами. Также вы сможете понять, каково это – работать в более инженерной роли без серьёзных карьерных потрясений.

Бэкенд-

разработчики

Как у бэкенд-разработчика, у вас уже есть необходимый инженерный опыт, и данная программа поможет понять, чем занимаются дата-инженеры – и либо сменить область работы, либо узнать больше о разработке высоконагруженных дата-приложений.

Таким образом, программа будет интересна, если у вас есть опыт работы в нагруженном проекте и вы хотите узнать больше про задачи обработки данных.

Техлиды

и Менеджеры

Эта программа поможет менеджерам команды дата-аналитиков лучше ориентироваться в актуальных инструментах и технологиях и понять, в какую сторону развивать направление внутри компании. Понимание особенностей инструментов позволит также более точно оценивать сроки и лучше понимать требования бизнеса.

Для тех, кто давно не имел дела с данными или использует другой стек технологий, эта программа поможет освежить в памяти современные инструменты и практики DE.
РЕКОМЕНДУЕМЫЕ ЗНАНИЯ ДО ПРОГРАММЫ
1

Python

Это основной язык программирования на программе. Хорошо, если вы уже знакомы с базовым синтаксисом, циклами, условными операторами, функциями, чтением и записью файлов. Это понадобится для работы со Spark и Airflow.
2

Базовые знания Linux

Вы будете использовать командную строку Linux при работе с кластером. Хорошо, если вы уже знаете, как заходить на удалённый сервер по ssh, умеете настраивать авторизацию по ssh-ключу и владеете базовыми командами для перемещения по директориям, созданию и редактированию файлов, и знаете как выйти из vim.
3

SQL

Вы будете использовать Apache Spark. Знание языка SQL может быть полезно для написания скриптов на SparkSQL. Помимо этого, в нескольких лабах вам нужно будет писать небольшие SQL-запросы к ClickHouse.
4
ЗНАКОМСТВО С Hadoop
Вы будете разворачивать свой Hadoop-кластер и работать с YARN и HDFS. Хорошо, если вы уже будете знакомы с этими инструментами и будете понимать для чего они нужны.
КОМУ ПРОГРАММА НЕ ПОДОЙДЕТ

Вы хотите научиться

обучать ML-модели
Эта программа техническая и включает инженерные практики, которые могут показаться перебором для такого запроса. Вам больше подойдёт наша другая программа:

Вы не хотите делать лабы

и настраивать инструменты

Вы конечно можете пройти программу как слушатель и только просматривать занятия, но такой формат существенно уменьшает ценность вашего участия и потраченного времени.

Вы не хотите писать код

или боитесь терминала

Эта программа включает много практики и построена так, что почти во всех лабах придется править конфиги на машинах и писать код в том или ином виде. Если такие перспективы вас отпугивают, скорее всего, программу пройти будет тяжело.

У вас высокая нагрузка в даты программы

В зависимости от вашего начального уровня, участие в программе будет занимать около 20 часов в неделю и требовать вашего внимательного погружения. Если вы не сможете выделить столько времени, советуем вернуться к программе в будущем.
ЭМОЦИИ И ОТЗЫВЫ ВЫПУСКНИКОВ
ЛАБОРАТОРНЫЕ РАБОТЫ

Лаба 1

Подготовка инфраструктуры

Вы настроите собственную ноду в облаке, которая станет вашим учебным стендом для всей программы – так вы разберетесь, как работает наша автоматическая проверка лаб и как настроить необходимые доступы для следующих лаб. Вы прокачаете базовые практики DevOps и познакомитесь с компонентами дата-инфраструктуры.

Лаба 2

Batch-

обработка

Вы организуете пакетную обработку данных в хранилище: получите данные из Kafka с помощью landing-схемы в ClickHouse, а затем, используя Airflow, будете считать агрегаты и перекладывать данные внутри ClickHouse. Вы напишете свой DAG для обработки и научитесь использовать консоль для управления этими инструментами. Здесь понадобятся базовые знания Python и отсутствие страха работы с командной строкой.

Лаба 3

Потоковая
обработка данных
Так как под "потоковой обработкой" часто имеют ввиду "батч-обработку просто с очень маленькими батчами", то эта лаба будет опираться на предыдущую с добавлением новых инструментов. Здесь также заложена вариативность используемых инструментов, и у вас будет возможность познакомиться с несколькими решениями реализации потоковой обработки в зависимости от технических условий задачи.

Лаба 4

Data-
сервис
Вам предстоит написать свой небольшой сервис на Python (мы покажем как) и добавить две системы для дашбордов: одну с бизнес-метриками и одну для операционных задач. Мы разберёмся, в чём разница, и на каких технологиях это делается – примерим на себя шляпу инженера разработки аналитики.

Лаба 5

Сервис
персонализации
Вам предстоит использовать очень грязный источник для дополнительного обогащения данных о событиях пользователей e-commerce портала. Вы создатите витрину для маркетинговой аналитики по результатам прошедшей распродажи и изрядно повозитесь с расчётом агрегатов.

Лаба 6

Контейнеризация
и CI/CD
Ты реализуешь версионирование своего проекта: создашь и настроишь окружение для автоматической сборки и публикации своих пайплайнов в облако. Научишься основам управления версиями, автоматизации развёртывания и познакомишься с инструментами для управления контейнерами.

Лаба 7

DBT

С помощью инструмента dbt соберёте аналитическую витрину в ClickHouse на базе данных о поведении пользовователей. Закрепите работу с источниками и генерацию моделей данных в аналитическом хранилище.

Лаба 8

Хранилище
для BI-дашборда
Эта лаба отличается более открытым техзаданием и позволяет составить впечатление о том, как может выглядеть ваша работа при коммуникации с людьми, далёкими от мира обработки данных. У вас будет постоянно пополняющийся внешний источник данных, для которого нужно спроектировать хранилище и реализовать BI-дашборд с ответами на вопросы бизнес-аналитиков.
ТЕМЫ ЗАНЯТИЙ
ПРЕПОДАВАТЕЛИ И КООРДИНАТОРЫ
Наши преподаватели — только практики из индустрии, умеющие объяснять сложные вещи простыми словами
Игорь Мосягин
МЕНТОР ПРОГРАММЫ
Developer Advocate, DoubleCloud
ДМИТРИЙ АНДРЕЕВ
координатор
Ведущий инженер по работе с инфраструктурой данных, Райффайзенбанк
МАКСИМ ТАРАСОВ
координатор
Lead R&D Engineer, White Wave Media
Николай
Марков
Data Platform Lead, Altenar
Сергей
Гришаев
Architect, Сбермаркет
ЕГОР
МАТЕШУК
Технический директор, ГПМ Дата
Александр
Зайцев
CTO, Altinity
Валерия
Дымбицкая
Разработчик, Upgini
екатерина
островская
Руководитель направления развития бизнес хранилища данных, Райффайзенбанк
Андрей
Кучеров
TechLead DE, Beeline
10 февраля – 6 апреля 2025

СТОИМОСТЬ ОБУЧЕНИЯ

8 недель, 20 занятий с экспертами из индустрии в зуме,
поддержка и обратная связь, реальный опыт использования инструментов и технологий и наш сертификат*

* сертификат на английском языке подтверждает знания и навыки для дата-инжиниринга и выдается только участникам, которые пройдут программу успешно.

109 000₽ 149 000 ₽ | $1090 $1490
стоимость действует только до 31 декабря 2024
  • Записи занятий и все материалы останутся у вас навсегда
  • По уважительной причине можно перевестись на следующий поток бесплатно
  • Сейчас платить не нужно. Оплата только после общения с менеджером
  • Есть рассрочка на 2 месяца от нас и от Т-Банка (Тинькофф)
  • Можно оплатить картой в любой валюте
  • Поможем устроить обучение за счет вашего работодателя
ЗАПИСАТЬСЯ

СТОИМОСТЬ ОБУЧЕНИЯ


109 000₽ 149 000 ₽ | $1090 $1490

стоимость действует только до 31 декабря 2024

Новый поток пройдет 10 февраля – 6 апреля 2025

8 недель, 20 занятий с экспертами из индустрии в зуме,
реальный результат в конце, поддержка и обратная связь.
Записи занятий и материалы остаются у вас навсегда.

Наш сертификат на английском языке подтверждает знания и навыки для дата-инжиниринга и выдается только участникам, которые пройдут программу успешно.

ЗАПИСАТЬСЯ ЗАДАТЬ ВОПРОС
Оставляйте заявку или звоните +74951288675, чтобы узнать подробности.
Сейчас платить не нужно. Оплата только после общения с менеджером.
Есть рассрочка на 2 месяца от нас и от Тинькофф.
Можно оплатить иностранной картой.
Поможем устроить обучение за счет вашего работодателя.

ЧАСТЫЕ ВОПРОСЫ