Оставить заявку

программа по запросу: проводится только для групп от 20 чел

анализ данных

на scala

apache spark
apache flink
вывод моделей в прод
5 лаб
Каждую неделю вам нужно будет решить лабораторную работу и суперачивку. Лабы выполняются в облачном кластере и проверяются автоматическими чекерами
10 занятий в ЗУМЕ
С преподавателями-практиками, обладающих серьезным опытом в анализе данных на Scala. Вы сможете задать вопросы и получить ответы во время занятий
координаторы
В выполнении лаб участникам будет помогать координатор – ответит на все технические вопросы и направит в нужную сторону для успешного решения лаб
ЯЗЫК, ОТКРЫВАЮЩИЙ НОВЫЕ ВОЗМОЖНОСТИ
Зная Scala, вы будете писать более стабильные и быстрые приложения на Apache Spark. Вам не надо будет ждать, пока новые функции будут реализованы в Python API. Вам не надо будет ужасаться количеству строк, написанных на Java. Вы сможете работать с Apache Flink и Akka. Сможете писать ML-код в прод, в том числе используя библиотеки XGBoost4j, Deeplearning4j.

ДЛЯ КОГО ЭТА ПРОГРАММА

Дата-сайентисты
Вы уже анализируете данные, используя Python? На нашей программе вы научитесь писать код на Scala в продакшен, а также сможете получить большую функциональность Spark в Scala API.
Дата-инженеры
Вы умеете извлекать, обрабатывать и загружать данные, используя Python или Java? Теперь научитесь это делать, взаимодействуя со Spark, Flink, Kafka через Scala API.
Scala-разработчики
Вы уже обладаете опытом программирования на Scala? У нас вы научитесь при помощи него анализировать данные и сможете перейти в смежную и более перспективную отрасль.

О ЧЕМ ВЫ УЗНАЕТЕ

В нашей программе есть три составляющих
Язык
Научитесь использовать Scala в рамках парадигмы функционального программирования и объектно-ориентированного. Научитесь использовать функции высшего порядка, частично определенные функции, каррирование, коллекции и многое другое.
Spark
Научитесь обрабатывать данные, используя RDD, Dataframes и Datasets. Писать на Scala ETL-джобы, строить модели машинного обучения, оптимизировать их гиперпараметры, а также создавать приложения для near real-time обработки.
Production
Научитесь пользоваться Apache Flink для настоящего real-time. Работать с такими библиотеками машинного обучения как XGBoost4j, Deeplearning4j, которые больше подходят для использования в production-среде.
ПРАКТИКА
Лаба 1 и суперачивка
Расчет рейтингов для фильмов
Вводная лаба, чтобы познакомиться с синтаксисом и принципами работы со Scala. В ней нужно реализовать неперсонализированную рекомендательную систему: рассчитать топы лучших фильмов.
Лаба 2 и суперачивка
Работа с Dataframes и Datasets в Spark
В этой лабе вам нужно будет рассчитать похожесть описаний различных онлайн-курсов. Это ляжет в основу другой рекомендательной системы. Вы будете оперировать датафреймами и датасетами на Spark.
Лаба 3 и суперачивка
Spark ML
Вам нужно будет решить задачу классификации: будет ли смотреть клиент тот или иной фильм, основываясь на данных просмотра им телевизора. Для решения задачи вы будете пользоваться библиотекой Spark ML.
Лаба 4 и суперачивка
Предсказание пола и возрастной категории в near real-time
Вам в Kafka будут приходить данные о пользователе на сайте. Вам нужно будет, используя Spark Streaming, сделать прогноз относительно его пола и возрастной категории.
Лаба 5 и суперачивка
Прогнозирование оттока клиентов при помощи XGBoost4j
Используя данные о поведении клиентов банка, сделать прогноз, уйдет ли тот или иной клиент в течение следующих 3 месяцев. Модель нужно построить с применением XGBoost4j, больше пригодной для production.
СТОИМОСТЬ ПРОГРАММЫ
ДЛЯ ОДНОГО УЧАСТНИКА

69 000 руб
Проводим программу по запросу для группы от 20 человек

  • Для физических лиц возможна рассрочка.
  • Для корпоративных клиентов — специальные условия при регистрации групп из более чем 3 участников.
  • Для выпускников наших программ и их друзей предусмотрены скидки.

Оставляйте заявку или звоните +74951288675, чтобы узнать подробности!
ОТПРАВИТЬ ЗАЯВКУ

ВХОДНЫЕ ТРЕБОВАНИЯ

Умение программировать на Python или Java
Если вы умеете анализировать данные с помощью одного из этих языков программирования, то у нас вы сможете научиться анализировать данные, используя Scala.
Базовые знания Linux
Какое-то количество времени вы будете проводить в командной строке Linux, работая с нашим кластером. Хорошо, если вы уже будете уметь перемещаться по директориям, создавать и редактировать файлы, заходить на удаленный сервер по ssh.
Знание SQL
На программе вы будете использовать такой инструмент как Apache Spark. Для работы с ним вам может пригодиться умение писать запросы на этом языке: селекты, джойны, фильтры, подзапросы.
Статистика и линейная алгебра
На программе мы будем рассматривать алгоритмы машинного обучения и их реализацию в различных библиотеках, имеющих Scala API, поэтому хорошо, если вы знаете основы статистики и линейной алгебры: среднее, дисперсия, вероятность, теорема Байеса, корреляция, ранг матрицы.
ПАРТНЕР ПО ИНФРАСТРУКТУРЕ
Экосистема облачных сервисов от VK Cloud Solutions помогает строить надежные IT-системы. Входящие в VK Cloud Solutions решения — виртуальные сервера, объектное хранилище, управляемые базы данных, кластеры Kubernetes и многое другое — позволяют запускать приложения и сервисы, работать с большими объемами данных и решать другие задачи крупного, среднего и малого бизнеса.

ЧАСТЫЕ ВОПРОСЫ