Модуль "Hadoop"

После защиты диссертации в области анализа данных, я решил работать в этой же сфере, но в продакшене, однако с продакшен анализом данных знаком не был. Программа была очень насыщенная, очень много материала в сжатые сроки. Очень интересный подход, когда тебе предоставляют реальные продакшен задачи, и приходится за неделю разобраться, как их решать. После таких задач, если справишься, не будет проблем с новыми незнакомыми проектами в реальной жизни. Очень тяжело в первые недели было разобраться, что и как делать в проектах, с чего следует начинать, хотелось некоего плана по шагам, как работать над проектом, мне этого не хватало.
Сейчас работаю в Берлине в крупной компании Zalando, разрабатываю модели машинного обучения в основном на Java Spark.

Я прошел большинство онлайн-курсов по Data Science, к примеру, классический курс от Andrew Ng. Онлайн курсы дают неплохое представление об использовании того или иного инструмента, и вместе с тем для меня было важно получить ответы на вопросы о тонкостях внедрения и использования различных технологий. Оффлайн формат, когда можно легко общаться с опытными коллегами, отлично для этого подходит.
Благодаря программе мне удалось выбрать правильные технологии, позволяющие наилучшим образом внедрить и настроить систему. Я понял, что big data — это понятно и просто, и научился использовать эти технологии для извлечения максимальной пользы с минимальными затратами.

У меня был опыт обработки и хранения достаточно больших данных помощью традиционных реляционных БД, но мне хотелось его расширить. Большие надежды я возлагал на изучение стеков Hadoop и Spark — и они оправдались. А еще очень полезным оказался разбор реальных кейсов: практика map-reduce на Hadoop, применение машинного обучения для задач классификации, разбор и практическая реализация различных алгоритмов для получения рекомендаций.

Программа оптимально чередует теорию и практические занятия. Больше всего мне понравились преподаватели; ребята с большим опытом в сфере IT, которые рассказывали жизненные примеры, не ограничиваясь сухой теорией. Знания, полученные в процессе обучения, я уже применяю в работе. Благодаря курсу я составил план развития направления Big Data в нашей компании.

Программа непросто оправдала, но превзошла все мои ожидания. За короткое время мы изучили и теоретическую часть (алгоритмы, методы, подходы к проектированию) и практическую (экосистему Hadoop, различные фреймворки для machine learning и визуализации). Пока шла учеба, я также понял, в какую сторону хочу дальше развиваться, и в результате сменил работу. Со своими новыми коллегами я познакомился на программе.

Это были 3 месяца, от которых испытываешь настоящее удовольствие. Представьте университет наоборот: преподаватели с практическим опытом, лабораторные на основе бизнес-кейсов, а у кластера бывает даун-тайм, потому что надо обновиться до последней версии Spark. Представьте, что обучение — это отпуск с впечатлениями, переживаниями и знаниями в остатке. Тогда курс "Специалист по Big Data — это курортный роман, который остается в памяти навсегда.

Я менеджер, отвечающий за разработку ПО, и сам не программировал много лет, поэтому программа была для меня достаточно сложной, я регулярно засиживался за полночь, делая лабораторные. Но результат все оправдал: теперь, глядя на задачи в области обработки данных, NLP, рекомендательных систем, машинного обучения, я хорошо понимаю технологии и квалификацию, которые нужны для их решения. Если у вас есть потребность в обработке данных или создания ПО в этой области — программа для вас!

Пока шла учеба, я занимался по 15-20 часов в неделю. Но занятия вызывали живой интерес, поэтому я смог справиться с такой нагрузкой. Больше всего меня вдохновили люди, с которыми я учился, и преподаватели-практики, которые на протяжении всего курса передавали свои знания и опыт. Как результат — есть желание продолжать развиваться в этой области и уверенность в своих силах.