Цель была поглубже изучить Spark и понять, как он внутри работает чтобы и код оптимальнее писать и чтобы потом внутрь можно было залезть, доделать, улучшить и какие-то модули дописать, чем мы и занимались на курсе.

Понравилось, что было два вектора: первое – это общие интересные вещи, антипаттерны, оптимизация UDF функций. Второй трек – что касается лаб, надо было написать свой коннектор со всеми оптимизациями.

То, что изучали на программе, может пригодиться каждый день в работе, когда пишешь запросы и когда пишешь код. Лабораторные помогли понять как Spark внутри работает. Также хороший опыт со Scala – углубленные серьезные вещи, все было полезно.

Разработка коннектора – это потенциал на будущее и понимание как оно работает.


Преподаватель Сергей Гришаев очень компетентный, в тоже время хорошо владеет русским языком, очень хорошо объясняет, отвечает на все вопросы, даже глупые. Сложно что-то добавить, просто очень хорошо.

Программа однозначно понравилась. На вопросы не дают прямого ответа, чтобы ты сам мог покопаться, преподаватель дает вектор куда думать, когда что-то не получалось.

Кто будет учиться на программе – рекомендую не откладывать решение лаб, лучше сразу сесть и разбираться после лекции, много подводных камней и может занять много времени. И не пропускать лекции, слушать и задавать вопросы.

Пришел на Spark Advanced как на продолжение программы Apache Spark, чтобы развивать приобретенные навыки. Apache Spark зашел на Ура и очень понравился.

В результате этой программы получил знания, драйв, проверил себя на прочность. Мне понравился занимательный материал, отличное проведение лекций и очень крутые задачки и чекер.

В целом, это сложная и интересная программа. Может быть, цель создания своего коннектора и не возникнет на работе, но организация гибридного программного модуля, выполняющего некие другие функции, на Spark+Scala нужно будет точно. Тут полет фантазии -)

Материала на программе достаточно и Сергей Гришаев – отличный преподаватель. На все вопросы может ответить, всегда приходит на помощь и разъясняет трудные моменты. Другой момент, что нужно внимательно слушать.

Я в целом доволен вашей работой и подходами, задачами, знаниями и преподавателями. Огромное спасибо. Вы понимаете, и учащимся тоже надо понять, что освоение материалов именно должно быть интенсивным. Без полного погружения все это не откладывается на подкорке.

Достиг целей, которые ставил на программу на все 100%! Ранее проходил другие программы Newprolab и решил пройти новую для себя.

Узнал, как можно разрабатывать свои фильтры и коннекторы, больше узнал о том, как работает Spark "под капотом" и в целом поданная информация была полезна, материала по темам было достаточно. То, что все 4 задачи выложили сразу – тоже было плюсом.

Преподаватель Сергей Гришаев хорошо в целом ведет занятия, очень нравится его активность "вне занятий" – помощь в вопросах.

Тем, кто работает со Spark, программа даст глубокие знания и я его могу порекомендовать. Если человек просто работает на поверхности со спарком, то возможно столь глубокие знания будут излишни.

До этого проходил начальную программу по Спарку, очень понравилось, захотел углубиться и взять ещё одну программу

Получил углублённое знание о принципах работы Спарка и его апи. Понравился детальный разбор всех вопросов и подача материала от преподавателя.

Понравился детальный разбор всех вопросов и подход преподавателя к обучению. Объема материала по темам было достаточно, а пройти программу успешно мне помешала загрузка на работе.

Программу могу рекомендовать, всё было на высшем уровне, на любой мой вопрос был дан ответ в кратчайшие сроки. При возникновении потребности в обучении обязательно вернусь в Newprolab.

Понял, как копаться в кишках спарка и переиспользовать классы. Буду применять некоторые фишки в рабочих процессах. К сожалению, было сложно найти время для лабораторных работ.

В результате программы приобрел более глубокое понимание работы спарка. Долго копался с монгой и долго копался с итератором. Всем занятиям ставлю 5 из 5 баллов. Планирую применять полученные знания в работе.

Ожидания от программы оправдались. Удалось узнать больше про внутренние структуры спарка, научиться с ними работать. Понял, как писать свои коннекторы к источникам данных, использовать scala udf в pyspark. Буду использовать знания в рабочих проектах. Уже порекомендовал ваши программы своим знакомым в разных компаниях. Спасибо!

Высокое качество материала, идеальный баланс между теорией и практическими примерами. Порадовали оперативные ответы в Телеграм. Главный результат обучения – понимание некоторых нюансов по Cпарку, о которых ранее не задумывался, так как не приходилось сталкиваться на практике. На текущей работе лично мне не требуется столь глубокий уровень Спарка, так как пайплайны достаточно простые и не нагруженные. Для меня сейчас – это скорее теоретические знания, к которым можно будет обратиться в будущем. Лабы были сложные.

Это первая программа, которая захватывают разработку коннекторов, можно сказать что больше таких программ наверное нигде нет. Для меня такой точно первая.

Я пытался до этого разбираться с API коннекторов, но это довольно-таки сложная штука. Сам я бы еще очень долго с ними разбирался. Сейчас все гораздо проще стало. Я стал лучше понимать внутреннюю логику Spark, как он работает и вообще про Spark узнал некоторые вещи, которые раньше не знал. Я и раньше не проходил некоторые собеседования, а теперь точно любые пройду. Большое спасибо!

Мне понравилась программа, мне нравятся челенджи, мне нравится делать, когда непонятно что делать. Рамки были узкие и времени мало. Задачи очень интересные, очень понравилось ковыряться. У меня это уже третяя программа от Newprolab – уже знаешь куда идешь!