Кому подойдет этот курс
Разработчикам
Вы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере...
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
cхема выполнения задачи в Spark;
основные термины Spark (job, task, stage);
представление вычислений в виде графа. Spark Python...
Промышленная разработка на Python с BigData Team.
Часть 3. Лучшие практики написания и поддержки Web-приложений
Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать.
3.1 Паттерны проектирования
3.2...
Промышленная разработка на Python с BigData Team.
Часть 2. Автоматизация работы с Web и тестирование сложных зависимостей
Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц.
2.1...
bigdata
bigdata team
python
автоматизация работы с web
алексейдраль
промышленная разработка на python с bigdata team
тестирование
тестирование сложных зависимостей
часть 2
Промышленная разработка на Python с BigData Team.
Часть 1. Лучшие практики написания и тестирования консольных приложений
Вы познакомитесь с типами тестирования, научитесь пользоваться библиотекой pytest, создавать консольные приложения с argparse, отличать юникод от кодировки и правильно с...
bigdata
bigdata team
python
алексейдраль
консольные приложения
промышленная разработка на python с bigdata team
тестирование
тестирования консольных приложений
часть 1
Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
Часть 1.
HDFS, Map Reduce, Hive
В этом модуле вы изучите:
▶ вводная часть: знакомство (задачи, оценки, дедлайны), подробности...
bigdata team
da agent
dwh
hadoop-job
hdfs
hive
map reduce
mapper
streaming
алексейдральдраль
настройка партиционирования
практический курс по big data
сложные ключи
Для кого этот курс
Разработчики
Освоите лучшие практики разработки ПО, научитесь писать поддерживаемый код, прокачаете знания Python. Подойдет Junior и Middle разработчикам.
Аналитики
Научитесь писать код, который позволяет воспроизводить результаты исследований и эффективно проверять гипотезы...