Описание
Основополагающая книга по паттернам проектирования систем инженерии данных. Рассматриваются различные шаблоны и рецепты для решения типичных задач в области инженерии данных, организации конвейеров данных, очистки, классификации и отслеживания данных в высоконагруженных системах. Материал сопровождается архитектурными диаграммами и минимальными примерами кода, иллюстрирующими каждый паттерн.
Для специалистов в области данных
Проекты, связанные с обработкой данных, сегодня являются органичной частью любой технической экосистемы. Но во многих компаниях специалисты по инженерии данных занимаются решением проблем, которые уже решены. В этом прикладном руководстве показано, как предоставлять максимально ценные данные, фокусируясь на различных аспектах инженерии данных, а именно: поглощении данных, качестве данных, идемпотентности и многих других.
Автор от начала и до конца демонстрирует весь цикл создания надежного проекта в области инженерии данных, от сбора данных до их мониторинга. В книге собраны реальные паттерны проектирования, то есть, предложены способы решения типичных бизнес-задач. Применяя паттерны, можно добиться безопасной работы с учётом оптимального расхода дискового пространства. При разборе каждого паттерна проблема описывается с точки зрения пользователя, далее предлагается ее решение и рассказывается о результатах применения каждого паттерна в реалистичных сценариях.
Вы узнаете:
- С какими вызовами приходится сталкиваться дата-инженеру, и как они сказываются на проектируемых системах
- Как эти вызовы соотносятся с различными компонентами систем обработки данных
- Полезные примеры применения паттернов инженерии данных
- Как выявлять и решать проблемы, возникающие в уже имеющихся компонентах данных
- Решения, применимые с различными технологиями, как для новых, так и уже существующих проектов обработки данных, сопровождаемые примерами реализации с открытым исходным кодом
Бартош Конечны ,разработчик-фрилансер, программирующий с 2010 г. Занимал различные руководящие должности, что позволило ему работать над множеством задач в области обработки данных в пакетном и потоковом режимах
Формат: скан PDF
