После DLC вы сможете собрать и отладить полноценный пайплайн для realtime analytics: забрать изменения из Postgres через CDC, передать их в Kafka, посчитать метрики в ClickHouse и отдать их через API — а также диагностировать типовые поломки по лагу, свежести и контрактам данных.
Кому подойдет этот курс:
middle+ Data Engineer
Какие инструменты освоите:
- Debezium
- Kafka
- ClickHouse
- PostgreSQL
- FastAPI
- CDC
- Python
- Docker
- Monitoring
- Schema Evolution
Что вы сможете после DLC:
- Собрать полный процесс обработки realtime-данных
Вы соберёте сквозной пайплайн от источника до API и сможете объяснить каждое звено: зачем оно нужно и как влияет на остальные.
- Проектировать метрики для freshness и SLA
Вы научитесь определять, насколько свежи данные, и строить метрики, по которым видно, выполняется ли SLA по задержке и качеству.
- Дебажить инциденты в проде
Дубли, пропущенные события, lag, schema drift, неверные данные — вы научитесь находить причину и восстанавливать пайплайн.
Программа:
- Неделя 1: Realtime mindset, локальный стенд, CDC
Architecture kickoff
Теория
- Что такое realtime analytics в инженерном смысле: latency, freshness, SLA, throughput, correctness
- Типовой prod: CDC → Kafka → OLAP → API
- Где в realtime-пайплайнах возникают ошибки: источник, транспорт, схема, агрегация, serving, monitoring
- Как диагностировать pipeline: lag, offsets, row counts, freshness timestamps, API latency
- Практика
Поднять локальный docker-compose стенд с Postgres, Kafka, Debezium, ClickHouse, FastAPI. Проверить связь всех компонентов и научиться смотреть логи.
CDC basics
Теория
- CDC: зачем он нужен и чем отличается от batch export
- Debezium: snapshot и streaming
- Семантики insert/update/delete в контексте потоковых данных
- Event envelope, keys, ordering, tombstones
- Эволюция схемы и контракт данных между источником и приёмником
- Неделя 2: Kafka ingestion, надежность событий
Kafka refresher
Теория
- Topics, partitions, offsets, consumer groups
- At-least-once delivery и практические последствия. Другие семантики и их сложности
- Idempotency и дубли на уровне downstream
- Backpressure, in-flight и lag: как возникают и как диагностируются
- Контракты для событий: naming, versioning, required fields
- Практика
Написать producer/consumer для тестовых событий. Смоделировать задержку consumer и увидеть lag. Добавить тестовые дубли и проверить, как downstream должен на них реагировать.
- Неделя 3: ClickHouse, ingestion, realtime-агрегации
OLAP
Теория
- Почему для realtime analytics нужен быстрый OLAP
- Kafka Engine / ingestion pattern в ClickHouse и как его настроить и мониторить
- Raw events vs serving tables, materialized views и incremental aggregation
- Replacing/Summing/AggregatingMergeTree: когда они нужны и где легко ошибиться
- Freshness как часть модели данных
- Практика
Подключить ClickHouse к Kafka events. Создать raw events table. Построить materialized views для бизнес-метрик. Посчитать метрики по time window, entity, status/event type. Добавить freshness timestamp.
- Неделя 4: FastAPI metric service и начало проекта
API
Теория
- Зачем нужен API поверх OLAP, если есть дашборды
- Metric endpoints: filters, grouping, time range, pagination/limits
- Cache: где помогает, где вредит freshness
- API-level freshness checks
- Error semantics: когда отдавать stale response, warning или возвращать ошибку
- Практика
Реализовать FastAPI service поверх ClickHouse. Добавить endpoints для нескольких метрик. Поддержать time range и group by. Добавить cache для тяжелого запроса. Добавить freshness check.
- Неделя 5: Ops drill и продолжение проекта
Дебаг
Теория
- Как дебажить realtime pipeline: подход, системность, сигналы
- Runbook для инцидента: симптом, blast radius, гипотеза, проверки, fix, prevention
- Лаги: source lag, Kafka lag, ClickHouse ingestion lag, API freshness
- Schema drift: что ломается и как увидеть раньше пользователя
- Wrong numbers: как сверять source, raw layer, aggregates и API
- Практика
Получить заранее сломанный pipeline. Найти причину lag. Найти schema drift и предложить совместимое исправление. Найти причину неправильной метрики. Написать incident note и recovery plan.
- Неделя 6: Проверка проекта, демо и защита
Финальная подготовка
Теория
- Как объяснять инженерные решения: latency vs correctness, cost vs freshness, simplicity vs flexibility
- Как презентовать pipeline на собеседовании или внутри команды
- Финальный разбор типовых ошибок перед защитой
- Защита проектов
Теория
- Demo на тестовых событиях
- Разбор одной поломки и диагностики
- Вопросы по semantics, freshness, duplicates, schema drift
