[Stepik] LLM для Python-разработчиков: от RAG до агентов [Попов Станислав]

Чему вы научитесь

• Вы научитесь использовать LLM как инженерный компонент: отправлять запросы через API и локальные движки (Ollama, llama.cpp), строить RAG на Chroma и Qdrant, и создавать агентов с памятью и инструментами на LangChain и CrewAI.
• Освоите дообучение open-source моделей (Mistral) методами LoRA — даже на бесплатной GPU в Colab — и сможете запускать их локально в формате GGUF.
• Научитесь интегрировать всё в FastAPI-приложения, покрывать тестами, оценивать качество с помощью RAGAS и кастомных метрик, а также настраивать логирование, health-check’и и защиту от промпт-инъекций.

О курсе
Этот курс создан для бэкенд-разработчиков, которые хотят начать работать с LLM и агентами, не имея бэкграунда в математике или машинном обучении.
Цель — дать не теорию, а инженерные навыки: как взять open-source LLM, дообучить её на своих данных, встроить в микросервис.
Почему именно этот курс?

• Нет академической математики — только то, что нужно для работы
• Все примеры — на Python, FastAPI
• Акцент на продакшен: тесты, логи, безопасность, масштабируемость
• Каждый модуль завершается тестами и/или практическим заданием

Что входит в курс:

• 8 тематических модулей (от основ LLM до multi-agent систем)
• Теория в формате кратких конспектов + кода
• Финальный проект: end-to-end AI-микросервис в портфолио

Для кого этот курс
— Python-разработчики, которые хотят добавить AI в свой стек
— Инженеры, планирующие внедрять LLM во внутренние инструменты (Jira, документация, чат-боты)
— Техлиды и архитекторы, оценивающие применимость LLM в инфраструктуре
— Те, кто уже пробовал LLM, но не знает, как выйти за пределы простых скриптов.


1 Введение
О курсе

2 Введение в LLM: с нуля до первого запроса
Что такое LLM?
Осознанное взаимодействие с LLM: промпты, параметры, security
Выбор между облачными API и локальными моделями
Первый запрос к LLM
Установка и запуск LLM локально с помощью Ollama
Base-модели и instruct-модели: в чём разница и почему это важно
Эксперименты с промптами: few-shot и chain-of-thought
Закрепление материала

3 Embeddings и векторные базы данных
Что такое embeddings (эмбеддинги)?
Векторные базы данных: зачем они и как работают?
Создание и поиск по эмбеддингам с Chroma
Переход на Qdrant: запуск через Docker и интеграция
Полезные практики: чанкинг, метаданные, reranking
Расширенные стратегии чанкинга и реранкинга
Закрепление материала

4 RAG: Retrieval-Augmented Generation на практике
RAG с нуля: архитектура и первый рабочий пайплайн
RAG в продакшене: переключение на Qdrant и асинхронность
Оценка качества RAG
Защита от галлюцинаций и фильтрация ответов
Введение в агентов: LLM + инструменты (tools)
Stateful-агенты с LangGraph
Подготовка к продакшену: логирование, мониторинг, безопасность
Закрепление: финальный мини-проект

5 Продвинутый RAG: надёжность, безопасность и контроль в продакшен
Почему RAG ломается в продакшене? Типичные сценарии
Защита RAG: от индексации до ответа
Мониторинг RAG в продакшене: логи, метрики, алерты
Оптимизация поиска: reranking и multi-query
Метаданные: основа безопасности и персонализации
Закрепление материала

6 Локальные LLM: запуск без облака и без GPU
Когда локальные LLM — не просто «можно», а «нужно»
Выбор модели под задачу: не параметры, а измеримые метрики
Ollama в продакшене: как обернуть демон в надёжный сервис
Прямой inference через llama-cpp-python
Мониторинг и алертинг для локальных LLM
Решение типичных проблем в продакшене
Закрепление материала

7 Дообучение LLM без GPU и PhD
Зачем дообучать модель и когда это оправдано
Дообучение через LoRA на бесплатной GPU (Google Colab)
Интеграция LoRA-адаптера в локальные LLM
Закрепление материала

8 Multi-agent системы: оркестрация и роли
Введение в multi-agent системы
Архитектура и оркестрация
Реализация на CrewAI
Альтернативы и расширения (Autogen, кастомизация)

9 Финальный проект — AI-ассистент разработчика
Архитектура и требования
Подготовка окружения и компонентов
Реализация RAG-поиска (POST /search)
Реализация генерации и сохранения (POST /generate)
Инфраструктура и тестирование
Компромиссы и пути развития

10 Глоссарий и закрепление по всему курсу
Глоссарий курса
Тесты 1
Тесты 2

11 Заключение
Рекомендации по железу
Заключение