[Otus] Большие языковые модели. Экспертный уровень [Мария Тихонова, Алексей Клочков, Раиль Сулейманов]

Изучаем самые актуальные продвинутые методы работы с LLM и трансформерными моделями

Изучаем самые актуальные технологии и архитектуры, связанные с LLM и трансформерными моделями, которые стали стандартом в области работы с текстом. Генеративные LLM, такие как ChatGPT и GPT4 позволяют решать огромное множество задач на высоком уровне. На рынке IT есть потребность в специалистах, которые владеют технологиями работы с этими моделями на уровне архитектуры и умеют адаптировать их для своих бизнес-задач.

LLM — один из самых востребованных вариантов применения генеративного ИИ, поэтому на курсе мы делаем фокус на самые актуальные технологии работы с большими языковыми моделями. Студенты на практике научатся работать с самыми передовыми моделями и фреймворками, которые сегодня являются state-of-the-art в области NLP.

Для кого этот курс

• Этот курс для тех, кто хочет за минимальный срок на высоком уровне освоить самые продвинутые методы LLM и сразу начать применять их на практике.
• Практикующие DS специалисты, которые хотят получить углубленные знания по трансформерным моделям и научиться работать с LLM на высоком уровне;
• Выпускники курсов Machine Learning. Professional, Machine Learning. Advanced, NLP / Natural Language Processing, которые хотят освоить самые передовые методы работы с LLM;
• ИТ-специалисты, которым на работе приходиться работать с текстовыми данными и внедрять методы работы с трансформерными моделями и LLM.

Необходимые знания

• Базовая высшая математика: умение работать с матрицами и векторами, базовое знание математической статистики, теории вероятности и мат. анализа;
• Методы классического ML, умение работать с классическими ML моделями;
• Основы Deep Learning, базовое представление о pytorch;
• Программирование на Python для машинного обучения.

Что даст вам этот курс

Вы научитесь

• Работать с LLM (большими языковыми моделями) на высоком уровне;
• Самым передовым методам работы с LLM и трансформерными моделями;
• Применять самые продвинутые архитектуры и адаптировать их под широкий круг бизнес-задач;
• Дообучать языковые модели под свои задачи;
• Поднимать модели в телеграм-боте.

Программа

Базовые понятия трансформерных моделей
В данном модуле вы познакомитесь с фундаментальным понятием NLP и трансформерных моделей. Рассмотрите архитектуру трансформера, механизм внимания и применение трансформеров в задачах машинного перевода и языкового моделирования.
Тема 1: Задача языкового моделирования и понятие языковой модели
Тема 2: Архитектура трансформер и задача машинного перевода // ДЗ
Тема 3: BERT и другие трансформерные энкодеры // ДЗ
Тема 4: GPT и другие декодерные модели для генерации текста
Тема 5: Seq2seq модели. Дообучение трансформеров на практическом примере // ДЗ
Тема 6: Методы за ChatGPT + Q&A сессия

Новая эра LLM: базовые методы
В этом модуле вы изучите современные подходы к большим языковым моделям (LLM) и их оптимизации. Вы освоите мультиязычные трансформеры, работу с длинным контекстом и практические техники промптинга.
Тема 1: Современные LLM и оптимизация архитектуры
Тема 2: Практическое занятие: теория промптинга LLM // ДЗ
Тема 3: Методы за моделью DeepSeek - на пути к современному ризонингу
Тема 4: LoRA и доменная адаптация (Domain adaptation) // ДЗ
Тема 5: Мультиязычные трансформеры
Тема 6: Работа с длинным контекстом
Тема 7: Q&A сессия и дискуссионный клуб

Продвинутые методы работы с LLM
В этом модуле вы изучите углубленные подходы к работе с трансформерами.
Тема 1: Sentence-transformers // ДЗ
Тема 2: Эффективные трансформеры
Тема 3: Практическое занятие: фреймворки для эффективной работы с LLM // ДЗ
Тема 4: LangChain
Тема 5: RAG - генерация на основе базы знаний

Доп. главы работы с LLM
В данном модуле вы узнаете о дополнительных аспектах работы с LLM, которые выходят за рамки стандартной программы.
Тема 1: Оценка LLM
Тема 2: Распределенное обучение
Тема 3: Практическое занятие: интеграция LLM в тг-бота // ДЗ
Тема 4: Q&A сессия и дискуссионный клуб

Трансформеры для других модальностей
В данном модуле вы ознакомитесь с применением трансформеров в мультимодальных задачах.
Тема 1: Мультимодальные и Vision трансформеры
Тема 2: Практическое занятие по работе с мультимодальными моделями
Тема 3: Введение в AI агентов // ДЗ
Тема 4: Трансформеры для временных рядов
Тема 5: Трансформеры для табличных данных
Тема 6: Q&A сессия и дискуссионный клуб

Проектная работа
Проектный модуль, во время которого студенты выполняют финальную работу на основе методов, изученных на курсе.

Преподаватели

• Андрей Носов. AI Architect, Raft. PhD Communication Science, Tampere University (Finland)
• Никита Овчинников. Lead of Research And Development Peech
• Алексей Клочков. Data Science Team Lead Kept
• Анна Козлова
• Раиль Сулейманов. Machine Learning Engineer Garage IT
• Мария Тихонова. Лидер Research кластера Сбер, ВШЭ
• Дмитрий Гайнуллин. Machine Learning Engineer AIC