Разработка приложений разговорного искусственного интеллекта

Курс посвящен проектированию современных диалоговых систем с использованием DL/NLP моделей. Его целью является предоставление студентам теоретических и практических знаний для успешного проектирования и реализации диалоговых систем. Актуальность курса обусловлена быстрым развитием области NLP и необходимостью в специалистах, способных не только проектировать, но и реализовывать современные диалоговые решения.

•  

Слушатели, успешно освоившие программу, получат удостоверение о повышении квалификации МФТИ.

Курс предназначен для специалистов по машинному обучению среднего уровня, которые хотят углубить знания в области обработки естественного языка.

•  

Для успешного участия в курсе необходимы следующие предварительные знания и навыки:

• - Базовые знания в области классического data science, такие как градиентный бустинг, регрессии и другие.
• - Понимание работы нейронных сетей, их архитектуры и процесса обучения.
• - Знание процесса подготовки данных для обучения нейронных сетей, включая разметку датасетов.
• - Знакомство с языком Python на уровне, достаточном для написания собственных функций, классов, скриптов, а также базовый опыт работы с библиотеками Pandas, Numpy, Matplotlib.
• - Умение владеть командной строкой и базовое знакомство с Docker, базами данных.
• - Готовность активно участвовать в обучении в течение семестра, у курса большая нагрузка, много практики.

•  

Для зачисления на курс необходимо пройти входное тестирование.

Лекции:

• - Вспоминаем ML, введение в основы (MLP)
• - Эмбеддинги и рекуррентные модели (Word2Vec, FastText)
• - LSTM и проблемы обучения (RNN, LSTM, ячейки RNN, затухание и взрыв градиентов)
• - Современные трансформеры (Seq2seq Attention, Позиционка + Self-Attention)
• - Принципы построения диалоговых систем
• - Принципы построения диалоговых систем на примере Chatsky
• - Классификация интентов и извлечение слотов (Intent Classification, Slot Extraction)
• - Модели для извлечения информации (Retrieval, RAG, Dialog Graphs)
• - Инженерия Промптов (Prompt Engineering)
• - Графовые модели (Dialog Graphs & GNN)
•  

Семинары:

• - Модели Transformer
• - Языковые модели (LLMs)
• - Извлечение слотов (Slot Extraction) и классификация интентов (Intent Classification)
• - Модели поиска (Retrieval)
• - Retrieval Augmented Generation (RAG)
• - Инженерия промптов и проблема галлюцинаций (Prompt Engineering, Hallucination Problem)
• - Вопросно-ответное взаимодействие на основе знаний (Knowledge-Based Question Answering)
• - Мультимодальные модели (Multi-modal Models)
• - Обзор фреймворков (Framework Overview)
•  

Домашние задания:

• - Собственная реализация word2vec (архитектура, forward pass и backward pass, обучение)
• - Разбор научных статей
• - Реализация проекта
•  

  Занятия проходят онлайн.