Общее
Учебная карта дисциплины (УКД) Файл 10.5Кбайт
Программа Файл 55.8Кбайт
Тематический план
- Общее
- Тема 1. Введение в машинное обучение. История
Тема 1. Введение в машинное обучение. История
Кибернетика и первые нейронные сети
Первые цифровые компьютеры
Появление экспертных систем
Вероятностный подход
Случайный лес
Последние достижения
- Тема 2. Основные понятия
Тема 2. Основные понятия
Постановка задачи обучения по прецедентам. Классификация и восстановление регрессии. Признаки и их виды. Модель алгоритмов и метод обучения. Функционал качества. Вероятностная постановка задачи обучения. Принцип максимума правдоподобия и его связь с минимизацией эмпирического риска. Выбор алгоритма в вероятностной постановке задачи. Проблема переобучения и обобщающая способность алгоритма.
- Тема 3. Метрические алгоритмы
Тема 3. Метрические алгоритмы
Обобщенный алгоритм
Примеры частных алгоритмов:
- метод ближайших соседей
- метод окна Парзена
Понятие выступа объекта
Алгоритм отбора эталонов
Проклятие размерности
Выбор метрики - Тема 4. Байесовский подход к обучению
Тема 4. Байесовский подход к обучению
Применение формула Байеса к задаче машинного обучения. Построение приближенной плотности распределения: одномерный случай (дискретное, кусочно-постоянное, приближение с помощью ядра, приближение нормальным законом распределения), многомерный случай (наивный байесовский классификатор, приближение с помощью ядра, многомерное нормальное распределение).
Логистическая регрессия. Бинаризация признаков. Скоринг. Смеси распределений. EM-алгоритм восстановления смеси.
- Тема 5. Линейные алгоритмы классификации
Тема 5. Линейные алгоритмы классификации
Общая формула линейного классификатора
Метод стохастического градиента
Частные случаи
Обоснование метода СГ
Выступ объекта для лин. классификатора
ROC и AUC - Тема 6. Метод опорных векторов
Тема 6. Метод опорных векторов
Случаи линейно разделимой и неразделимой выборок
Двойственная задача
Типы объектов
Нелинейное обобщение SVM
SVM-регрессия
L1 регуляризация - Тема 7. Методы восстановления регрессии
Тема 7. Методы восстановления регрессии
Метод наименьших квадратов
Геометрический смысл
Регуляризация
Сингулярное разложение
Непараметрическая регрессия - Тема 8. Логические методы классификации
Тема 8. Логические методы классификации
Понятие закономерности
Критерий качества закономерностей
Поиск закономерностей
Алгоритмы классификации на основе логических закономерностей - Тема 9. Композиции алгоритмов
Тема 9. Композиции алгоритмов
AdaBoost
AnyBoost
Градиентный бустинг
Бэггинг и метод случайных подпространств - Тема 10. Ранжирование и рекомендательные системы
Тема 10. Ранжирование и рекомендательные системы
Постановка задачи
Примеры применения
Оценки качества
Подходы к решению задачи- поточечный
- попарный
- списочный
- Тема 11. Тематическое моделирование
Тема 11. Тематическое моделирование
Постановка задачи
Предыстория
Латентный семантический анализ (LSA)
Вероятностный LSA (PLSA)
Латентное размещение Дирихле (LDA) - Тема 12. Кластеризация
- Тема 13. Компьютерное зрение
Тема 13. Компьютерное зрение
Задачи компьютерного зрения
Признаки изображений
Глобальные: гистограммы, контекст формы, GIST
Локальные: детекторы и дескрипторы особых точек
Свертки - Тема 14. Прогнозирование временных рядов
Тема 14. Прогнозирование временных рядов
Примеры задач
Модель авторегрессии
Модель скользящего среднего
Модель ARMA
ARIMA - интегрированная ARMA
Подбор параметров модели. Авторегрессионный спектр