Тематический план

  • Общее

  • Тема 1. Введение в машинное обучение. История

    Кибернетика и первые нейронные сети
    Первые цифровые компьютеры
    Появление экспертных систем
    Вероятностный подход
    Случайный лес
    Последние достижения

  • Тема 2. Основные понятия

    Постановка задачи обучения по прецедентам. Классификация и восстановление регрессии. Признаки и их виды. Модель алгоритмов и метод обучения. Функционал качества. Вероятностная постановка задачи обучения. Принцип максимума правдоподобия и его связь с минимизацией эмпирического риска. Выбор алгоритма в вероятностной постановке задачи. Проблема переобучения и обобщающая способность алгоритма. 

  • Тема 3. Метрические алгоритмы

    Обобщенный алгоритм
    Примеры частных алгоритмов:
       - метод ближайших соседей
       - метод окна Парзена
    Понятие выступа объекта
    Алгоритм отбора эталонов
    Проклятие размерности
    Выбор метрики

  • Тема 4. Байесовский подход к обучению

    Применение формула Байеса к задаче машинного обучения. Построение приближенной плотности распределения: одномерный случай (дискретное, кусочно-постоянное, приближение с помощью ядра, приближение нормальным законом распределения), многомерный случай (наивный байесовский классификатор, приближение с помощью ядра, многомерное нормальное распределение).

    Логистическая регрессия. Бинаризация признаков. Скоринг. Смеси распределений. EM-алгоритм восстановления смеси.

  • Тема 5. Линейные алгоритмы классификации

    Общая формула линейного классификатора
    Метод стохастического градиента
    Частные случаи
    Обоснование метода СГ
    Выступ объекта для лин. классификатора
    ROC и AUC

  • Тема 6. Метод опорных векторов

    Случаи линейно разделимой и неразделимой выборок
    Двойственная задача
    Типы объектов
    Нелинейное обобщение SVM
    SVM-регрессия
    L1 регуляризация

  • Тема 7. Методы восстановления регрессии

    Метод наименьших квадратов
    Геометрический смысл
    Регуляризация
    Сингулярное разложение
    Непараметрическая регрессия

  • Тема 8. Логические методы классификации

    Понятие закономерности
    Критерий качества закономерностей
    Поиск закономерностей
    Алгоритмы классификации на основе логических закономерностей

  • Тема 9. Композиции алгоритмов

    AdaBoost
    AnyBoost
    Градиентный бустинг
    Бэггинг и метод случайных подпространств

  • Тема 10. Ранжирование и рекомендательные системы

    Постановка задачи
    Примеры применения
    Оценки качества
    Подходы к решению задачи

    • поточечный
    • попарный
    • списочный

  • Тема 11. Тематическое моделирование

    Постановка задачи
    Предыстория
    Латентный семантический анализ (LSA)
    Вероятностный LSA (PLSA)
    Латентное размещение Дирихле (LDA)

  • Тема 12. Кластеризация

    Постановка задачи
    EM-алгоритм
    Метод k-средних
    DBSCAN

  • Тема 13. Компьютерное зрение

    Задачи компьютерного зрения

    Признаки изображений
    Глобальные: гистограммы, контекст формы, GIST
    Локальные: детекторы и дескрипторы особых точек
    Свертки

  • Тема 14. Прогнозирование временных рядов

    Примеры задач
    Модель авторегрессии
    Модель скользящего среднего
    Модель ARMA
    ARIMA - интегрированная ARMA
    Подбор параметров модели. Авторегрессионный спектр