Оглавление секции
-
Быстрые методы стохастического градиента (Поляка, Нестерова, AdaGrad, RMSProp, AdaDelta, Adam, Nadam). Проблема взрыва градиента и эвристика gradient clipping. Метод случайных отключений нейронов (Dropout). Интерпретации Dropout. Обратный Dropout и L2-регуляризация. Батч-нормализация. Функции активации ReLU и PReLU. Мини-батчи. BLAS3 операции.
Обучение рекуррентных сетей. Backpropagation Through Time (BPTT). Слои RNN, GRU, LSTM. Их устройство и отличия.
Свёрточные нейронные сети. Pooling. Zero-padding. Понятие рецептивного поля.
Sequence labeling, Named Entities Recognition (NER), Named Entities Linkage (NEL). Пакет Spacy.