Нейронная сеть, стоит ли изменять скорость обучения и импульс с течением времени
стоит ли менять скорость обучения после выполнения определенных условий? И как и зачем это делать? Например, net начнет с высокой скоростью обучения, а после квадратной ошибки достаточно низкая скорость обучения снизится для лучшей точности или скорость обучения должна увеличиться до прыжка из локальных минимумов?. Не будет ли это причиной чрезмерной подгонки? А как насчет импульса?
1 ответов
обычно вы должны начать с высокой скоростью обучения и низким импульсом. Затем вы уменьшаете скорость обучения с течением времени и увеличиваете импульс. Идея состоит в том, чтобы позволить больше исследований в начале обучения и конвергенции силы в конце обучения. Обычно вы должны смотреть на ошибку обучения, чтобы настроить свой график обучения: если он застрял, т. е. ошибка не меняется, пришло время уменьшить скорость обучения.