About an algorithm for consistent weights initialization of deep Neural Networks and Neural Networks ensemble learning
Ivan Drokin · Vestnik of Saint Petersburg University Applied Mathematics Computer Science Control Processes · 2016
И. С. Дрокин ОБ ОДНОМ АЛГОРИТМЕ ПОСЛЕДОВАТЕЛЬНОЙ ИНИЦИАЛИЗАЦИИ ВЕСОВ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ И ОБУЧЕНИИ АНСАМБЛЯ НЕЙРОННЫХ СЕТЕЙ Санкт-Петербургский государственный университет, Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7-9 Использование механизма предобучения многослойных персептронов позволило значительно улучшить качество и скорость обучения глубоких сетей.В статье предлагается еще один способ начальной инициализации весов с применением принципов обучения с учителем, подхода self-taught learning и transfer learning, были проведены тесты, показавшие работоспособность подхода, а также указаны дальнейшие шаги и направления для его развития.Получены и описаны итеративный алгоритм инициализации весов, основанный на уточнении весов скрытых слоев нейронной сети через решение исходной задачи классификации или регрессии, следующий из него способ построения ансамбля нейронных сетей.Проведены тесты, показывающие эффективность подхода.Библиогр.14 назв.Ил. 5.