Журнал Современные проблемы науки и образования 2070-7428 Общество с ограниченной ответственностью "Издательский Дом "Академия Естествознания" ART-19297 АДАПТИВНЫЙ МЕТОД НАСТРОЙКИ ПАРАМЕТРОВ АКТИВАЦИОННОЙ ФУНКЦИИ ИСКУССТВЕННЫХ НЕЙРОНОВ Анохин М.Н. Anokhin M.N. anohin.mihail@gmail.com Институт сферы обслуживания и предпринимательства (филиал) ДГТУ Institute of service and business (branch) Don State Technical University 25 01 2015 1 387 387 This is an open-access article distributed under the terms of the CC BY 4.0 license. https://science-education.ru/ru/article/view?id=19297

В статье представлен метод адаптивной настройки нелинейной части искусственных нейронов. Согласно представленному методу активационная функция нейрона автоматически подстраивается под размерность входа нейрона таким образом, чтобы нейрон всегда оставался чувствительным к любым возможным входным воздействиям. Метод снимает необходимость выбора параметров активационной функции и упрощает применение конструктивных алгоритмов. Кроме того, в ходе экспериментов было показано, что он также увеличивает скорость обучения. Причём при применении специальных методик выбора параметров обучения положительный эффект представленного алгоритма значительно возрастает. Эффективность алгоритма показана на задаче распознавания символов MNIST с использованием одной ЭВМ. Разработанное решение основано на свёрточной нейронной сети. Представлен сравнительный анализ вычислительной эффективности её обучения с использованием предлагаемого алгоритма.

This paper presents a method for adaptive adjustment of the nonlinear artificial neurons. According to the present method of the neuron activation function automatically adjusts the dimension of the neuron input so that the neuron always stays sensitive to any possible inputs. The method eliminates the need for the choice of parameters and activation function simplifies the application design algorithms. In addition, the experiments have shown that it also increases the speed of learning. Also used with special techniques like algorithm of selecting learning parameters shows additional positive effect. The effectiveness of the algorithm is demonstrated on the task MNIST character recognition using a only just one computer. The developed solution is based on a convolutional neural network. The comparative analysis of the computational efficiency of its training using the proposed algorithm is presented.

 классификация машинное обучение конструктивные алгоритмы адаптивные алгоритмы нейронные сети classification machine learning constructive algorithms adaptive algorithms neural networks

1. Хайкин, Саймон. Нейронные сети: полный курс, 2nd ed. /C. Хайкин. – М.: Вильямс, 2006. – 1104 c.

2. Пегат, А. Нечеткое моделирование и управление / А. Пегат. – М.: БИНОМ Лаборатория знаний, 2013. – 798 с.

3. LeCun, Y., and Bengio, Y. 1998. The handbook of brain theory and neural networks. Cambridge, MA, USA: MIT Press. Сhapter Convolutional networks for images, speech, and time series, 255–258.

4. Accelerate Machine Learning with the cuDNN Deep Neural Network Library [Электронныйресурс] // NVIDIA – World Leader in Visual Computing Technologies [сайт]. [2015]. URL: http://devblogs.nvidia.com/parallelforall/accelerate-machine-learning-cudnn-deep-neural-network-library/ (дата обращения 11.02.2015).

5. Building high-level features using large scale unsupervised learning. Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on, pp. 8595 – 8598.

6. Deep Learning of Representations: Looking Forward. First International Conference, SLSP 2013, Tarragona, Spain, July 29-31, 2013. Proceedings,pp 1-37.

7. M. D. Zeiler. Adadelta: An adaptive learning rate method. arXiv preprint arXiv:1212.5701, 2012.

8. S. Becker and Y. Le Cun, “Improving the convergence of back-propagation learning with second order methods,” Tech. Rep., Department of Computer Science, University of Toronto, Toronto, ON, Canada, 1988.

9. Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, and Martin Riedmiller. Playing atari with deep reinforcement learning arXiv preprint arXiv:1312.5602, 2013.

10. Le Cun, Y. The MNIST database of handwritten digits [Электронныйресурс] // MNIST handwritten digit database, YannLeCun and Corinna Cortes [сайт]. [2015]. URL: http://yann.lecun.com/exdb/mnist (дата обращения: 05.03.2015).