Организация и использование нейронных сетей

В рамках данной монографии делается попытка кратко изложить современное состояние теории нейронных сетей и дать максимальное количество ссылок на доступные публикации для более углубленного изучения. Книга рассчитана на учащихся математических специальностей вузов и всех интересующихся теорией нейронных сетей. Гл а в а 1. Предыстория вопроса ..............................................................3 1.1. Биологический прототип ...................................................3 1.2. История................................................................................4 1.3. Формальный нейрон...........................................................5 1.4. Возможности многослойного персептрона......................9 1.5. Классификация нейронных сетей ...................................10 1.6. Пороговые функции .........................................................11 1.7. Обучение нейронных сетей .............................................13 Гл а в а 2. Сети прямого распространения...........................................14 2.1. Теорема Колмогорова.......................................................14 2.2. Алгоритм обратного распространения ошибки.............15 2.3. Сети радиально-базисных функций................................20 2.4. Обучение без учителя. Правило Хебба...........................23 2.5. Сети Кохонена. SOM........................................................26 Гл а в а 3. Рекуррентные нейронные сети ............................................30 3.1. Сети Хопфилда .................................................................30 3.2. Ассоциативная память. ДАП...........................................33 3.5. Теория адаптивного резонанса ........................................37 Гл а в а 4. Эффективные нейронные сети ............................................43 4.1. Обработка данных ............................................................43 4.2. Оптимизация процесса обучения....................................46 4.3. Критерии эффективности нейронных сетей ..................49 4.4. Конструктивный подход к построению нейронных сетей...................................................................................52 4.4.1. Бинарные алгоритмы.............................................52 4.4.2. Древовидные нейронные сети ..............................57 4.4.3. Алгоритмы Monoplan, NetLines и NetSphere.......59 4.4.4. Метод динамического добавления узлов.............61 4.4.5. Каскадная корреляция и ее модификации ...........62 4.4.6. Методы редукции...................................................67 126 Оглавление 4.5. Эволюционный способ создания нейронных сетей ......73 4.5.1. Генетические алгоритмы.......................................73 4.5.2. Эволюционные алгоритмы для нейронных сетей........................................................................78 4.5.3. Подходы к кодированию нейронных сетей .........79 4.5.4. Прямое кодирование..............................................80 4.5.5. Порождающее кодирование..................................84 4.6. Исследование подходов к построению нейронных сетей...................................................................................94 4.6.1. Размерность пространства поиска........................94 4.6.2. Анализ известных направлений ...........................96 4.7. Метод мониторинга динамики изменения ошибки .......99 4.8. Эволюционное накопление признаков .........................102 4.8.1. Предлагаемая организация поиска архитек- туры.......................................................................102 4.8.2. Реализация кодирования путями ........................104 4.8.3. Функция приспособленности .............................108 4.9. Алгоритм эволюционного наращивания нейрон- ной сети ...........................................................................110 ЗАКЛЮЧЕНИЕ .........................................................................................114 ЛИТЕРАТУРА ............................................................................................115