СОДЕРЖАНИЕ

К читателю ...............................................................................................................................................................9
Предисловие к русскому изданию ..................................................................................................................13
Предисловие.......................................................................................................................................................... 16

1. ВВЕДЕНИЕ ...........................................................................................................................................................17
1.1. Биологические основы функционирования нейрона ......................................................................... 19
1.2. Первые модели нейронной сети ............................................................................................................ 20
1.3. Прикладные возможности нейронных сетей ..................................................................................... 22

2. МОДЕЛИ НЕЙРОНОВ И МЕТОДЫ ИХ ОБУЧЕНИЯ .............................................................................25
2.1. Персептрон.................................................................................................................................................... 26
2.2. Сигмоидальный нейрон............................................................................................................................. 27
2.3. Нейрон типа "адалайн" ............................................................................................................................ 32
2.4. Инстар и оутстар Гроссберга................................................................................................................... 34
2.5. Нейроны типа WTA.................................................................................................................................... 37
2.6. Модель нейрона Хебба............................................................................................................................... 40
2.7. Стохастическая модель нейрона............................................................................................................. 44

3. ОДНОНАПРАВЛЕННЫЕ МНОГОСЛОЙНЫЕ СЕТИ СИГМОИДАЛЬНОГОТИПА..................... 46
3.1. Однослойная сеть......................................................................................................................................... 47
3.2. Многослойный персептрон...................................................................................................................... 50
3.2.1. Структура персептронной сети............................................................................................................. 50
3.2.2. Алгоритм обратного распространения ошибки .............................................................................. 51
3.3. Потоковые графы и их применение для генерации градиента................................................... 55
3.4. Градиентные алгоритмы обучения сети.............................................................................................. 60
3.4.1. Основные положения............................................................................................................................... 60
3.4.2. Алгоритм наискорейшего спуска........................................................................................................ 62
3.4.3. Алгоритм переменной метрики ......................................................................................................... 63
3.4.4. Алгоритм Левенберга-Марквардта..................................................................................................... 65
3.4.5. Алгоритм сопряженных градиентов.................................................................................................. 67
3.5. Подбор коэффициента обучения............................................................................................................ 68
3.6. Эвристические методы обучения сети................................................................................................... 71
3.6.1. Алгоритм Quickprop................................................................................................................................. 71
3.6.2. Алгоритм RPROP...................................................................................................................................... 73
3.7. Сравнение эффективности алгоритмов обучения............................................................................. 73
3.8. Элементы глобальной оптимизации ................................................................................................... 75
3.8.1. Алгоритм имитации отжига ................................................................................................................ 78
3.8.2. Генетические алгоритмы ...................................................................................................................... 81
3.9. Методы инициализации весов................................................................................................................ 86

4. ПРОБЛЕМЫ ПРАКТИЧЕСКОГО ИСПОЛЬЗОВАНИЯ
ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ.................................................................................................... 89
4.1. Предварительный подбор архитектуры сети...................................................................................... 89
4.2. Подбор оптимальной архитектуры сети.............................................................................................. 92
4.2.1. Способность к обобщению ..................................................................................................................... 92
4.2.2. Методы редукции сети с учетом чувствительности..................................................................... 98
4.2.3. Методы редукции сети с использованием штрафной функции.............................................. 103
4.3. Методы наращивания сети .................................................................................................................... 105
4.4. Подбор обучающих выборок.................................................................................................................. 105
4.5. Добавление шума в обучающие выборки .......................................................................................... 107
4.6. Примеры использования персептроиной сети ................................................................................ 110
4.6.1. Распознавание и классификация образов ........................................................................................ 110
4.6.2. Нейронная сеть для сжатия данных .................................................................................................. 116
4.6.3. Идентификация динамических объектов ....................................................................................... 121
4.6.4. Прогнозирование нагрузок энергетической системы................................................................ 124

5. РАДИАЛЬНЫЕ НЕЙРОННЫЕ СЕТИ ........................................................................................................129
5.1. Математические основы ......................................................................................................................... 130
5.2. Радиальная нейронная сеть..................................................................................................................... 132
5.3. Методы обучения радиальных нейронных сетей............................................................................ 137
5.3.1. Применение процесса самоорганизации для уточнения параметров радиальных функций................................................................................................................................................................ 139
5.3.2. Вероятностный алгоритм подбора параметров радиальных функций................................. 142
5.3.3. Гибридный алгоритм обучения радиальных сетей .................................................................... 144
5.3.4. Алгоритмы обучения, основанные иа обратном распространении ошибки ........................ 146
5.4. Пример использования радиальной сети ......................................................................................... 149
5.5. Методы подбора количества базисных функций ............................................................................ 151
5.5.1. Эвристические методы ......................................................................................................................... 151
5.5.2. Метод ортогонализации Грэма-Шмидта ....................................................................................... 152
5.6. Сравнение радиальных и сигмоидальных сетей ............................................................................ 157

6. СПЕЦИАЛИЗИРОВАННЫЕ СТРУКТУРЫ НЕЙРОННЫХ СЕТЕЙ ....................................................159
6.1. Сеть каскадной корреляции Фальмана ................................................................................................ 159
6.2. Сеть Вольтерри........................................................................................................................................... 163
6.2.1. Структура и особенности обучения сети ......................................................................................... 166
6.2.2. Примеры использования сети Вольтерри...................................................................................... 169

7. РЕКУРРЕНТНЫЕ СЕТИ КАК АССОЦИАТИВНЫЕ ЗАПОМИНАЮЩИЕ УСТРОЙСТВА............ 176
7.1. Введение........................................................................................................................................................ 176
7.2. Автоассоциативная сеть Хопфилда .................................................................................................... 178
7.2.1. Основные зависимости ........................................................................................................................ 178
7.2.2. Режим обучения сети Хопфилда ...................................................................................................... 180
7.2.3. Режим распознавания сети Хопфилда ............................................................................................ 182
7.3. СетьХемминга............................................................................................................................................. 184
7.4. Сеть типа ВАМ............................................................................................................................................ 189
7.4.1. Описание процесса функционирования сети ................................................................................ 189
7.4.2. Модифицированный алгоритм обучения сети ВАМ .................................................................. 191
7.4.3. Модифицированная структура сети ВАМ....................................................................................... 192

8. РЕКУРРЕНТНЫЕ СЕТИ НА БАЗЕ ПЕРСЕПТРОНА............................................................................. 200
8.1. Введение ....................................................................................................................................................... 200
8.2. Персептронная сеть с обратной связью............................................................................................. 200
8.2.1. Структура сети RMLP............................................................................................................................ 200
8.2.2. Алгоритм обучения сети RMLP......................................................................................................... 202
8.2.3. Подбор коэффициента обучения...................................................................................................... 204
8.2.4. Коэффициент усиления сигнала ..................................................................................................... 204
8.2.5. Результаты компьютерного моделирования ............................................................................... 205
8.3. Рекуррентная сеть Эльмана..................................................................................................................... 210
8.3.1. Структура сети......................................................................................................................................... 210
8.3.2. Алгоритм обучения сети Эльмана ................................................................................................... 212
8.3.3. Обучение с учетом момента .............................................................................................................. 214
8.3.4. Пример компьютерного моделирования сети Эльмана ........................................................... 215
8.4. Сеть RTRN ................................................................................................................................................... 219
8.4.1. Структура сети и алгоритм обучения............................................................................................... 219
8.4.2. Результаты вычислительных экспериментов .............................................................................. 221

9. СЕТИ С САМООРГАНИЗАЦИЕЙ НА ОСНОВЕ КОНКУРЕНЦИИ..................................................... 226
9.1. Отличительные особенности сетей с самоорганизацией на основе конкуренции................ 227
9.1.1. Меры расстояния между векторами.................................................................................................. 228
9.1.2. Нормализация векторов........................................................................................................................ 229
9.1.3. Проблема мертвых нейронов ............................................................................................................ 230
9.2. . Алгоритмы обучения сетей с самоорганизацией ........................................................................ 231
9.2.1. Алгоритм Кохонена .............................................................................................................................. 233
9.2.2. Алгоритм нейронного газа ................................................................................................................ 233
9.2.3. Сравнение алгоритмов самоорганизации ..................................................................................... 235
9.3. Сеть восстановления одно- и двумерных данных .......................................................................... 238
9.4. Восстановление Сэммона ....................................................................................................................... 241
9.5. Применение сетей с самоорганизацией ........................................................................................... 242
9.5.1. Компрессия данных .............................................................................................................................. 243
9.5.2. Диагностирование неисправностей оборудования ..................................................................... 246
9.5.3. Краткосрочное прогнозирование нагрузок энергетической системы....................................249
9.6. Гибридная сеть........................................................................................................................................... 252

10. СЕТИ С САМООРГАНИЗАЦИЕЙ КОРРЕЛЯЦИОННОГО ТИПА ...................................................257
10.1. Энергетическая функция корреляционных сетей.......................................................................... 257
10.2. Нейронные сети РСА.............................................................................................................................. 259
10.2.1. Математическое введение ................................................................................................................ 259
10.2.2. Определение первого главного компонента ............................................................................. 264
10.2.3. Алгоритмы определения множества главных компонентов ................................................ 265
10.3. Нейронные ICA-сети Херольта-Джуттена ..................................................................................... 267
10.3.1. Предварительные пояснения............................................................................................................ 267
10.3.2. Статистическая независимость сигналов .................................................................................... 268
10.3.3. Рекуррентная структура разделяющей сети................................................................................. 269
10.3.4. Алгоритм Херольта-Джуттена для рекуррентной сети........................................................... 270
10.3.5. Обобщенный алгоритм обучения рекуррентной сети ............................................................. 272
10.3.6. Однонаправленная сеть для разделения сигналов ................................................................... 274

11. МАТЕМАТИЧЕСКИЕ ОСНОВЫ НЕЧЕТКИХ СИСТЕМ ......................................................................279
11.1. Операции на нечетких множествах .................................................................................................... 281
11.2. Меры нечеткости нечетких множеств .............................................................................................. 283.
11.3. Нечеткость и вероятность...................................................................................................................... 284
11.4. Нечеткие правила вывода .................................................................................................................... 286
11.5. Системы нечеткого вывода Мамдани-Заде .................................................................................... 287
11.5.1. Фуззификатор.......................................................................................................................................... 290
11.5.2. Дефуззификатор................................................................................................................................... 293
11.5.3. Модель Мамдани-Заде как универсальный аппроксиматор.................................................. 294
11.6. Модель вывода Такаги-Сугено-Канга .............................................................................................. 295

12. НЕЧЕТКИЕ НЕЙРОННЫЕ СЕТИ............................................................................................................. 299
12.1. Структура нечеткой сети TSK ............................................................................................................. 299
12.2. Структура сети Ванга-Менделя........................................................................................................... 303
12.3. Гибридный алгоритм обучения нечетких сетей ........................................................................... 304
12.4. Применение алгоритма самоорганизации для обучения нечеткой сети ............................. 308
12.4.1. Алгоритм нечеткой самоорганизации C-means .......................................................................... 308
12.4.2. Алгоритм пикового группирования............................................................................................... 310
12.4.3. Алгоритм разностного группирования......................................................................................... 312
12.4.4. Алгоритм нечеткой самоорганизации Густафсона-Кесселя ................................................. 313
12.4.5. Сеть с нечеткой самоорганизацией в гибридной структуре .................................................. 318
12.4.6. Примеры реализации нечетких сетей ......................................................................................... 321
12.5. Адаптивный алгоритм самоорганизации нечеткой сети .......................................................... 327

Литература.......................................................................................................................................................... 330
Предметный указатель................................................................................................................................... 340