Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

• Название: Учебное пособие по курсу «Нейроинформатика»
• Автор: Е. Миркес
• Издательство: КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
• Жанр: Программирование
• Год: 2002

Данное учебное пособие подготовлено на основе курса лекций по дисциплине «Нейроинформатика», читавшегося с 1994 года на факультете Информатики и вычислительной техники Красноярского государственного технического университета.

Несколько слов о структуре пособия. Далее во введении приведены учебный план по данному курсу, задания на лабораторные работы. Следующие главы содержат одну или несколько лекций. Материал, приведенный в главах, несколько шире того, что обычно дается на лекциях. В приложения вынесены описания программ, используемых в данном курсе (Clab и Нейроучебник), и проект стандарта нейрокомпьютера, включающий в себя два уровня — уровень запросов компонентов универсального нейрокомпьютера и уровень языков описания отдельных компонентов нейрокомпьютера.

Данное пособие является электронным и включает в себя программы, необходимые для выполнения лабораторных работ.

---

Все программы, кроме программы Hopfield.

Это подменю позволяет Вам определить понятие «лишних» и "медленно обучаемых" связей, а также связей подлежащих возвращению в обучаемое состояние, путем задания следующих параметров процедуры Контрастирования:

Норма для исключения

Норма для включения

Количество контрастируемых связей

Количество замораживаемых связей

Количество размораживаемых связей

Число циклов накопления критерия

Набор выделенных значений (1/2^n)

Норма для исключения

Все программы, кроме программы Hopfield.

При накоплении показателей чувствительности для исключения из обучения связей программа позволяет использовать три варианта нормы:

Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Норма для включения

Все программы, кроме программы Hopfield.

При накоплении показателей чувствительности для включения в обучение связей программа позволяет использовать три варианта нормы:

Показатель чувствительности связи равен максимуму модуля соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Показатель чувствительности связи равен сумме модулей соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Показатель чувствительности связи равен сумме соответствующего элемента векторов антиградиента по всем циклам накопления критерия.

Количество контрастируемых связей

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число связей, подлежащих Контрастированию.

Количество замораживаемых связей

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число связей, подлежащих Замораживанию.

Количество размораживаемых связей

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число связей, подлежащих Размораживанию.

Число циклов накопления критерия

Все программы, кроме программы Hopfield.

Этот пункт меню позволяет Вам задать число циклов обучения для накопления показателей чувствительности для процедуры Контрастирования.

Набор выделенных значений (1/2^n)

Все программы, кроме программы Hopfield.

Процедура контрастирования (вызывается нажатием клавиш <CTRL-F6>) позволяет Вам исключить часть связей из функционирования, а остальные связи привести к небольшому числу выделенных значений. Этот пункт позволяет Вам задать набор выделенных значений. Ниже приведена таблица соответствия набора выделенных значений задаваемому Вами параметру:

Программа Pade

Параметр Значения 0 0. 1 0, 1. 2 0, ½, 1. 3 0, ¼, 2/4, ¾, 1. 4 0, ⅛, 2/8, ⅜, …, ⅞, 1. 5 0, 1/16, 2/16, …, 15/16, 1. 6 0, 1/32, 2/32, …, 31/32, 1. 7 0, 1/64, 2/64, …, 63/64, 1. 8 0, 1/128, 2/128, …, 127/128, 1.

Программы Sinus и Sigmoid

Параметр Значения 0 0. 1 0, ±1. 2 0, ±½, ±1. 3 0, ±¼, ±2/4, ±¾, ±1. 4 0, ±⅛, ±2/8, ±⅜, …, ±⅞, ±1. 5 0, ±1/16, ±2/16, …, ±15/16, ±1. 6 0, ±1/32, ±2/32, …, ±31/32, ±1. 7 0, ±1/64, ±2/64, …, ±63/64, ±1. 8 0, ±1/128, ±2/128, …, ±127/128, ±1. Показать все параметры

Все программы, кроме программыHopfield.

Этот пункт меню позволяет Вам увидеть на экране все параметры, задаваемые в меню "Параметры":

Параметры сети

 Число нейронов в сети

 Число срабатываний сети

 Характеристика нейронов

Параметры метода обучения

 Использовать MParTan

 Организация обучения

 Вычисление направления

 Способ оценивания

 Уровень УДАРА

Параметры контрастирования

 Норма для исключения

 Норма для включения

 Количество контрастируемых связей

 Количество замораживаемых связей

 Количество размораживаемых связей

 Число циклов накопления критерия

 Набор выделенных значений (1/2^n)

Методы предобработки

 Чистый образ

 Сдвиговый автокоррелятор

 Автокоррелятор сдвиг+отражение

 Автокоррелятор сдвиг+вращение

 Автокоррелятор сдвиг+вращение+отражение

Кроме того, на экран выводится число тактов функционирования сети уже затраченных на обучение и средняя оценка по обучающему множеству.

Обучение

Программа Hopfield.

При вычислении синаптической карты в данной программе предусмотрено использование одного из двух заложенных алгоритмов. Выбор алгоритма производится в подменю "Параметры" главного меню. Там же описана процедура предварительной обработки обучающего множества в случае применения алгоритма "Проекционный Хопфилд". В этом разделе описана общая для обоих алгоритмов процедура вычисления элемента синаптической карты по векторам обучающего множества. Поскольку мы имеем дело со стонейронной нейронной сетью, исходные данные любого примера можно представить в виде стомерного вектора. Обозначим вектора соответствующие обучающему множеству через A[1],…,A[k], вес l-ого примера — W[l], а ij-ый элемент синаптической карты — X[ij]. Тогда алгоритм вычисления синаптической карты можно представить в виде формулы:

X[ij] = Сумма по l от 1 до k (A[l][i]*A[l][j]*W[l])

Все программы, кроме программыHopfield.

В данной программе реализован «генетический» подход к формированию стратегии обучения. У Вас в руках ряд процедур, с помощью которых Вы можете подобрать стратегию обучения сети. Ниже приведена таблица всех возможных режимов

№ Использовать MParTan Организация обучения Вычисление направления Способ оценивания Допустимость 1 Да Средн. Антиградиент МНК Допустим 2 Да Средн. Антиградиент РДМ Допустим 3 Да Средн. Случайное МНК Допустим 4 Да Средн. Случайное РДМ Допустим 5 Да Позад. Антиградиент МНК Недопустим 6 Да Позад. Антиградиент РДМ Недопустим 7 Да Позад. Случайное МНК Недопустим 8 Да Позад. Случайное РДМ Недопустим 9 Да Зад. N Антиградиент МНК Допустим 10 Да Зад. N Антиградиент РДМ Допустим 11 Да Зад. N Случайное МНК Допустим 12 Нет Зад. N Случайное РДМ Допустим 13 Нет Средн. Антиградиент МНК Допустим 14 Нет Средн. Антиградиент РДМ Допустим 15 Нет Средн. Случайное МНК Допустим 16 Нет Средн. Случайное РДМ Допустим 17 Нет Позад. Антиградиент МНК Допустим 18 Нет Позад. Антиградиент РДМ Допустим 19 Нет Позад. Случайное МНК Допустим 20 Нет Позад. Случайное РДМ Допустим 21 Нет Зад. N Антиградиент МНК Допустим 22 Нет Зад. N Антиградиент РДМ Допустим 23 Нет Зад. N Случайное МНК Допустим 24 Нет Зад. N Случайное РДМ Допустим

Обозначения, использованные в таблице: