Норберт Винер - Кибернетика или управление и связь в животном и машине

• Название: Кибернетика или управление и связь в животном и машине
• Автор: Норберт Винер
• Жанр: Прочая научная литература

«Кибернетика» — известная книга выдающегося американского математика Норберта Винера (1894—1964), сыгравшая большую роль в развитии современной науки и давшая имя одному из важнейших ее направлений. Настоящее русское издание является полным переводом второго американского издания, вышедшего в 1961 г. и содержащего важные дополнения к первому изданию 1948 г. Читатель также найдет в приложениях переводы некоторых статей и интервью Винера, включая последнее, данное им незадолго до смерти для журнала «Юнайтед Стэйтс Ньюс энд Уорлд Рипорт».

Книга, написанная своеобразным свободным стилем, затрагивает широкий круг проблем современной науки, от сферы наук технических до сферы наук социальных и гуманитарных. В центре — проблематика поведения и воспроизведения (естественного и искусственного) сложных управляющих и информационных систем в технике, живой природе и обществе. Автор глубоко озабочен судьбой науки и ученых в современном мире и резко осуждает использование научного могущества для эксплуатации и войны.

Книга предназначена для научных работников и инженеров.

---

Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами, ведущими к росту энтропии. Они состоят в слиянии областей вероятностей, первоначально различных. Например, если мы заменяем распределение некоторой переменной распределением функции от нее, принимающей одинаковые значения при разных значениях аргумента, или в случае функции нескольких переменных позволяем некоторым из них свободно пробегать их естественную область изменения, мы теряем информацию. Никакая операция над сообщением не может в среднем увеличить информацию. Здесь мы имеем точное применение второго закона термодинамики к технике связи. Обратно, уточнение в среднем неопределенной ситуации приводит, как мы видели, большей частью к увеличению информации и никогда — к ее потере.

Интересен случай, когда мы имеем распределение вероятностей с n-мерной плотностью f(х1, …, xn) по переменным (х1, …, xn) и m зависимых переменных y1, …, ym. Сколько информации мы приобретаем при фиксации таких т переменных? Пусть они сперва фиксируются между пределами y1*, y1*+dy1*; …; ym*, ym*+dym*. Примем х1, x2, …, xn—m, y1, y2, …, ут за новую систему переменных. Тогда для новой системы переменных наша функция распределения будет пропорциональна f1(х1, …, xn) над областью R, определенной условиями

 

и равна нулю вне ее. Следовательно, количество информации, полученной при наложении условий на значения y, будет равно[141] [c.125]

 

 

 

           (3.13)

С этой задачей тесно связано обобщение задачи, о которой говорилось по поводу уравнения (3.091). Сколько информации в рассматриваемом случае приобретается нами об одних только переменных х1, …, xn—m? Здесь априорная плотность вероятности этих переменных равна

 ,          (3.14)

а ненормированная плотность вероятности после фиксации величин у* будет

           (3.141)

где Σ берется по всем множествам значений (xn—m+1, …, xn), соответствующим данному множеству значений y*. Основываясь на этом, нетрудно записать решение нашей задачи, хотя оно и будет несколько громоздким. Если мы примем множество (x1, …, xn—m) за обобщенное сообщение, множество (xn—m+1, …, xn) — за [c.126] обобщенный шум. а величины y* — за обобщенное искаженное сообщение, то получим, очевидно, решение обобщенной задачи выражения (3.091).

Таким образом, мы имеем по крайней мере формальное решение обобщения упомянутой уже задачи о сигнале и шуме. Некоторое множество наблюдений зависит произвольным образом от некоторого множества сообщений и шумов с известным совместным распределением. Мы хотим установить, сколько информации об одних только сообщениях дают эти наблюдения. Это центральная проблема техники связи. Решение ее позволит нам оценивать различные системы связи, например системы с амплитудной, частотной или фазовой модуляцией, в отношении их эффективности в передаче информации. Это техническая задача, не подлежащая здесь подробному обсуждению; уместно, однако, сделать некоторые замечания.

Во-первых, можно показать, что если пользоваться данным здесь определением информации, то при случайных помехах в эфире с равномерно распределенной по частоте мощностью и для сообщения, ограниченного определенным диапазоном частот и определенной отдачей мощности на этом диапазоне, не существует более эффективного способа передачи информации, чем амплитудная модуляция, хотя другие способы могут быть столь же эффективны. Во-вторых, переданная этим способом информация не обязательно имеет такую форму, которая наиболее приемлема для слуха или для другого данного рецептора. В этом случае специфические свойства уха и других рецепторов должны быть учтены при помощи теории, весьма сходной с только что изложенной. Вообще эффективное использование амплитудной модуляции или какого-либо другого вида модуляции должно быть дополнено применением соответствующих декодирующих устройств для преобразования принятой информации в такую форму, которая может быть хорошо воспринята рецепторами человека или же механическими рецепторами. Первоначальное сообщение тоже должно кодироваться, чтобы оно занимало возможно меньше места при передаче. Эта задача была разрешена, по крайней мере частично, когда Белловские телефонные лаборатории разработали систему «вокодер», а д-р К. Шеннон из этих лабораторий [c.127] представил в весьма удовлетворительном виде соответствующую общую теорию. Так обстоит дело с определением и методикой измерения информации. Теперь рассмотрим, каким способом информация может быть представлена в однородной во времени форме. Заметим, что большинство телефонных устройств и других приборов связи в действительности не предполагает определенного начала отсчета во времени. В самом деле, только одна операция как будто противоречит этому, но и здесь противоречие лишь кажущееся. Мы имеем в виду модуляцию. В ее наиболее простом виде она состоит в преобразовании сообщения f(t) в сообщение вида f(t)sin(at+b). Однако, если мы будет рассматривать множитель sin(at+b) как добавочное сообщение, вводимое в аппаратуру, то, очевидно, случай модуляции подойдет под наше общее утверждение. Добавочное сообщение, которое мы называем переносчиком, ничего не прибавляет к скорости передачи информации системой. Вся содержащаяся в нем информация посылается в произвольно короткий промежуток времени, и затем больше ничего нового не передается.

Итак, сообщение, однородное во времени, или, как выражаются профессионалы-статистики, временной ряд, находящийся в статистическом равновесии, есть функция или множество функций времени, входящее в ансамбль таких множеств с правильным распределением вероятностей, не изменяющимся, если всюду заменить t на t+τ. Иначе говоря, вероятность ансамбля инвариантна относительно группы преобразований, состоящей из операторов Tλ которые изменяют f(t) в f(t+λ). Группа удовлетворяет условию

 

           (3.15)

Следовательно, если Ф[f(t)] — «функционал» от f(t), т. е. число, зависящее от всей истории функции f(t), и среднее значение f(t) по всему ансамблю конечно, то мы вправе применить эргодическую теорему Биркгоффа из предыдущей главы и заключить, что всюду, исключая множество значений f(t) нулевой вероятности, существует временно́е среднее от Ф[f(t)], или в символах

           (3.16)

[c.128]

Но это еще не все. В предыдущей главе проводилась другая теорема эргодического характера, доказанная фон Нейманом: коль скоро некоторая система переходит в себя при данной группе сохраняющих меру преобразований, как в случае нашего уравнения (3.15), то, за исключением множества элементов нулевой вероятности, каждый элемент системы входит в подмножество (быть может, равное всему множеству), которое: 1) переходит в себя при тех же преобразованиях; 2) имеет меру, определенную на нем самом и также инвариантную при этих преобразованиях; 3) замечательно тем, что любая часть этого подмножества с мерой, сохраняемой данной группой преобразований, имеет либо максимальную меру всего подмножества, либо меру 0. Отбросив все элементы, не принадлежащие к такому подмножеству, и используя для него надлежащую меру, мы найдем, что временно́е среднее (3.16) почти во всех случаях равно среднему значению функционала Ф[f(t)] по всему пространству функций f(t), т. е. так называемому фазовому среднему. Стало быть, в случае такого ансамбля функции f(t), за исключением множества случаев нулевой вероятности, мы можем найти среднее значение любого статистического параметра ансамбля по записи любого временного ряда ансамбля, применяя временно́е среднее вместо фазового. Более того, этим путем можно найти одновременно любое счетное множество таких параметров ансамбля, и нам нужно знать лишь прошлое одного, почти какого угодно временного ряда ансамбля. Другими словами, если дана вся прошлая история — вплоть до настоящего момента — временного ряда, принадлежащего к ансамблю в статистическом равновесии, то мы можем вычислить с вероятной ошибкой, равной нулю, все множество статистических параметров ансамбля, к которому принадлежит ряд. До сих пор мы установили это для отдельного временного ряда, но сказанное справедливо также для многомерных временных рядов, где вместо одной изменяющейся величины мы имеем несколько одновременно изменяющихся величин.