Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Подобные вещи прогнозисты понимают со временем, учась обходить недостатки модели, наподобие того как опытный игрок в пул привыкает обходить слепые зоны бильярдного стола в местном баре.

Уникальным ресурсом этих прогнозистов было и остается их умение видеть. Этот инструмент важен в любой дисциплине – визуальное изучение графика, показывающего взаимодействие между двумя переменными, часто оказывается более быстрым и более надежным способом выявить странные искажения данных, чем статистический тест. Это также одна из тех областей, в которых компьютеры сильно отстают от человеческого мозга. Стоит немного изменить последовательность букв – как в случае технологии CAPTCHA[68], часто использующейся для противостояния спаму в качестве средства защиты паролей (рис. 4.3), – и даже самые «толковые» компьютеры начинают смущаться. Они воспринимают информацию слишком буквально. Они неспособны распознать закономерность, подвергшуюся даже небольшой манипуляции. Люди же, в силу эволюционной необходимости, обладают мощными визуальными способностями. Они быстро отсеивают любые искажения закономерностей и могут распознать такие абстрактные вещи, как закономерности и организация, то есть то, что оказывается особенно важным в различных типах погодных систем.

Рис. 4.3. Пример теста CAPTCHA

На самом деле, в старые времена, когда метеорологические компьютеры были еще не особенно полезными, прогнозирование погоды представляло собой почти полностью визуальный процесс. Вместо дисплеев в офисах стояли столы с подсветкой, на которых лежали карты. Метеорологи корректировали рисунки на картах с помощью мелков или цветных карандашей. Хотя последняя доска с подсветкой была отправлена в отставку уже много лет назад, дух этого метода живет и в наши дни.

По словам Хоука, самые квалифицированные синоптики-прогнозисты должны обладать способностью думать визуально и абстрактно, но в то же самое время им необходимо разбираться с огромными массивами информации, которой снабжает их компьютер. Более того, они должны понимать динамическую и нелинейную природу изучаемой ими системы. Это непростая задача, требующая тщательного использования и правого, и левого полушарий. Многие из прогнозистов могли бы стать хорошими инженерами или программистами с куда большей зарплатой, однако они сознательно решают стать метеорологами.

NWS постоянно отслеживает два типа данных: первый показывает, насколько хорошо компьютеры справляются в одиночку, а второй оценивает долю человеческого вклада. Судя по статистическим данным, люди способны улучшить правильность компьютерных прогнозов выпадения осадков примерно на 25 %{267}, а прогнозов погоды – примерно на 10 %{268}.

Более того, согласно Хоуку, эти сравнительные данные практически не менялись со временем: какой бы прогресс ни происходил в компьютерных технологиях, люди-прогнозисты могут еще лучше повысить их ценность. Ви́дение стоит дорогого.

Вероятность погибнуть от удара молнии становится все меньше

Когда Хоук только начинал начал свою карьеру в середине 1970‑х, анекдоты о синоптиках были недалеки от истины. Например, в прогнозах погоды NWS, сделанных за три дня, максимальное отклонение от прогнозируемой температуры достигало примерно 6 ° F (рис. 4.4). Это ненамного лучше, чем в случае составления прогноза на основе обычного изучения таблицы долгосрочных средних значений. Однако партнерство между человеком и машиной способно принести немалые дивиденды. В наши дни средняя величина ошибки составляет примерно 3,5 ° F – иными словами, она стала примерно наполовину меньше. Также синоптикам удается значительно лучше предсказывать аномальные погодные явления.

Рис. 4.4. Ошибка в определении среднемесячной максимальной температуры в прогнозах NWS

Какова вероятность получить смертельный удар молнии? На самом деле, значение этого показателя не постоянная величина, которая зависит, например, от вероятности того, будете ли вы на улице в момент возникновения молнии. В 1940 г. вероятность смерти жителя Америки от удара молнии в определенный год составляла примерно 1 из 400 000{269}. В наши дни вероятность этого события равна всего 1 из 11 000 000 (то есть ее величина снизилась почти в 30 раз). Отчасти это связано с изменением образа жизни (всё больше работы в наши дни производится в домах) и улучшением коммуникации в области технологий и здравоохранения, но также это связано и с тем, что прогнозы погоды становятся более точными.

Возможно, самые впечатляющие успехи были достигнуты в предсказании ураганов. Всего 25 лет назад, когда Национальный центр по ураганам попытался дать предварительный прогноз местонахождения территории, по которой в ближайшие три дня ударит ураган, диапазон ошибки составлял в среднем 560 км{270}. Это слишком много. Нарисуйте, допустим, окружность с радиусом 560 км вокруг Нового Орлеана, и она покроет все точки от Хьюстона, штат Техас, до Таллахасси, штат Флорида (рис. 4.5). Эвакуировать людей с такой большой территории просто невозможно.

Рис. 4.5. Улучшение качества прогнозирования поведения ураганов

В наши дни величина погрешности равна примерно сотне миль, то есть наша окружность охватит лишь юго-восток Луизианы и южную границу Миссисипи. Время от времени ураганы будут выбиваться за пределы этой зоны, но теперь в большинстве случаев нам имеет смысл обращать внимание на заметно меньшую по площади зону, эвакуировать жителей из которой можно за 72 часа. Для сравнения, в 1985 г. такую же степень точности обеспечивали лишь прогнозы, созданные менее чем за 24 часа до события. Это значит, что теперь у нас есть еще дополнительно двое суток до удара урагана – а как мы увидим позже, при эвакуации города типа Нового Орлеана критически важным оказывается каждый час[69].

Службе погоды еще не удалось избавиться от Демона Лапласа, однако вполне можно полагать, что она заслуживает большего признания, чем принято считать. Наука прогнозирования погоды довольно успешно развивается, несмотря на все проблемы, связанные с особенностями метеорологических условий. В этой книге вы неоднократно увидите, что при составлении прогнозов это является скорее исключением, чем правилом (так что приберегите свои шутки для экономистов).

Усилия Национальной службы погоды часто недооценивают. Она сталкивается с жесткой конкуренцией со стороны частных компаний{271}, работающих в совершенно иных условиях. В отличие от всех других игроков, Служба погоды должна предоставлять свои данные моделирования бесплатно всем желающим (большинство других стран с хорошими погодными бюро продают лицензии или взимают плату за использование своих данных). Частные компании типа AccuWeather и Weather Channel могут затем использовать их как основу для развития собственных продуктов и их коммерческого распространения. Подавляющее большинство потребителей получают прогнозы от одного из частных поставщиков; трафик сайта телеканала Weather Channel (Weather.com) примерно в десять раз превышает трафик Weather.gov{272}.

В целом я большой сторонник конкуренции на свободном рынке или конкуренции между государственными и частными компаниями. Во многом именно благодаря конкуренции бейсбол активно развивался и смог лучше совмещать знания скаутов и статистиков при прогнозировании развития игроков.

Как видите, в бейсболе идея конкуренции более ясна – сколько мячей ты выиграл (или же соотношение выигранных и проигранных мячей). В прогнозировании погоды ситуация несколько более сложная, а перед частными и государственными прогнозистами стояли разные задачи.

Что делает прогноз хорошим?

«Разумеется, ученого-исследователя не казнят на месте за просмотр Weather Channel, однако многие из них делают это за закрытыми дверями», – рассказал мне доктор Брюс Роуз, приветливый научный руководитель и вице-президент Weather Channel (TWC).

По словам Роуза, у него не было намерения утверждать, что прогнозы TWC лучше правительственных, они просто были другими – в большей степени ориентированными на нужды типичного потребителя.

«Модели обычно не оцениваются по тому, насколько хорошо они предсказывают те или иные практически важные параметры погоды, – продолжает он. – Для жителей Нью-Йорка на самом деле важно, что ожидает их на улице – залитые водой мостовые после ливня или снеговой покров толщиной 10 см{273}. С точки зрения потребителя, различие огромно, а вот для ученых это не всегда интересно».

На самом деле, значительная доля времени доктора Роуза уделяется прагматичным и даже отчасти банальным проблемам, связанным с тем, как потребители интерпретируют его прогнозы. Например, он задается вопросом, как разработать алгоритмы, позволяющие исходные данные о погоде выразить понятно. Что может означать выражение очень холодно? А вероятность порывистого ветра? Где проходит различие между переменной облачностью и преимущественно пасмурной погодой? Weather Channel должна в этом хорошо разбираться, а Роузу приходится создавать формальные правила, поскольку компания выпускает настолько много прогнозов, что способ их подачи необходимо разрабатывать чуть ли не для каждого случая.