Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Флер обнаружил, что явного победителя выявить не удается. Его данные показывали, что AccuWeather чуть лучше других удаются прогнозы по осадкам, Weather Channel – прогнозы по температуре, а прогнозы правительства достаточно точны во всем остальном. То есть в целом все прогнозы были достаточно хороши.

Но чем больше оказывался период прогнозирования, тем менее точными становились прогнозы (рис. 4.6). Допустим, прогнозы, создаваемые за восемь дней, достаточно хороши с точки зрения постоянства, однако не намного лучше климатологических.

А если интервал прогнозирования составляет девять и более дней, все профессиональные прогнозы оказывались стабильно хуже климатологических данных.

Лофт рассказывал мне, что в тех случаях, когда период прогнозирования даже немного превышает неделю, теория хаоса начинает брать верх над всем остальным, и динамическая память атмосферы полностью стирается. Хотя приведенная ниже аналогия вряд ли может считаться совершенно точной, она помогает нам подумать об атмосфере как о трассе для гонок NASCAR, в которой различные погодные системы представлены отдельными автомобилями. После первой пары десятков кругов по трассе и при условии знания стартового порядка машин мы можем сделать довольно неплохое предсказание порядка, в котором они будут проезжать мимо нас. Наши предсказания не будут идеальными: на них повлияют и неожиданные поломки, и пит-стопы, и заглохшие моторы, – но наш прогноз будет значительно лучше случайно выбранной последовательности.

Рис. 4.6. Сравнение прогнозов максимальной температуры{276}

Вскоре, однако, более быстрые автомобили начнут опережать более медленные, и через какое-то время ситуация станет непредсказуемой. Может получиться и так, что машина, занимающая второе место, будет ехать рядом с машиной, которая занимает 16‑е место (обгоняя ее почти на круг), и с машиной, находящейся на 28‑м месте (которую она один раз уже обогнала и которую собирается обогнать еще раз). Все то, что мы знали о начальных условиях гонки, теперь не имеет для нас никакой ценности. Аналогично, если в атмосфере достаточно долго циркулировали воздушные потоки, погодные параметры настолько слабо будут напоминать о своих начальных значениях, что исходные модели теряют любой смысл.

Тем не менее открытие Флера поднимает пару тревожных вопросов. Одно дело, если в долгосрочных прогнозах (после семи или восьми дней) компьютерные модели демонстрируют, в сущности, нулевые результаты. На самом же деле они показывают негативный результат. Он оказывается хуже, чем мы с вами могли бы получить, сидя дома и изучая таблицы долгосрочных погодных явлений. Как такое может быть? Возможно, это связано с тем, что в компьютерные программы заложена слишком высокая чувствительность к естественно возникающей обратной связи в погодной системе. Они начинают сами создавать обратную связь. И теперь дело не ограничивается тем, что сигнал подавляется шумом, дело в том, что сам шум начинает многократно усиливаться.

Стоит задаться еще более масштабным вопросом: почему, если эти долгосрочные прогнозы так плохи, их продолжают публиковать Weather Channel (10-дневные прогнозы) и AccuWeather (сайт, поднимающий планку до 15-дневного прогноза)?

Доктор Роуз считает, что серьезного вреда в этом нет; даже прогноз, основанный исключительно на климатологии, может тем не менее представлять некий интерес для потребителей.

Когда дело заходит о коммерческом прогнозировании погоды, статистическая реальность правильности перестает быть самым главным условием. Скорее, ценность в глазах потребителей возникает благодаря ощущению правильности.

Например, коммерческие синоптики редко предсказывают, что вероятность дождя составляет именно 50 %. С точки зрения потребителей, это может свидетельствовать об определенной нерешительности и желании избежать конкретики{277}. Вместо этого они бросают монетку и округляют цифру до 60 или 40 %, хотя это делает прогнозы менее точными и менее честными{278}.

Флер также обнаружил еще один вопиющий пример фальсификации цифр, описывающий, пожалуй, один из самых главных секретов в прогнозной отрасли. Большинство коммерческих прогнозов погоды искажено, и, возможно, сознательно. В частности, прогнозы чаще говорят об осадках, чем они выпадают на самом деле{279}. Метеорологи называют это «сдвигом в сторону осадков»». Чем дальше вы отклоняетесь от исходных данных, предоставленных правительством, и чем больше потребителей изучают ваши прогнозы, тем сильнее становятся искажения. Прогнозы «добавляют ценность», уменьшая при этом правильность.

Как понять, что ваш прогноз неверен

Один из самых важных тестов любого прогноза – и я бы даже сказал, что самый важный{280}, – носит название калибровки. Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40 %? Если в долгосрочной перспективе дождь действительно шел примерно в 40 % случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60 % случаев, о хорошей калибровке говорить не приходится.

Во многих областях добиться хорошей калибровки непросто. Для ее применения требуется, чтобы вы думали в понятиях вероятности, а это не очень хорошо получается у большинства из нас (включая и большинство «экспертов»-прогнозистов). По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов. Помимо этого, оценка предполагает изучение большого объема данных, то есть сотен созданных прогнозов[70].

Метеорологи вполне соответствуют этому стандарту. Они ежедневно прогнозируют температуру и вероятность дождя и других осадков в сотнях городов. В течение любого года они создают десятки тысяч прогнозов.

Подобная высокая частота прогнозов невероятно полезна не только в тех случаях, когда мы хотим оценить прогноз, но также и для самих прогнозистов – они будут получать заметную обратную связь, если делают что-то не так, а следовательно, и изменить свой курс. Например, некоторым компьютерным моделям свойственно проявлять небольшое искажение{281} – они прогнозируют дождь чаще, чем тот идет на самом деле. Однако как только вам становится известно об этом искажении, вы можете его скорректировать. Аналогичным образом вы можете довольно быстро понять, что ваши прогнозы чересчур оптимистичны.

Оказалось, что прогнозы Национальной службы погоды на удивление хорошо откалиброваны{282} (рис. 4.7). Когда в ее прогнозе говорится, что вероятность дождя составляет 20 %, он действительно идет в 20 % случаев. Эта служба хорошо воспользовалась обратной связью, и ее прогнозы достаточно точны и честны.

Рис. 4.7. Оценка калибровки прогнозов Национальной службы погоды – расхождение между прогнозируемым и реальным выпадением осадков

Метеорологи Weather Channel немного лукавят, но при определенных условиях. Например, исторически сложилось так, что, когда они говорят о том, что вероятность дождя – 20 %, в реальности в эти дни дождь идет лишь в 5 % случаев{283}. Это делается сознательно, и Weather Channel даже согласен это признать. Все дело в экономических стимулах.

Люди замечают один тип ошибки – неспособность предсказать дождь – значительно чаще, чем другой – ложную тревогу. Если дождь начинается, когда не должен, они проклинают синоптиков за то, что им приходится отменять пикник, а неожиданный солнечный день воспринимается ими как приятный сюрприз. С научной точки зрения это не очень хорошо, однако как призналась мне доктор Роуз из Weather Channel: «Если бы прогноз был объективным и обладал нулевым искажением с точки зрения частоты и осадков, у нас возникли бы немалые проблемы».

При этом Weather Channel – достаточно консервативная организация (многие зрители даже ошибочно принимают ее за правительственную), и чаще всего она умело соответствует этой роли. Прогнозируемый ею «сдвиг в сторону осадков» ограничен небольшим преувеличением вероятности дождя даже в случае, когда его возникновение почти нереально – например, они говорят о 20 %-ной вероятности, когда ее реальное значение составляет 5 или 10 %. Таким образом она пытается обезопасить себя на всякий неблагоприятный случай. Во всех остальных случаях ее прогнозы хорошо откалиброваны (рис. 4.8). Когда ее сотрудники говорят, например, о 70 %-ной вероятности дождя, этим данным можно верить.

Рис. 4.8. Оценка калибровки прогнозов Weather Channel – расхождение между прогнозируемым и реальным выпадением осадков

Но когда речь заходит о прогнозах погоды на местных телевизионных каналах, можно и голову потерять. Здесь искажение начинает проявляться в полную силу, и правильность и честность страдают сильнее всего.