Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Значимость подобных неточностей существенно возрастает, когда речь идет о динамическом процессе, при котором результат вычислений одного этапа становится входящими данными следующего. Например, предположим, что нам нужно рассчитать, чему будет равно пять в шестой степени, а затем возвести полученное значение в пятую степень. Если мы допустим ту же ошибку, что и выше, и заменим вторую цифру 5 на 6, то ошибка в окончательном результате увеличится примерно в 3000 раз{258}. Влияние небольшой и, на первый взгляд, тривиальной ошибки становится все больше и больше.

Изменения погоды представляют собой проявление динамической системы, а уравнения, описывающие движение атмосферных газов и жидкостей, нелинейны (чаще всего это дифференциальные уравнения){259}. Таким образом, теория хаоса явным образом применима к прогнозированию погоды, а следовательно, наши прогнозы оказываются в высшей степени уязвимы к неточностям в исходных данных.

Иногда эти неточности возникают в результате человеческой ошибки. Еще бо́льшая фундаментальная проблема состоит в том, что мы можем наблюдать за окружающим нас миром лишь с определенной степенью точности. Ни один термометр не идеален, и ошибка в его показаниях в третьем или даже четвертом знаке после запятой может оказать огромное влияние на прогноз.

На рис. 4.2 показаны результаты, полученные после 50 запусков программ, моделирующих прогноз погоды для Франции и Германии на сочельник 1999 г. Все модели используют одни и те же программы и основаны на одних и тех же предположениях о поведении погоды. Фактически эти модели являются детерминистическими: в них заложено допущение, что если мы в полной мере знаем все изначальные параметры, то можем создать идеальный прогноз. Однако небольшие различия во входных параметрах способны привести к огромным отличиям в результатах, полученных на выходе. В Европейском центре метеорологических прогнозов пытались принять во внимание эти ошибки. В одном из процессов имитационного моделирования закладывалось условие, что атмосферное давление в Ганновере подвергалось лишь незначительным колебаниям. В другом менялись характеристики ветра в Штутгарте, причем на долю процента. Однако даже таких небольших изменений может быть достаточно для того, чтобы в одних прогнозах говорилось об урагане в Париже, а в других – о тихом зимнем вечере.

Рис. 4.2. Результаты расчетов прогноза погоды с немного различающимися начальными условиями

Именно такие модели и используют для создания современных прогнозов погоды. Небольшие изменения, сознательно добавляемые в модель для имитации неопределенности в качестве данных, превращают детерминистический прогноз в вероятностный. Допустим, если ваш местный метеоролог говорит о том, что вероятность дождя на следующий день составляет 40 %, это можно понимать и так, что результаты расчетов используемых им моделей в 40 % случаев говорят о том, что ожидается предштормовое состояние, а в 60 % случаев – при использовании лишь незначительно измененных начальных параметров – результат противоположный.

Но на практике все не так просто. Программы, которые метеорологи используют для прогнозирования погоды, довольно хороши, но не идеальны. Прогнозы, которые вы слышите постоянно, представляют собой комбинацию компьютерных расчетов и человеческого суждения. Порой люди способны улучшить компьютерные прогнозы, а порой – ухудшить их.

Важность ви́дения

Здание World Weather Building – довольно уродливое сооружение в стиле 1970‑х гг., выкрашенное в цвет ириски и расположенное в Кэмп-Спрингз, штат Мэриленд, примерно в 20 минутах езды от Вашингтона.

Здесь находится штаб-квартира NOAA (National Oceanic and Atmospheric Administration – Национального управления по исследованию океанов и атмосферы) – материнской организации Национальной службы погоды (National Weather Service, NWS), входящей в состав правительственных служб{260}. В отличие от зданий NCAR в Булдере, расположенных в живописном уголке Скалистых гор, это здание заставляет думать исключительно о бюрократии.

Изначально Служба погоды была организована в 1879 г. в структуре военного ведомства Соединенных Штатов президентом Улиссом С. Грантом. Отчасти это было связано с убежденностью президента Гранта в том, что только культура, основанная на военной дисциплине, обеспечит должный уровень точности прогнозирования{261}, а отчасти с тем, что это предприятие выглядело настолько безнадежным, что заниматься им имело смысл лишь во время военных действий, когда вы пробуете все, что угодно, для достижения военного перевеса.

Широкая публика заинтересовалась вопросами прогнозирования погоды после знаменитой «Школьной метели» (Schoolhouse Blizzard). В сравнительно теплый день 12 января 1888 г. на Великих Равнинах температура воздуха упала за несколько часов почти на 30 °, и вдруг началась ослепляющая метель{262}. Сотни детей, вышедших из школы, попали в эту снежную бурю по дороге домой и умерли от переохлаждения. Несмотря на неточность ранних прогнозов погоды, все надеялись, что эта служба поможет хоть как-то предупредить о столь значительных колебаниях температуры. Соответственно, Национальная служба погоды была переведена в структуру департамента сельского хозяйства и начала заниматься более мирными делами[66].

История происхождения Службы погоды до сих пор проявляется в культуре организации. Специалисты по прогнозированию погоды работают в ней круглыми сутками за довольно скромную оплату{263} и воспринимают себя важными государственными служащими. Метеорологи, с которыми я встретился в Кэмп-Спрингз, были настоящими патриотами, редко упускавшими возможность напомнить мне о важности прогнозов погоды для работы сельскохозяйственных ферм, небольших бизнесов, авиакомпаний, энергетического сектора, воинских подразделений, сектора общественных услуг, площадок для гольфа, организации пикников и экскурсий для школьников – прогнозов, которые можно было бы получить за копейки. (NWS удается работать с бюджетом, составляющим всего 900 млн долл. в год{264}, то есть примерно 3 долл. на каждого гражданина США. И это несмотря на то что погода напрямую влияет примерно на 20 % экономики страны{265}.)

Одним из тех метеорологов, с которыми мне удалось встретиться, был Джим Хоук – директор центра гидрометеорологического прогнозирования NWS. Хоук проработал в этой области около 35 лет, занимаясь и вычислительной стороной процесса (он помогал выстраивать компьютерные модели, которые используют его прогнозисты), и операционной (создавая эти прогнозы и сообщая их широкой публике). И, благодаря этому, он достаточно хорошо представляет себе, как взаимодействуют люди и машины в мире метеорологии.

Так что же конкретно люди могут делать лучше, чем компьютеры, способные обрабатывать данные со скоростью 77 терафлоп[67]? Они обладают ви́дением. Хоук отвел меня на этаж прогнозирования, заставленный рабочими станциями, около каждой из которых видела табличка с пояснением типа «военно-морской центр прогнозов» или «центр прогнозов на национальном уровне». Каждая станция управлялась одним-двумя метеорологами, а рядом с каждым из них имелась целая армада жидкокристаллических мониторов с полноцветными картами всевозможных типов погодных данных для каждого уголка страны.

Прогнозисты работали тихо и быстро, с точностью, о которой, наверное, и мечтал Грант{266}.

Некоторые из прогнозистов рисовали на этих картах световыми указками, тщательно корректируя контуры температурных градиентов, созданных компьютерными моделями, – 25 миль к западу в сторону дельты Миссисипи, 50 миль к северу в направлении озера Эри. Постепенно, шаг за шагом они приводили карты к желанному платоническому идеалу.

Прогнозисты отлично представляют себе недостатки компьютерных моделей. Это возникает неминуемо, поскольку, как следует из теории хаоса, даже самая тривиальная ошибка в модели может привести к значительным последствиям. Возможно, компьютер оказывается слишком консервативным при прогнозировании ночных дождей в Сиэтле, когда над заливом Пьюджет-Саунд образуется зона низкого давления. Возможно, он не знает, что при одном направлении ветра туман в национальном парке Акадия в Мэйне рассеивается к восходу солнца, при другом – может остаться до середины дня.

Подобные вещи прогнозисты понимают со временем, учась обходить недостатки модели, наподобие того как опытный игрок в пул привыкает обходить слепые зоны бильярдного стола в местном баре.

Уникальным ресурсом этих прогнозистов было и остается их умение видеть. Этот инструмент важен в любой дисциплине – визуальное изучение графика, показывающего взаимодействие между двумя переменными, часто оказывается более быстрым и более надежным способом выявить странные искажения данных, чем статистический тест. Это также одна из тех областей, в которых компьютеры сильно отстают от человеческого мозга. Стоит немного изменить последовательность букв – как в случае технологии CAPTCHA[68], часто использующейся для противостояния спаму в качестве средства защиты паролей (рис. 4.3), – и даже самые «толковые» компьютеры начинают смущаться. Они воспринимают информацию слишком буквально. Они неспособны распознать закономерность, подвергшуюся даже небольшой манипуляции. Люди же, в силу эволюционной необходимости, обладают мощными визуальными способностями. Они быстро отсеивают любые искажения закономерностей и могут распознать такие абстрактные вещи, как закономерности и организация, то есть то, что оказывается особенно важным в различных типах погодных систем.