Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Информационная перегрузка, возникшая после рождения печатного пресса, привела к росту сектантства. Теперь все различные религиозные идеи можно было тестировать с помощью большего объема информации, с большей убежденностью, с бо́льшим количеством «доказательств» – и со значительно меньшей терпимостью к иным мнениям. То же самое явление разворачивается в наши дни. Разделение по политическим партиям в США начало активно развиваться примерно тогда же, когда Тоффлер написал «Шок будущего», и его темпы ускорились с появлением интернета{43}.

Подобные партийные убеждения могут легко нарушить справедливость утверждения о том, что чем больше информации, тем ближе мы становимся к истине. Недавнее исследование, проведенное журналом Nature, показало, что чем больше информации о глобальном потеплении получали рьяные приверженцы той или иной партии, тем меньше они соглашались со своими оппонентами{44}.

Кроме этого, даже при том, что объем информации ежедневно увеличивается на 2,5 квинтильона байт, с объемом полезной информации ситуация совершенно иная. Основная масса ежедневного прироста представляет собой обычный шум, растущий быстрее сигнала. У нас есть масса гипотез, требующих тестирования, и куча информационных массивов для тестирования – однако объем той информации, которую можно считать объективной истиной, остается практически неизменным.

Печатный пресс изменил наш способ совершать ошибки. Более редкими стали обычные ошибки переписчиков. Однако, если ошибка возникала, она могла воспроизводиться множество раз, как произошло с «Греховной Библией».

Этим свойством отличаются сложные системы типа Всемирной паутины. Возможно, они дают сбой не так часто, как более простые системы, но если этот сбой происходит, он оказывается в высшей степени значительным. Капитализм и интернет – две системы, невероятно эффективные с точки зрения пропаганды, позволяют плохим идеям распространяться точно в такой же степени, что и хорошим. Плохие идеи могут вызвать непропорционально сильный эффект. В преддверии финансового кризиса система была настолько искаженной, что любое недостаточно точное предположение в моделях, созданных кредитными рейтинговыми агентствами, сыграло огромную роль в кризисе всей глобальной финансовой системы.

Один из путей решения этой проблемы состоит в регулировании. Однако я подозреваю, что это – всего лишь попытка отказаться от того, чтобы обратиться за ответами внутрь самих себя. Нам нужно остановиться и признать, что у нас, у людей, есть проблема с предсказаниями. Мы любим заниматься ими, но не очень хорошо умеем это делать.

Что можно сказать о предсказании

Предсказание можно считать одновременно и основной проблемой этой книги, и основным ее решением.

Предсказания – это неотъемлемая часть нашей жизни. Каждый раз, когда мы выбираем маршрут движения на работу, размышляем о том, стоит ли идти на второе свидание или нужно ли отложить некоторую сумму на черный день, мы делаем прогноз о том, как будут развиваться события в нашем будущем и каким образом наши планы повлияют на вероятность позитивного исхода.

Тщательного осмысливания требуют решения далеко не всех этих повседневных вопросов; мы можем выделить на принятие каждого решения лишь ограниченное время. Тем не менее в течение дня каждый из нас делает множество предсказаний, вне зависимости от того, отдает ли он себе в этом отчет.

Именно по этой причине данная книга рассматривает предсказание как некий общечеловеческий опыт, а не функцию, которую реализует избранная группа экспертов или практиков. Конечно, всегда забавно потешаться над экспертами, когда их предсказания не сбываются. Однако нам не стоит слишком уж злорадствовать. Заявлять о том, что наши собственные предсказания ничуть не хуже, чем предсказания экспертов, – значит налагать на себя проклятие неоправданной похвалы.

При этом стоит отметить, что предсказания играют достаточно важную роль в науке.

Кому-то из вас может показаться дискомфортной мысль, на которую я намекал выше и которую теперь хочу высказать максимально прямо: мы никогда не сможем создавать идеально объективные предсказания. Они всегда будут искажены вследствие нашей субъективной точки зрения.

Однако эта книга категорически против нигилистической точки зрения, согласно которой объективной истины не существует. Скорее, она утверждает, что убеждение в наличии объективной истины – и приверженность ее достижению – представляет собой первое необходимое условие для создания качественного предсказания. Следующее, что должен признать любой прогнозист, – это тот факт, что его картина мира неидеальна.

Предсказание важно, поскольку оно позволяет соединить субъективную и объективную реальности. Эту точку зрения разделял философ науки Карл Поппер{45}. Для него гипотеза не считалась научной, когда ее нельзя было сфальсифицировать – иными словами, когда ее можно было протестировать в реальном мире путем прогнозирования.

В то же время мы должны понять, что далеко не все наши идеи могут или даже должны подвергнуться проверке. В экономике гораздо проще протестировать прогноз уровня безработицы, чем делать заявления об эффективности расходов на стимулирование бизнеса. В политических науках мы можем тестировать модели, использующиеся для предсказания исхода выборов, но, допустим, верификация теории о том, как могут повлиять изменения в политических учреждениях на общую политику, может занять десятилетия.

Я не хочу идти так же далеко, как Поппер, и утверждать, что эти теории – ненаучны или что в них отсутствует какая-либо ценность. Однако тот факт, что лишь немногие из теорий, которые мы можем проверить, показывают довольно плохие результаты, должен приводить нас к мысли о том, что многие из идей, которые мы не тестировали, могут также оказаться неверными. Вне всякого сомнения, мы живем с иллюзиями, которых даже не понимаем.

Однако нам есть куда двигаться. Возможное решение покоится не на довольно сырых политических идеях – особенно с учетом того, что я рассматриваю нашу нынешнюю политическую систему как значительную часть проблемы. Скорее, решение требует изменения нашего отношения.

Это новое отношение воплощается в так называемой теореме Байеса, о которой я расскажу в главе 8. Эта теорема, по сути, выглядит как математическая формула, но в реальности она представляет собой нечто гораздо более масштабное. Она предполагает, что мы должны думать о своих идеях (и том, как их проверять) иначе. Мы должны почувствовать себя более комфортно в условиях вероятности и неопределенности. Мы должны тщательнее размышлять о предположениях и убеждениях, с которыми связана проблема.

Данная книга делится примерно на две половины. Первые семь глав посвящены диагностике проблемы предсказания, а последние шесть – изучению и применению теоремы Байеса.

Каждая глава ориентирована на освещение конкретного вопроса и описывает его с определенной степенью глубины. Не буду отрицать, что эта книга достаточно детальна – отчасти потому, что в деталях часто кроется дьявол, а отчасти из-за моей убежденности в том, что достаточная степень погружения в предмет позволит понять его несоизмеримо лучше, чем короткое резюме.

Выбранная мной тематика связана с наличием обширной общедоступной информации. Известны примеры того, как прогнозисты создавали предсказания, основанные на закрытой информации (например, в случаях, когда компании используют данные о своих покупателях для прогнозирования спроса на новый продукт). Я же предпочитаю рассказывать о тех объектах, в отношении которых можно не верить мне на слово, а самостоятельно проверить результаты.

Короткая дорожная карта

В этой книге вы найдете много примеров из различных областей знаний (естественных и общественных наук), а также из спорта и азартных игр. В ней приведены как сравнительно прямолинейные примеры, в которых проще всего провести различие между успешным и неудачным предсказанием, так и другие, требующие чуть больше мастерства.

В главах 1–3 рассмотрены случаи неудачного предсказания в таких вопросах, как недавний финансовый кризис, успехи в бейсболе и в области политики, показано, где одни подходы сработали хорошо, а другие – нет. Их цель состоит в том, чтобы заставить вас задуматься о некоторых самых фундаментальных вопросах, лежащих в основе проблемы предсказания. Каким образом можем мы применить свои суждения в отношении данных, не поддаваясь при этом предубеждениям? В каких условиях рыночная конкуренция позволяет сделать лучшие прогнозы и за счет чего она способна их ухудшить? Каким образом мы можем сочетать необходимость использования знания прошлого как руководства к действию с признанием того, что будущее может быть совершенно иным?