Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

В главах 4–7 основное внимание уделено динамическим системам: поведению земной атмосферы, влияющему на формирование той или иной погоды; движению тектонических плит планеты, способному вызвать землетрясения; комплексным взаимодействиям между людьми, влияющим на поведение американской экономики, а также распространению инфекционных заболеваний. Эти системы изучаются некоторыми из наших лучших ученых. Однако прогнозировать процессы, протекающие в динамических системах, достаточно сложно, и предсказания в этих областях далеко не всегда оказываются верными.

Главы 8–10 обращаются к решениям: сначала мы познакомим вас с человеком, делающим ставки на исходы спортивных мероприятий и применяющим теорему Байеса более умело, чем многие экономисты или ученые, а затем поговорим о двух видах спорта – о шахматах и покере.

Спорт и игры, подчиняющиеся четко определенным правилам, представляют собой отличную лабораторию для тестирования наших прогностических навыков. Они помогают нам лучше понимать смысл случайности и неопределенности, а также учат тому, как превращать информацию в знание.

Однако теорема Байеса может применяться и к значительно более важным проблемам. В главах 11–13 рассмотрены три примера: глобальное потепление, терроризм и пузыри на финансовых рынках. Эти проблемы достаточно важны и сложны для прогнозистов и общества в целом. Однако если мы решим принять брошенный нам вызов, то сможем сделать нашу страну, нашу экономику и нашу планету немного безопаснее.

Мир прошел долгий путь со времени изобретения печатного пресса. Информация перестала быть дефицитным продуктом; теперь ее у нас невероятно много, и мы не всегда знаем, что с ней делать. Однако по-настоящему полезной можно считать сравнительно небольшую ее часть. Мы воспринимаем ее избирательно, субъективно и не придаем значения возникающим в результате искажениям. Мы думаем, что нам нужна информация, хотя на самом деле нам нужно знание.

Сигнал – это правда. А шум – это то, что отвлекает нас от правды. Эта книга расскажет вам и о сигналах, и о шумах.

Глава 1 Катастрофически неудачные прогнозы

Наступило 23 октября 2008 г. Фондовый рынок находился в состоянии свободного падения, обвалившись за предшествующие пять недель почти на 30 %. Некогда уважаемая компания Lehman Brothers оказалась банкротом. Кредитные рынки практически перестали работать. Дома в Лас-Вегасе потеряли 40 % от своей стоимости{46}. Безработица подскочила до невероятно высокого уровня. Сотни миллиардов долларов, находившихся в распоряжении обанкротившихся финансовых фирм, моментально исчезли. Уровень доверия к правительству оказался самым низким за весь период его оценок{47}. А через две недели должны были состояться президентские выборы.

Конгресс, работа которого в обычных условиях затихала перед выборами, развил лихорадочную деятельность. Рассматриваемые в нем законопроекты о помощи финансовым организациям обещали стать непопулярными{48}, и Конгрессу нужно было создать впечатление, что все те, кто вел себя «неправильно», будут наказаны. Комитет США по надзору приказал главам трех основных агентств, занимавшихся составлением кредитных рейтингов, – Standard&Poor’s (S&P), Moody’s и Fitch Ratings – дать показания на парламентских слушаниях. Рейтинговые агентства были обвинены в неверной оценке вероятности того, что триллионы долларов в ценных бумагах, обеспеченных закладными, попадут под дефолт. Мягко говоря, возникло впечатление, что они оказались скомпрометированными.

Худшее из возможных предсказаний

Кризис конца 2000‑х гг. часто воспринимают как провал, поражение наших политических и финансовых учреждений. Очевидно, что это действительно было огромным поражением с экономической точки зрения. Даже в 2011 г., через четыре года после официального начала Великой рецессии, американская экономика работала на уровне в 800 млрд долл. ниже своего производственного потенциала{49}.

Однако я убежден, что правильнее оценивать финансовый кризис как провал в оценке состояния экономики или катастрофическую ошибку предсказания. Проблемы с прогнозами носили широкомасштабный характер, возникали практически на каждом шагу до, во время и после кризиса и вовлекали в себя массу участников – от ипотечных брокеров до Белого дома.

И самое страшное заключается в том, что «провалившиеся» предсказания обычно имеют много общих черт. Мы ориентируемся на сигналы, рассказывающие не о реально существующем мире, а о том, что мы хотим видеть. Мы игнорируем риски, которые сложнее всего измерить, даже когда они представляют собой величайшие угрозы нашему благосостоянию. Мы создаем приблизительное представление о мире, значительно более грубое, чем наше восприятие. Мы ненавидим неопределенность, даже когда она является неотъемлемой частью проблемы, которую мы пытаемся решить. Если мы хотим добраться до истинной причины финансового кризиса, нам следует начать с выявления самого «провального» предсказания, которое и привело ко всем последующим ошибкам.

Рейтинговые агентства давали рейтинг AAA (обычно зарезервированный для горстки наиболее платежеспособных стран и отлично управляемых компаний нашего мира) тысячам ценных бумаг, обеспеченных закладными, – финансовым инструментам, позволявшим инвесторам делать ставку на вероятность того, что кто-то не сможет расплатиться по закладной на свой дом.

Рейтинги, выпускавшиеся этими компаниями, были, по сути дела, предсказаниями, то есть расчетами вероятности того, что часть долга подвергнется дефолту{50}. Например, компания Standard&Poor’s озвучивала инвесторам, что рейтинг AAA у особенно сложного типа ценных бумаг, называемых облигациями, обеспеченных долговыми обязательствами (CDO)[5], означает, что невозможность выплаты по ним в течение следующих пяти лет составляет всего 0,12 %, или 1 шанс из 850{51}. По сути, это делало подобный инструмент столь же безопасным, как и корпоративные облигации[6] с рейтингом AAA{52}, и более безопасным, чем казначейские обязательства США (по мнению S&P){53}. Рейтинговые агентства будто забыли о существовании колоколообразных кривых распределения вероятности.

В реальности, судя по внутренним данным S&P, дефолту подверглось 28 % CDO с рейтингом AAA{54} (по некоторым независимым оценкам, этот показатель был еще выше{55}). Это значит, что реальные показатели дефолта для CDO оказались более чем в 200 раз выше, чем предсказывала S&P (рис. 1.1){56}.

Рис. 1.1. Предсказанные и реальные пятилетние уровни дефолта для траншей CDO c рейтингом AAA

Пожалуй, это пример чуть ли не самого серьезного провала, который только можно сделать в области предсказаний, – триллионы долларов в инвестициях, считавшихся почти полностью безопасными, обернулись чем-то диаметрально противоположным. Представьте себе, что прогноз погоды обещает вам +25 °С и солнце, а на вас внезапно обрушивается метель. Если вы сделаете неудачное предсказание, у вас есть несколько вариантов его последующего объяснения. Первый – обвинить внешние обстоятельства – то, что мы часто называем «невезением». Иногда это разумно и даже правильно. Когда Национальная служба погоды говорит о том, что вероятность безоблачной погоды составляет 90 %, а на улице начинается дождь, испортивший вам проведение турнира по гольфу, ее не стоит в этом винить. Исторические данные за многие десятилетия свидетельствуют, что когда Служба погоды говорит, что вероятность дождя составляет 1 к 10, то в долгосрочной перспективе дождь действительно идет всего в 10 % случаев[7].

Однако подобное объяснение внушает куда меньше доверия, когда у человека, делающего прогноз, за плечами нет истории успешных предсказаний и когда масштаб его ошибки значительно больше. В таких случаях проблема чаще связана с моделью мира, созданной прогнозистом, а не с миром как таковым.

В случае с CDO рейтинговые агентства вообще не имели никакой истории, на которую можно было бы опираться, – это были новые и мало кому знакомые ценные бумаги, а показатели уровня дефолта, заявленные S&P, основывались не на исторических данных, а на предположениях, вытекающих из неправильной статистической модели. При этом масштаб ошибок был огромным: на практике шансы на дефолт у CDO с рейтингом AAA оказались в 200 раз выше, чем в теории.

Правильное решение для рейтинговых агентств заключалось в том, чтобы признать ошибочность используемых моделей. Однако на слушаниях в Конгрессе они попытались снять с себя ответственность и заявили, что им просто не повезло. Они обвинили в случившемся внешние непредвиденные обстоятельства, а именно пузырь на жилищном рынке.

«S&P была не единственной компанией, которая внезапно столкнулась с резким падением на рынках жилья и ипотек», – сообщил Конгрессу в октябре того же года Девен Шарма, глава Standard&Poor’s{57}. «Почти никто – ни домовладельцы, ни финансовые учреждения, ни рейтинговые агентства, ни регуляторы, ни инвесторы – не мог предвидеть, что ждет их впереди».