Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Нейт Сильвер Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Nate Silver

The Signal and the Noise

Why so many predictions fail – but some don’t

© Nate Silver, 2012

© Миронов П., перевод на русский язык, 2014

© Оформление, издание на русском языке. ООО «Издательская Группа «Азбука-Аттикус», 2015

КоЛибри®

* * *

Посвящается маме и папе

Введение

В этой книге рассказывается о работе с информацией, о технологиях и научном прогрессе. О конкуренции, свободных рынках и эволюции идей. О том, что делает нас умнее любого компьютера, и о человеческих ошибках. О том, как мы постепенно, шаг за шагом, учимся воспринимать объективный мир и почему иногда делаем шаги назад.

Эта книга – о предсказаниях и прогнозах, оказывающихся в точке пересечения всех этих идей, и о том, почему одни из них сбываются, а другие – нет. Я надеюсь, что благодаря ей мы сможем немного лучше разобраться в том, как планировать свое будущее, и (возможно) будем реже повторять прежние ошибки.

Чем больше информации, тем больше проблем

По сути, революция в области информационных технологий совершилась благодаря печатному прессу, а вовсе не микрочипу. Изобретение Иоганна Гутенберга, сделанное им в 1440 г., позволило информации стать доступной широким массам людей, а возникший в результате этого взрыв новых идей привел к неожиданным последствиям и непредсказуемым эффектам. В том числе и к начавшейся в 1775 г. промышленной революции{1}, в результате которой цивилизация достаточно быстро перешла от состояния практически полного отсутствия научного или экономического прогресса к привычным для нашего времени и происходящим с огромной скоростью переменам. Изобретение печатного пресса способствовало развитию событий, которые в конечном итоге привели к эпохе Просвещения в Европе и основанию республики в Америке.

Однако появление печатного пресса способствовало еще и развязыванию священных религиозных войн, которые не прекращались на протяжении столетий. Как только человечество поверило в то, что оно способно предсказывать и даже выбирать собственную судьбу, началась самая кровавая эпоха в истории человечества{2}.

Книги существовали и до Гутенберга, однако их мало изготавливали и мало читали. Они выступали, скорее, в роли предмета роскоши для благородных семейств и создавались переписчиками, способными одновременно делать лишь одну копию{3}. Ставка за копирование манускрипта составляла примерно один флорин (золотая монета, стоимость которой на сегодняшний день эквивалентна примерно 200 долл. США) за пять страниц{4}, то есть производство книги, подобной той, что вы читаете сейчас, могло обойтись примерно в 20 тыс. долл. Зачастую в книгах содержалось немало ошибок, поскольку при копировании их число увеличивалось и они видоизменялись с каждой новой версией книги.

Все это невероятно усложняло процесс накопления знаний. Требовались поистине героические усилия, чтобы объем знаний не начал уменьшаться, поскольку книги часто приходили в негодность быстрее, чем их успевали воспроизводить. До нашего времени дошли лишь разные издания Библии, а также небольшое количество канонических текстов Платона и Аристотеля. Однако целые пласты человеческого знания и мудрости утрачены в веках{5}, поскольку не были зафиксированы в письменном виде.

Погоня за знанием казалась почти бесполезной, если не напрасной, с самого начала. Как сказано в прекрасных строках Экклезиаста, нет «ничего нового под солнцем» – не потому, что все уже открыто, но еще и потому, что все, что мы знаем, будет забыто{6}.

Печатный пресс изменил эту ситуацию бесповоротно, раз и навсегда. Почти моментально затраты на создание книги снизились примерно в 300 раз{7}. Книга, стоимость изготовления которой совсем незадолго до этого составляла 20 тыс. долл. (в нынешних ценах), теперь могла стоить всего 70 долл. Печатные прессы из Германии быстро распространились по всей Европе, и к 1470 г. они уже были в Риме, Севилье, Париже и Базеле, а еще через 10 лет – почти во всех остальных крупных европейских городах{8}. Производство книг стало увеличиваться в геометрической прогрессии и выросло в течение первых 100 лет после изобретения печатного пресса почти в 30 раз{9}. Хранилище человеческого знания стало увеличиваться в размерах, и довольно быстро (рис. В. 1).

Однако в тот период, как и в первые годы существования Всемирной паутины, качество информации было довольно неоднозначным. Хотя появление печатного станка сразу же принесло свою пользу, скажем, позволив изготавливать более качественные географические карты{10}, список изданных бестселлеров моментально возглавили еретические религиозные и псевдонаучные тексты{11}. Ошибки воспроизводились в массовых масштабах, например в так называемой «Греховной Библии», содержавшей чуть ли не самую злосчастную ошибку в истории, одна из заповедей звучала как «прелюбодействуй»{12}. Кроме того, доступ к огромному количеству новых идей порождал смятение в умах. Объем информации рос значительно быстрее, чем понимание людьми того, что с ней делать, или их способность отличить верную информацию от неверной{13}. Как ни парадоксально, но результатом увеличения объема общедоступного знания стал рост изоляции между нациями и конфессиями. Обладая слишком большим объемом информации, мы инстинктивно склонны относиться к ней избирательно, отбирать то, что нам нравится, и игнорировать все остальное, превращая в союзников тех, кто разделяет наше мнение, и относясь ко всем остальным как к врагам.

Рис. В. 1. Производство книг в Европе

С наибольшим энтузиазмом восприняли печатный станок те, кто использовал его, чтобы проповедовать свои взгляды. «95 тезисов» (Ninety-five Theses) Мартина Лютера сами по себе были не настолько радикальными, близкие изложенным в книге идеи обсуждались до этого множество раз. По мнению Элизабет Эйзенштейн, на этот раз революционный элемент состоял в том, что «тезисы Лютера не остались приколоченными к церковной двери»{14}. Вместо этого они были размножены как минимум 300 тыс. раз с помощью печатного станка Гутенберга{15} – невероятно большим тиражом даже по современным стандартам.

Раскол, возникший в результате протестантской Реформации Лютера, вскоре вверг Европу в войну. В период с 1524 по 1648 г. произошли Крестьянская война в Германии, Шмалькальденская война, Нидерландская революция, Тридцатилетняя война, религиозные войны во Франции, ирландские конфедеративные войны, гражданские войны в Шотландии и Англии – причем многие из них одновременно. Не стоит забывать и об испанской инквизиции, деятельность которой началась в 1480 г., или о войне Священной Лиги 1508–1516 гг., хотя они были в меньшей степени связаны с распространением протестантизма. В ходе одной лишь Тридцатилетней войны погибло не менее трети населения Германии{16}, и XVII век мог по степени своей кровавости сравниться разве что с началом века XX{17}.

Однако даже в этих условиях печатный станок постепенно способствовал развитию науки и образования. Галилей начал делиться своими (просмотренными цензурой) идеями, а Шекспир – публиковать свои пьесы.

Пьесы Шекспира, как и многих других авторов, часто обращаются к теме судьбы. Особый их трагизм связан с разрывом между тем, чего могли бы достичь персонажи, и тем, что может уготовить им судьба. Во времена Шекспира идея контроля своей судьбы казалась вполне естественной частью человеческого сознания, однако понимания, как это можно сделать, не было. Напротив, тот, кто хотел испытать свою судьбу, обычно находил лишь смерть{18}.

Наиболее ярко эти идеи нашли свое отражение в пьесе «Юлий Цезарь». В первой половине пьесы Цезарь получает всевозможные предупредительные сигналы, которые сам называет «знамениями»{19} («остерегись ид мартовских»), о том, что его коронация превратится в бойню. Разумеется, Цезарь игнорирует эти знаки, гордо настаивая на том, что они указывают на смерть кого-то другого, или же трактует эти знаки в высшей степени избирательно. А затем Цезаря убивают.

«Но ведь по-своему толкуют люди явленья, смысла их не понимая», – предупреждает нас Шекспир устами Цицерона – и это вполне хороший совет любому человеку, стремящемуся разобраться с недавно обретенным обилием информации. Отличить сигнал от шума не всегда просто. Зачастую данные рассказывают нам именно ту историю, которую мы хотим услышать, и обычно мы уверены, что у истории должен быть счастливый конец.

И все же, если трагедия «Юлий Цезарь» и была посвящена древней идее предсказания, связанной с фатализмом, гаданием и суеверием, в ней прозвучала и более современная и значительно более радикальная мысль о том, что мы должны интерпретировать эти знаки так, чтобы получать какие-нибудь преимущества. «Порой своей судьбою люди правят. Не звезды, милый Брут, а сами мы виновны в том, что сделались рабами», – говорит Кассий, надеясь убедить Брута принять участие в заговоре против Цезаря.