Элиезер Юдковски - Таинственные ответы на таинственные вопросы

• Название: Таинственные ответы на таинственные вопросы
• Автор: Элиезер Юдковски
• Жанр: Публицистика

Из этой цепочки вы узнаете о том, как рациональное мышление соотносится с убеждениями. О том, зачем нужны объяснения и какие они бывают. О том, какое отношение рациональное мышление имеет к научному познанию и научным теориям. И немного о том, как в похожих ситуациях будут вести себя рационалисты и люди, не знакомые с рациональным мышлением.

---

Но нельзя получить и то, и другое. «Нельзя» в смысле «математически невозможно», а не просто «нечестно». Правило «отсутствие свидетельства есть свидетельство отсутствия» — частный случай более общего утверждения, которое я называю законом сохранения ожидаемых свидетельств: математическое ожидание апостериорной вероятности с учётом будущего свидетельства должно равняться априорной вероятности. P(H) = P(H) P(H) = P(H,E) + P(H,~E) P(H) = P(H|E) ∙ P(E) + P(H|~E) ∙ P(~E)

Или, перенеся P(H) на другую сторону: (P(H|E) − P(H)) ∙ P(E) + (P(H|~E) - P(H)) ∙ P(~E) = 0, ожидаемое изменение вероятности — ноль.

Следовательно, для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против.

Если имеется высокая вероятность получения слабого свидетельства в одну сторону, то она компенсируется низкой вероятностью получения сильного свидетельства в другую сторону. Если ты очень уверен в своей теории, и поэтому ожидаешь увидеть предсказанный результат, то исполнение предсказания лишь самую чуточку усиливает убеждённость в этой теории (эта убеждённость и без того близка к 1), однако неожиданная неудача нанесёт уверенности сильный удар, как и должно быть. В среднем, твоя убеждённость остаётся совершенно неизменной. Аналогично, одно лишь ожидание встретить свидетельство — до того, как ты увидел, в чём именно оно заключается — не должно сдвигать твоей априорной убеждённости.

Поэтому, заявляя, что отсутствие саботажа подтверждает существование японско-американской Пятой Колонны, человек должен подразумевать, что наличие саботажа опровергает существование Пятой Колонны. Если доброта и благочестие — свидетельство того, что женщина является ведьмой, то злоба и грех должны быть свидетельством её невиновности. Если Господь, проверяя нашу веру, отказывается явить Себя нашим глазам, то описанные в Библии чудеса должны разубеждать(English) нас в существовании Бога.

Звучит как-то неправильно, ведь так? Прислушивайся к ощущению натянутости, внимательно ищи это тихое напряжение на границе восприятия. Это важно.

Истинный байесианец не может искать свидетельства в пользу теории. Не может существовать ни чёткого плана, ни умной стратегии, ни хитрого приёма, с помощью которых можно проводить эксперименты, систематически убеждающие всех в каком-либо утверждении. Нельзя поставить эксперимент, который подтвердит теорию; эксперименты могут лишь испытывать теорию.

Осознав это, можно ощутить: дышится намного легче. Не надо мучиться, пытаясь интерпретировать каждый возможный исход эксперимента так, чтобы он подтверждал твою теорию. Не надо обдумывать, как заставить каждую йоту свидетельств подтверждать твою теорию, ведь для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против. Можно ослабить силу укуса возможного «аномального» наблюдения, лишь ослабив поддержку от «нормального» наблюдения; сила среднего укуса всегда в точности равна силе средней поддержки. Это игра с нулевой суммой. Как бы ты ни спорил, как бы ты ни сотрудничал с Тёмной Стороной, как бы ты будущие стратегии ты бы ни вырабатывал, — ты не можешь рассчитывать, что будущее сдвинет твои взгляды в определённую сторону.

С тем же успехом ты можешь просто сесть, расслабиться, и ждать, пока твои свидетельства сами не придут к тебе.

…временами я ужасаюсь извращённости человеческой психики.

Перевод:

BT

http://lesswrong.com/lw/ii/conservation_of_expected_evidence/

Знание задним числом обесценивает науку

Элиезер Юдковский

Этот отрывок(English) из книги Дэвида Майерса «Изучаем социальную психологию», стоит того, чтобы прочитать его полностью. Каллен Мерфи, издатель журнала «Atlantic», заметил, что социальные науки не открывают ничего, что нельзя было бы «найти в цитатниках заранее… День за днем ученые-социологи выходят в мир. И день за днем они открывают, что поведение людей очень похоже на то, что они и ожидали увидеть».

Конечно же, всё это «ожидание увидеть» вытекает из эффекта знания задним числом (эффект знания задним числом: знающие ответ на вопрос люди считают его более очевидным, чем люди, пытающие угадать ответ, не зная его заранее; «разумеется, я додумался бы до этого!»).

Историк Артур Шлезингер-младший называл социологические исследования американских солдат времен второй мировой войны «нудной демонстрацией» здравого смысла. Например:

У солдат с более высоким уровнем образования возникало больше проблем с адаптацией, чем у менее образованных (интеллектуалы были менее готовы к стрессам войны, чем люди, выросшие на улицах).

Южане легче, чем северяне, переносили жару островов Южного моря (южане более привычны к жаркому климату).

Белые рядовые сильнее, чем чернокожие, стремились к продвижению по службе (годы угнетения посеяли в чернокожих желание «не высовываться»).

Чернокожие южане предпочитали белых офицеров с Юга офицерам с Севера (так как первые обладали большим опытом общения с чернокожими).

Когда война окончилась, солдаты скучали по дому не так сильно, как во время боевых действий (во время битвы солдаты знали, что находятся в смертельной опасности и могут больше не увидеть родных).

Сколько из этих наблюдений ты мог бы вывести заранее? 3 из 5? 4 из 5? Есть ли случаи, касательно которых ты предсказал бы противоположное; случаи, наносящие твоей модели мира удар? Прежде чем продолжить чтение, хорошо подумай над этим.

Все утверждения из этого списка прямо противоположны тому, что было обнаружено в действительности. Сколько раз твоя модель мира была испытана на прочность? Сколько раз ты признал, что ты бы ошибся? Теперь можно сделать вывод о том, насколько хороша твоя модель на самом деле: сила рационалиста состоит в способности удивляться вымыслу больше, чем реальности.

А ещё я мог, перепечатывая этот остроумный список за авторством Поля Лазарсфельда, перевернуть результаты ещё раз - тогда удары остаются ударами, а удачные предсказания удачными предсказаниями. Что скажешь?

Теперь ты действительно не знаешь ответа. Замечаешь ли ты, что процессы, идущие в твоей голове сейчас, чем-то отличаются от тех процессов, которые происходили там ранее? Чувствуешь ли ты, что поиск ответа ощущается по-другому, не так, как рационализация обеих сторон «известного» ответа?

Дафна Барац разделила студентов на две группы и сообщала одной результат социологического исследования (например, «Во время подъема экономики люди тратят большую часть своего дохода, чем во время спада» или «Люди, регулярно посещающие церковь, стремятся иметь больше детей, чем те, кто редко ходит в церковь»), а другой - перевёрнутый результат того же социологического исследования. Обе группы утверждали, что данный им результат они смогли бы предсказать заранее. Отличный пример эффекта знания задним числом.

Что приводит людей к мысли, что им не нужна наука, ведь всё «и так ясно».

(довольно очевидный вывод, не так ли?)

Знание задним числом заставляет нас систематически недооценивать неожиданность научных открытий, особенно тех открытий, которые мы можем понять; тех открытий, которые нам близки, и которые мы можем постфактум уместить в свою модель мира. Регулярно читающий новости человек, разбирающийся в неврологии или физике, скорее всего тоже недооценивает неожиданность открытий в этих дисциплинах. Этот эффект несправедливо обесценивает вклад исследователей, и, что ещё хуже, не даёт тебе заметить свидетельства, которые отличаются от того, что бы ты предсказал на самом деле.

Без сознательного усилия невозможно почувствовать должный уровень шока.

Перевод:

BT

http://lesswrong.com/lw/im/hindsight_devalues_science/

Угадай слово, задуманное учителем

Элиезер Юдковский

В юности я читал популярные книги по физике, например «КЭД — странная(English) теория света и вещества» Ричарда Фейнмана. Я знал: свет — это волны, звук — это волны, материя — это волны. Мне было девять лет и я гордился своей научной грамотностью.

Намного позже, когда я начал читать фейнмановские лекции по физике, я наткнулся на жемчужину под названием «волновое уравнение». Я мог проследить за его выводом, но у меня не выходило охватить это доказательство одним взглядом(English). В течении трёх дней, от случая к случаю, я думал об этом уравнении, и, наконец, понял, что оно до смешного очевидно. И после этого я осознал, что всё то время, когда я верил в честные заверения физиков о том, что свет — это волны, звук — это волны, материя — это волны, я не имел ни малейшего понятия о том, какой именно смысл вкладывают физики в слово «волна».

Вполне естественно думать, что если учёный говорит: «Свет - это волны», и учитель спрашивает, что такое свет, на что студент отвечает: «это волны», то студент произнёс истинное утверждение. По-другому ведь нечестно, правда? Если мы считаем фразу «свет — это волны» верной в устах физика, то она же должна быть верна и в устах студента? В самом деле, утверждение «свет — это волны» либо истинно, либо ложно, не так ли?