Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 1)

• Название: Методы статистического анализа исторических текстов (часть 1)
• Автор: Анатолий Фоменко
• Издательство: Наука
• Жанр: История
• Год: 1999
• ISBN: 5-02-013542-9

Книга посвящена новому направлению в современной прикладной статистике. Предлагаются эмпирико-статистические методы распознавания зависимых и независимых текстов, в том числе исторических, т. е. текстов повествовательного характера, например хроник, летописей Эти методы позволяют во многих случаях датировать древние тексты, описанные в них события и могут применяться для анализа текстов самой разной природы, в теории распознавания образов, при анализе генетических кодов, для уточнения дат древней хронологии. Представлен богатый научный материал — результаты статистической обработки хроник, древних астрономических сообщений, летописей. Книга стала уникальным явлением в мировой научной литературе по прикладной статистике.

Для специалистов в области математической статистики и распознавания образов, лингвистики, филологии, хронологии, истории, а также широкого круга читателей.

---

Итак, каждый летописец, описывая реальную династию M, по-своему, в меру своих способностей и возможностей, вычисляет длительности правления царей. В результате он получает некоторую последовательность чисел a=(a1, a2….,ak), где число ai изображает, — быть может с ошибкой, — реальную длительность правления царя с номером i. Напомним, что число k — это общее число царей в данной династии. Эту последовательность чисел, извлекаемую из летописи, мы условно называем ЛЕТОПИСНОЙ ДИНАСТИЕЙ. Ее удобно изображать вектором a в евклидовом пространстве Rk.

Другой летописец, описывая ту же самую реальную династию M, возможно припишет этим же царям несколько другие длительности правлений. В результате получится другая летописная династия b=(b1, b2….,bk). Таким образом, одна и та же реальная династия M, но описанная в разных летописях, может изображаться в них разными летописными династиями a и b. Спрашивается, насколько велики возникающие искажения? При этом существенную роль играют ошибки и объективные трудности, препятствующие точному определению реальных длительностей правлений. Основные типы ошибок мы опишем ниже.

Сформулируем статистическую модель, гипотезу, которую мы условно назовем «ПРИНЦИПОМ МАЛЫХ ИСКАЖЕНИЙ».

Принцип малых искажений длительностей правлений.

Если две летописные династии a и b «мало» отличаются друг от друга, то они изображают одну и ту же реальную династию M, то есть являются двумя вариантами ее описания (в разных летописях). В этом случае летописные династии назовем ЗАВИСИМЫМИ.

Напротив, если же две летописные династии a и b изображают две различные реальные династии M и N, то они «значительно» отличаются друг от друга. В этом случае назовем их НЕЗАВИСИМЫМИ.

Остальные пары династий мы назовем НЕЙТРАЛЬНЫМИ.

Другими словами, согласно этой гипотезе-модели, РАЗНЫЕ ЛЕТОПИСЦЫ «МАЛО» ИСКАЖАЛИ ОДНУ И ТУ ЖЕ РЕАЛЬНУЮ ДИНАСТИЮ ПРИ НАПИСАНИИ СВОИХ ЛЕТОПИСЕЙ. Во всяком случае, возникавшие разночтения оказывались «в среднем» меньше, чем имеющиеся различия между заведомо разными, то есть независимыми реальными династиями.

Сформулированная выше гипотеза, модель нуждается в экспериментальной проверке. В случае ее справедливости мы обнаруживаем важное, и отнюдь не очевидное свойство, характеризующее деятельность древних летописцев. А именно, ЛЕТОПИСНЫЕ ДИНАСТИИ, ВОЗНИКАВШИЕ ПРИ ОПИСАНИИ ОДНОЙ И ТОЙ ЖЕ РЕАЛЬНОЙ ДИНАСТИИ, ОТЛИЧАЮТСЯ ДРУГ ОТ ДРУГА И ОТ СВОЕГО ПРОТОТИПА, МЕНЬШЕ, ЧЕМ ОТЛИЧАЮТСЯ ДРУГ ОТ ДРУГА ДВЕ ДЕЙСТВИТЕЛЬНО РАЗНЫЕ РЕАЛЬНЫЕ ДИНАСТИИ.

Существует ли естественный числовой коэффициент (мера) c(a,b), вычисляемый для каждой пары летописных династий a и b и обладающий тем свойством, что он «мал» для зависимых династий и, напротив, «велик» для независимых? Другими словами, этот коэффициент должен различать зависимые и независимые династии. Такой коэффициент был нами найден.

Оказывается, для оценки «близости» двух династий a и b можно ввести числовой коэффициент c(a,b), аналогичный описанному выше коэффициенту ВССД = p(X,Y). Этот коэффициент с(a,b) также имеет смысл вероятности. Сначала опишем грубую идею определения коэффициента с(a,b). Летописную династию удобно изображать в виде графика, отложив по горизонтали номера царей, а по вертикали — длительности их правлений. Мы скажем, что династия q «похожа» на две династии a и b, если график династии q отличается от графика династии a не больше, чем график династии b отличается от графика династии a. Подробности см. ниже и в [416], [419], [376], [377], [375].

В качестве с(a,b) берется доля, которую династии, «похожие» на династии a и b, составляют во множестве всех династий. Другими словами, подсчитывается отношение:

количество династий, «похожих» на a и b

общее количество династий, описанных в летописях

Длительности правлений царей могут определяться летописцами с ошибкой. Фактически мы извлекаем из летописей лишь некоторые приближенные их значения. Можно математически описать вероятностные механизмы, приводящие к появлению этих ошибок. Кроме того, мы учитывали еще две возможные ошибки летописцев: перестановка двух соседних царей и замена двух соседних царей одним «царем» с суммарной длительностью правления.

Коэффициент c(a,b) можно условно назвать ВССД, то есть вероятностью случайного совпадения династий a и b.

2.2. Статистическая модель

Дадим теперь формальное определение коэффициента c(a,b). Обозначим через D множество всех реальных династий длины k, то есть состоящих из k последовательных царей. Фактически за множество D нам придется взять те исторические династии, сведения о которых дошли до нас в сохранившихся исторических хрониках. Практически полный список всех таких династий мы составили на основе большого числа разнообразных хронологических таблиц, перечисленных ниже. На основе этих таблиц мы составили список всех групп из 15 последовательных царей, правивших, согласно скалигеровской хронологии, в интервале от 4000 года до н. э. до 1900 года н. э. в Европе, Средиземноморье, на Ближнем Востоке, в Египте, Азии.

Каждую летописную династию можно условно изобразить вектором в евклидовом пространстве Rk размерности k. В нашем конкретном эксперименте мы брали k=15 (см. выше). Мы будем считать две династии существенно различными, если число царей (или реальных правителей), входящих одновременно в обе эти династии, не превышает k/2, то есть половины числа членов всей династии. Две взятые наугад реальные династии могут пересекаться, поскольку каждый раз мы можем произвольно объявить того или иного царя «началом династии». Наряду с зависимыми и независимыми династиями имеются еще и «промежуточные», «нейтральные» пары династий, в которых число общих царей (или реальных правителей) превышает k/2. Ясно, что если общее число рассматриваемых династий велико, то количество промежуточных, нейтральных пар династий относительно мало. Поэтому основное внимание можно уделять зависимым и независимым парам династий.

Сформулированный выше принцип малых искажений означает, что на практике, «в среднем», летописцы ошибались все-таки незначительно, то есть не очень сильно искажали реальные числовые данные.

Обсудим теперь ошибки, которые чаще всего делали летописцы при вычислении длительностей правлений древних царей. Эти три типа ошибок были выделены нами при обработке большого числа конкретных исторических текстов. Выяснилось, что именно эти ошибки чаще всего приводили к искажению реальных длительностей правлений царей.

Ошибка (1). Перестановка, путаница двух соседних царей.

Ошибка (2). Замена двух царей одним, длительность правления которого равна сумме длительностей их правлений.

Ошибка (3). Неточность в вычислении самой длительности правления.

Чем больше эта длительность правления, тем большую ошибку обычно допускал летописец при ее определении.

Эти три типа ошибок можно описать и смоделировать математически. Начнем с ошибок (1) и (2). Рассмотрим какую-либо династию p=(p1,p2….,pk) из множества D. Вектор q=(q1,q2….,qk) мы назовем ВИРТУАЛЬНОЙ ВАРИАЦИЕЙ вектора (династии) p, и будем обозначать его через q=vir(p), если каждая координата qi вектора c получается из координат вектора p одной из следующих двух процедур (1) и (2).

(1) Либо qi = pi (то есть координата не меняется), либо qi совпадает с одним из чисел pi-1, pi+1, то есть с одной из «соседних координат» вектора p.

(2) Либо qi = pi, либо qi совпадает с числом pi + pi+1.

Ясно, что каждый такой вектор (династия) q можно рассматривать как летописную династию, получившуюся из реальной династии p в результате «ее размножения» под воздействием ошибок (1) и (2). Другими словами, мы берем каждую реальную династию p=(p1,p2….,pk) из списка D и применяем к ней «возмущения» (1) и (2). То есть, либо мы меняем местами два соседних числа pi и pi+1, либо заменяем какое-то число pi суммой pi + pi+1, или суммой pi-1 + pi. Для каждого номера i мы применяем указанные операции только по одному разу, то есть не рассматриваем «длинные итерации» операций на одном и том же месте i. В результате из одной династии p получается некоторое число виртуальных династий {q=vir(P)}. Количество таких виртуальных династий легко подсчитать.

Таким образом, каждая «точка» из множества D «размножается» и порождает некоторое множество «виртуальных точек», ее окружающих, так сказать порождает «окрестное облако», «шаровое скопление». См. рис. 3.29. Некоторые из получившихся виртуальных династий могут встретиться нам в какой-то конкретной летописи (в этом случае они будут летописными династиями), некоторые остаются всего лишь «теоретически возможными», то есть «виртуальными».